NVIDIA GTC 2024: Blackwell GPU Mimarisi ile Yapay Zekada Yeni Çağ

Jensen Huang ve "Deri Ceket" Keynote

NVIDIA CEO'su Jensen Huang, 18 Mart 2024'te düzenlenen GTC konferansında, ikonik deri ceketiyle sahneye çıkıp yeni Blackwell GPU mimarisini tanıttı. 11.000 kişilik SAP Center'ı dolduran izleyiciler, AI donanım tarihinin en etkileyici tanıtımlarından birine tanık oldu.

Huang'ın eli büyük bir yeşil kart tutuyor: "Bu, dünyanın en güçlü çipi. Blackwell."

B200 GPU: Teknik Detaylar

Blackwell mimarisinin amiral gemisi B200 GPU, birçok açıdan devrim niteliğinde:

Çip Tasarımı:

• 208 milyar transistör (H100'ün 2.5 katından fazla)
• TSMC özel 4NP üretim süreci
• Multi-die tasarım: İki silikon die, 10 TB/s NV-HBI bağlantısıyla tek bir çip gibi çalışıyor
• Bu, tek bir reticle'a sığmayacak kadar büyük bir çipi mümkün kılan bir mühendislik başarısı

Performans Karşılaştırması (B200 vs H100):

FP4 Hassasiyeti: Blackwell, ilk kez FP4 (4-bit floating point) AI hesaplama desteği sunuyor. Bu, model boyutunu yarıya indirerek aynı bellekte 2 kat daha büyük modeller çalıştırmayı mümkün kılıyor—özellikle çıkarım (inference) iş yükleri için devrim niteliğinde.

GB200 Grace Blackwell Süper Çipi

GB200, iki adet B200 GPU'yu bir Grace ARM CPU ile birleştiren süper çip tasarımı. CPU ve GPU arasında 900 GB/s NVLink-C2C bağlantı kullanılıyor. Bu, geleneksel PCIe bağlantısının 7 katı hızında veri transferi anlamına geliyor.

GB200 NVL72: Rack Ölçekli AI Sistemi

GTC'nin en etkileyici tanıtımı GB200 NVL72 sistemi oldu. Tek bir raf (rack) içinde:

• 36 adet GB200 süper çipi (72 GPU + 36 CPU)
• Tüm GPU'lar NVLink Switch ile bağlı → 130 TB/s toplam bant genişliği
• 13.5 TB toplam HBM3e bellek
• 1.4 exaflop FP4 AI performansı
• 120 kW güç tüketimi (sıvı soğutma gerektirir)

Bu sistemi perspektife koymak için: 2024 itibarıyla dünyanın en hızlı süper bilgisayarı Frontier yaklaşık 1.2 exaflop sunuyor—ve bunu 9.400+ AMD GPU ile yapıyor. GB200 NVL72 benzer performansı tek bir rafta sağlıyor.

Pratik etki: 1.8 trilyon parametreli bir GPT-MoE modeli üzerinde çıkarım yaparken, H100 tabanlı bir sisteme göre 30 kata kadar daha hızlı yanıt süresi ve 25 kat daha düşük enerji tüketimi.

NVIDIA NIM: AI Modelleri İçin Docker

GTC'de tanıtılan NVIDIA Inference Microservices (NIM) platformu, AI modellerini container olarak paketleyip dağıtmayı kolaylaştırıyor. NIM'i "AI modelleri için Docker" olarak düşünebilirsiniz:

1# NIM ile Llama 3 70B modelini tek komutla çalıştırma
2docker run -d --gpus all \
3  -e NGC_API_KEY=$NGC_KEY \
4  -p 8000:8000 \
5  nvcr.io/nim/meta/llama3-70b-instruct:latest
6
7# API isteği gönderme (OpenAI uyumlu endpoint)
8curl -X POST http://localhost:8000/v1/chat/completions \
9  -H "Content-Type: application/json" \
10  -d '{
11    "model": "meta/llama3-70b-instruct",
12    "messages": [{"role": "user", "content": "CUDA nedir?"}],
13    "max_tokens": 512
14  }'

NIM, modeli otomatik olarak donanıma göre optimize ediyor: quantization, tensor parallelism ve KV-cache yönetimini arka planda hallediyor. Bu, Ollama gibi araçların kurumsal versiyonu olarak düşünülebilir.

CUDA Ekosistemi ve Yazılım Avantajı

NVIDIA'nın rakiplerinden en büyük farkı donanım değil, yazılım ekosistemi:

Bu ekosistem kilidi, müşterilerin NVIDIA'dan ayrılmasını ekonomik olarak anlamsız kılıyor. DeepSeek'in R1 modeli bile NVIDIA H800 GPU'ları üzerinde eğitildi.

Müşteriler ve Pazar Hakimiyeti

Microsoft, Google, Amazon, Meta, Oracle ve Tesla, Blackwell platformunun ilk müşterileri arasında. NVIDIA'nın veri merkezi geliri 2024'te %200+ arttı ve şirket kısa süreliğine dünyanın en değerli şirketi unvanını aldı.

AI Donanım Yarışında Rakipler

Blackwell ile NVIDIA, AI altyapısı pazarının %80+'ını kontrol etmeye devam edecek gibi görünüyor. GTC 2025'teki Blackwell Ultra duyurusu, bu hakimiyeti daha da pekiştirdi.

Kaynaklar:

• NVIDIA Blackwell Mimarisi
• NVIDIA NIM
• GTC 2024 Keynote