Yapay zeka ve makine öğrenmesi iş yükleri, klasik sunucu donanımından farklı bir kaynak profili ister. Bu iş yüklerinde belirleyici olan işlemci çekirdek sayısı değil, paralel hesaplama kapasitesi ve grafik belleğidir.
Bu rehber, GPU'lu özel sunucu ihtiyacını nasıl değerlendireceğinizi ve donanım seçiminde nelere bakacağınızı anlatıyor.
GPU Gerçekten Gerekli mi?
Her yapay zeka projesi GPU gerektirmez ve bu ayrım ciddi maliyet farkı yaratır. Karar, iş yükü tipine bağlıdır:
| İş yükü | GPU gerekli mi? |
|---|---|
| Büyük model eğitimi | Kesinlikle — CPU ile pratik değil |
| Model ince ayarı | Evet |
| Yüksek hacimli çıkarım (inference) | Genellikle evet |
| Düşük hacimli çıkarım | CPU yeterli olabilir |
| Klasik makine öğrenmesi | Genellikle hayır |
| Veri ön işleme | Hayır — CPU ve disk işi |
| Dış API kullanımı | Hayır — hesaplama sizde değil |
Son satır sıkça atlanır: yapay zeka özelliği eklemek isteyen çoğu uygulama için doğru cevap GPU satın almak değil, hazır bir servisin arayüzünü kullanmaktır. Kendi donanımınız, ölçek büyüdüğünde veya verinin dışarı çıkamayacağı durumlarda anlamlı hâle gelir.
Grafik Belleği: İlk Bakılacak Kriter
GPU seçiminde en belirleyici özellik hesaplama gücü değil, grafik belleği (VRAM) kapasitesidir. Nedeni basittir: model belleğe sığmazsa hiç çalışmaz.
Bu, ikili bir kısıttır — yavaş çalışmak değil, çalışmamak söz konusudur. Bellek yetersizse iki seçeneğiniz kalır: daha küçük bir model kullanmak veya modeli birden fazla GPU'ya bölmek. İkincisi ek karmaşıklık ve iletişim maliyeti getirir.
Pratik yaklaşım: çalıştıracağınız modelin bellek ihtiyacını önceden hesaplayın ve üzerine pay bırakın. Eğitim, çıkarımdan belirgin biçimde fazla bellek ister — aynı model çıkarımda sığarken eğitimde sığmayabilir.
Diğer Bileşenler: Darboğaz Nerede Oluşur?
GPU'lu bir sunucuda diğer bileşenler ihmal edilirse, pahalı GPU boşta bekler. Klasik darboğazlar:
- Disk hızı: Eğitim sırasında veri sürekli okunur. Yavaş disk, GPU'yu veri beklerken boşta bırakır. Veri kümesi için NVMe kullanın.
- Sistem belleği: Veri ön işleme ve yükleme CPU tarafında yapılır. Yetersiz sistem belleği, veri hattını tıkar. Genel kural: grafik belleğinin belirgin biçimde üzerinde sistem belleği bulundurun.
- CPU: Veri artırma ve ön işleme CPU'da çalışır. Yetersiz çekirdek, GPU'yu besleyemez.
- Veri yolu bant genişliği: Birden fazla GPU kullanıyorsanız, aralarındaki iletişim hızı ölçeklenmeyi belirler. Kartlar arası hızlı bağlantı olmadan iki GPU, bir GPU'nun iki katı performans vermez.
- Güç ve soğutma: GPU'lar yüksek enerji tüketir ve çok ısınır. Kabin güç limitini ve soğutma kapasitesini önceden doğrulayın.
Satın Almak mı, Kiralamak mı?
GPU donanımı pahalıdır ve hızlı değer kaybeder. Karar, kullanım profiline bağlıdır:
- Sürekli ve yüksek kullanım: Kendi donanımınız ekonomik hâle gelir. GPU sürekli meşgulse kiralama maliyeti hızla birikir.
- Aralıklı kullanım: Ayda birkaç gün eğitim yapıyorsanız, kalan sürede atıl duran pahalı bir donanıma ödeme yaparsınız. Saatlik kiralama daha mantıklıdır.
- Veri hassasiyeti: Verinin dışarı çıkamayacağı durumlarda kendi donanımınız bir tercih değil zorunluluktur.
- Öngörülemeyen ihtiyaç: Hangi donanımın yeteceğini bilmiyorsanız önce kiralayıp ölçün. Yanlış boyutlandırılmış bir GPU sunucusu, düzeltmesi pahalı bir hatadır.
Çıkarım İçin Ayrı Değerlendirme
Eğitim ve çıkarım farklı gereksinimler üretir ve aynı donanımda çalıştırılmaları gerekmez.
Çıkarımda öncelik gecikme ve verimliliktir; eğitimdeki gibi devasa bellek ve hesaplama gücü gerekmez. Küçültülmüş (nicelenmiş) modeller belirgin biçimde daha az bellekle çalışır ve çoğu üretim senaryosunda kabul edilebilir kalite sunar.
Pratik sonuç: modeli güçlü bir donanımda eğitip, çıkarımı çok daha mütevazı bir yapılandırmada çalıştırmak yaygın ve ekonomik bir düzendir. Bazı çıkarım iş yükleri, optimize edildiğinde GPU'suz bile yeterli performans verir.
Yazılım Tarafı
GPU sunucu kurulumunda donanım kadar yazılım yığını da kritiktir ve sürüm uyumsuzlukları en sık karşılaşılan sorundur.
Sürücü sürümü, hesaplama kütüphanesi sürümü ve kullandığınız çerçevenin beklediği sürüm birbiriyle uyumlu olmalıdır. Bu zincirdeki tek bir uyumsuzluk, GPU'nun hiç görülmemesine veya çalışma anında hata alınmasına yol açar.
Bu karmaşıklığı yönetmenin en pratik yolu konteyner kullanmaktır: çerçeve ve bağımlılıkları önceden uyumlu biçimde paketlenmiş imajlarla çalışmak, sürüm uyumsuzluğu sorunlarının büyük bölümünü ortadan kaldırır.
Sonuç
GPU sunucu kararında sıra şudur: önce gerçekten gerekli mi diye sorun, gerekiyorsa grafik belleği kapasitesinden başlayarak boyutlandırın, sonra diğer bileşenlerin GPU'yu besleyebildiğinden emin olun. Aralıklı kullanımda kiralama, sürekli kullanımda kendi donanımınız ekonomik olur. Eğitim ve çıkarımı ayrı değerlendirmek ise en çok tasarruf sağlayan yaklaşımdır — çıkarım genellikle eğitim donanımının çok altında bir yapılandırmayla çalışır.
Sıkça Sorulan Sorular (SSS)
CPU ile yapay zeka çalıştırılabilir mi?
Çıkarım için evet, özellikle küçük ve optimize edilmiş modellerde. Eğitim için pratik değildir — GPU'nun paralel hesaplama avantajı bu iş yükünde kat kat fark üretir. Düşük hacimli çıkarım senaryolarında CPU çözümü ciddi maliyet tasarrufu sağlayabilir.
Ne kadar grafik belleği gerekir?
Çalıştıracağınız modelin boyutuna göre belirlenir ve eğitim, çıkarımdan belirgin biçimde fazla ister. Model bellekte sığmazsa hiç çalışmaz — bu yüzden hesaplamayı önceden yapıp üzerine pay bırakmak gerekir.
İki GPU, bir GPU'nun iki katı hız verir mi?
Hayır. Kartlar arası iletişim maliyeti ve iş yükünün paralelleşebilirliği ölçeklenmeyi sınırlar. Ayrıca kartlar arasında hızlı bir bağlantı yoksa kayıp belirgin olur. İkinci GPU eklemeden önce mevcut GPU'nun gerçekten doygun olup olmadığını ölçün.
GPU sunucum çoğu zaman boşta, ne yapmalıyım?
Bu, kiralama modelinin daha uygun olduğunun işaretidir. Kendi donanımınız yalnızca sürekli ve yüksek kullanımda ekonomik olur. Alternatif olarak, boşta kalan kapasiteyi başka iş yükleriyle doldurmayı planlayın.
