8, 12, 16 veya 24 GB grafik belleği ilk seçime yardımcı olur. Yerel dil modelinin günlük kullanımda verimli olması model sürümüne, bağlama ve eşzamanlı kullanıma da bağlıdır. Kısa bir bellek karşılaştırması yanlış alımları önler.
Grafik belleğini gerçekte ne doldurur?
Planlama üç alanı kapsar: yüklenen model ağırlıkları, KV önbelleği dâhil bağlam belleği ve çalışma tamponları . Bunlar kullanılan arka uca bağlıdır. Diğer GPU uygulamaları ve işletim payı için de yer kalmalıdır. Yaygın bir ayrı ekran kartında sistem RAM’i ve grafik belleği farklı kaynaklardır.
Paylaşımlı bellekli sistemlerin bütçesi farklıdır: işletim sistemi, uygulamalar ve model aynı havuzu kullanır. Pilot burada da gerçekten kullanılabilir belleği ve gerçek işi ölçmelidir. Nominal kapasite iki mimari için de tek başına yeterli değildir.
4 bit: sınırları belli, yararlı bir hesap
7B veya 70B içindeki “B” milyar parametre demektir. Eşit 4 bit kullanıldığında kaba ağırlık hesabı şöyledir: parametre sayısı × 4 ÷ 8 = bayt. Nicemleme ağırlıkları daha düşük hassasiyetle saklar. Yanıt kalitesine etkisi ilgili görevle test edilmelidir.
| Model sınıfı | 4 bitte teorik boyut | Bunun anlamı |
|---|---|---|
| 7–8B | 3,5–4,0 GB ≈ 3,26–3,73 GiB | İlk test için kompakt başlangıç; somut dosya ve bağlam ayrıca hesaba katılır. |
| 14B | 7,0 GB ≈ 6,52 GiB | Bu hesap tek başına 8 GB kartta tam çalışmayı kanıtlamaz. |
| 32B | 16,0 GB ≈ 14,90 GiB | Nominal olarak uygun bir ağırlık bütçesi bile diğer çalışma ihtiyaçlarına yer bırakmaz. |
| 70B | 35,0 GB ≈ 32,60 GiB | Bu basit hesapta ağırlıklar bile tek bir 24 GB kartı aşar. |
Somut bir GGUF bu hesaptan büyük veya farklı bileşimde olabilir. Q4_K_M gibi yöntemler tüm bileşenleri parametre başına basitçe dört bit olarak saklamaz. Bu nedenle planda kesin model dosyası ve nicemleme çeşidi belirtilmelidir.
Resmî Qwen dosya dizinlerinden doğrulanabilir örnek: Q4_K_M dosya parçalarının Qwen2.5-Instruct için toplamı 7B’de yaklaşık 4,68 GB / 4,36 GiB, 14B’de 8,99 GB / 8,37 GiB ve 32B’de 19,85 GB / 18,49 GiByer kaplar. Bunlar dosya boyutlarıdır, ölçülmüş VRAM tüketimi değildir. Ancak bu sürüm için “32B, 4 bitte 16 GB’a sığar” iddiasının neden sağlam bir taahhüt olmadığını gösterir.
8, 12, 16 veya 24 GB nasıl değerlendirilmeli?
| Kapasite sınıfı | Yararlı test alanı | Dikkat edilecekler |
|---|---|---|
| 8 GB | Kompakt 7–8B sürümü ve sınırlı bağlamla başlamak. | Diğer GPU kullanımları ve uzun girdiler bütçeyi hızla daraltabilir. |
| 12 GB | Kompakt modeller için daha fazla pay; belirli bir 14B nicemlemesini özellikle test edin. | Ağırlıklar, KV önbelleği ve tamponlar boş belleğe birlikte sığmalıdır. |
| 16 GB | Uygun küçük ve orta model sürümleri için ek pay. | Belirtilen Qwen2.5-32B-Q4_K_M tam dosya olarak bile bu sınıfa sığmaz. |
| 24 GB | Uygun bir 32B nicemlemesi kısa listeye girebilir. | Uzun bağlam ve paralel istekler ayrıca test edilmelidir. Bu, 70B desteği anlamına gelmez. |
Ölçüm aracının birimini ve boş belleği kontrol edin. Aynı kapasitedeki iki kart bant genişliği, hesaplama gücü, sürücü desteği ve enerji tüketiminde çok farklı olabilir. Daha fazla GB, model onayı veya kıyaslama sonucu değildir.
Bağlamı ve eşzamanlı istekleri test edin
KV önbelleği işleme için gereken ara değerleri tutar. İhtiyaç model mimarisine, bağlam uzunluğuna ve saklama biçimine bağlıdır. Uzun belgeler, sohbet geçmişleri ve eklenen bilgi parçaları ek alan kullanır. Modelin tanıtılan azami bağlam penceresi bu nedenle bedelsiz kullanılabilen bellek değildir.
Başarılı tek istek testi de eşzamanlı istekler hakkında az bilgi verir. Ollama’da paralel bağlam işleme bellek kullanımını artırır; tam yapılandırmayı kaydedin. Kısa isteğe ek olarak uzun gerçekçi bağlamı ve beklenen eşzamanlılığı test edin. Yanıt kalitesi, ilk token süresi, toplam süre, hatalar ve en yüksek bellek kullanımı birlikte değerlendirilmelidir.
Daha küçük veya nicemlenmiş KV biçimi, çalışma motoru ve arka uca göre bellek tasarrufu sağlayabilir. Doğruluğu ve davranışı da etkileyebilir. Model ağırlığı nicemlemesi ve KV nicemlemesi ayrı ayarlardır; aynı işe özgü testlerle karşılaştırılmalıdır.
CPU ve RAM’e aktarma: mümkün, ancak farklı davranır
llama.cpp gibi çalışma motorları CPU ve GPU arasında bölüşümü destekler. Böylece tam bellek ihtiyacı grafik belleğini aşan bir model kullanılabilir. Yeterli sistem RAM’i ve uygun veri yolu gerekir. SSD, eksik VRAM’i aynı hızda grafik belleğine dönüştürmez.
Aktarma yürütme yolunu ve çoğu zaman yanıt süresini değiştirir; ölçmeden etkisini güvenilir biçimde sayısallaştırmak mümkün değildir. Ollama’da ollama psgeçerli CPU/GPU dağılımını kontrol etmeye yardımcı olur. Birden fazla GPU da otomatik olarak tek büyük aygıta eşdeğer değildir: destek, dağılım ve kartlar arası aktarımlar mimari incelemeye dâhildir.
Satın almadan önce: somut yapılandırmayı doğrulayın
- Modeli belirleyin: kesin sürüm, nicemleme, lisans ve istenen yanıt kalitesi.
- Yükü belirleyin: bağlam bütçesi, giriş/çıkış uzunluğu ve eşzamanlı istekler.
- Ortamı inceleyin: belirli GPU, arka uç, sürücüler, sistem, RAM, soğutma ve güç kaynağı.
- Ölçün: temsilî pilotta boş kapasite, en yüksek tüketim, yanıt süreleri ve işe ilişkin hatalar.
- Karar verin: mevcut donanımı kullanın, hedefli genişletin veya yerel, haricî ya da hibrit hizmet seçin.
DAXS model ve donanım seçimini mevcut BT’nize ve kararlaştırılan işletime uyarlar. Çerçeveyi Yerel LLM’ler ve Altyapıuzmanlık sayfası açıklar. Yerel yapay zekâ yük pilotu yazısı gerçekçi görevlerle değerlendirmeyi gösterir; Maliyetler ve Model Seçimi ekonomik yönü ele alır.
Model ve donanım seçimini görüşün
Kaynaklar: Ollama: bağlam uzunluğu (haricî bağlantı) · Ollama: bellek, eşzamanlılık ve offloading (haricî bağlantı) · llama.cpp: yürütme yolları (haricî bağlantı) · Hugging Face: GGUF (haricî bağlantı) · resmî Qwen dosya dizinleri 7B (haricî bağlantı), 14B (haricî bağlantı), 32B (haricî bağlantı). Çıkarım için rehberlik; eğitim testi, donanım teklifi veya iddia edilen müşteri ölçümü değildir.
