Yerel yapay zekâyı ilk kez denemek için hemen yeni bir sunucu almak gerekmez. Mevcut bir bilgisayar, daha küçük bir dil modelinin hedeflenen görev için işe yarar sonuçlar verip vermediğini gösterebilir. Günlük çalışma söz konusu olduğunda bekleme süreleri, kullanılabilir kapasite ve güvenilir işletim de önem kazanır.
Bu nedenle en önemli soru şudur: model ne yapmalı? Kısa bir metni düzenlemek; uzun belgeleri analiz etmekten, kapsamlı kod çalışmasından veya birkaç kişinin aynı anda çalışmasından farklı gereksinimler doğurur. “Model başlıyor” ilk teknik bulgudur. Bu, henüz uygun bir iş istasyonunu veya şirket hizmetini kanıtlamaz.
Özel bir ekran kartı olmadan neler yapılabilir?
Dil modelleri desteklenen bir CPU üzerinde çalışabilir. llama.cpp çalışma ortamı farklı işlemci platformlarını ve işin CPU ile GPU arasında bölünmesini destekler. Bu nedenle GPU her deneme için genel bir ön koşul değildir; ancak işlemeyi önemli ölçüde hızlandırabilir. Gerçek fark, seçilen görevle ölçülür. llama.cpp: desteklenen donanım ve çalıştırma (haricî bağlantı).
CPU denemesi örneğin hassas olmayan maddelerden taslak oluşturmak, kısa bir notu düzenlemek veya küçük bir kod örneğini değerlendirmek için kullanılabilir. Modelin hem dil hem de konu bakımından uygun olması gerekir. Uzun bir girdi, kapsamlı bir yanıt veya aynı anda gelen ikinci bir istek, başlangıçta işe yarayan tek kullanıcı denemesinin sonucunu önemli ölçüde değiştirebilir.
32 veya 64 GB RAM: evrensel alt sınır yerine planlama senaryoları
Aşağıdaki seviyeler özellikle örnek olarak belirtilmiştir. Ne belirli model dosyasının kontrolünün ne de yük testinin yerini tutarlar. Daha küçük modeller daha az bellekle çalışabilir; daha büyük modeller, uzun bağlamlar veya birden fazla hizmet çok daha fazla bellek gerektirebilir.
| Genişletme seviyesi | Örnek temel | Testin açıklığa kavuşturması gerekenler |
|---|---|---|
| Mevcut bilgisayarı değerlendirme | Desteklenen CPU, örneğin 32 GB RAM ve yeterli boş SSD alanı; başlangıçta ek GPU olmadan. | Daha küçük bir model konuya uygun mu? Tekil kısa görevlerde bekleme süresi kabul edilebilir mi? |
| Düzenli kullanılan iş istasyonu | Örneğin 32–64 GB RAM, NVMe SSD ve modele ve bağlama göre özellikle seçilmiş bir GPU. | Başka uygulamalar aynı anda çalışırken ve girdiler uzarken çalışma akıcı kalıyor mu? |
| Ortak hizmet | Ayrılmış kaynaklar; örneğin planlamanın başlangıcı olarak 64 GB sistem RAM’i, uygun hızlandırma ve düzenlenmiş işletim. | Gerçek yük altında hangi eşzamanlı kullanım, yanıt kalitesi ve kullanılabilirlik sağlanabilir? |
64 GB sistem RAM’i, yeterli büyüklükte grafik belleğinin yerini tutmaz. Aynı şekilde SSD’ye sığan bir model dosyası, modelin tamamının istenen bağlamla birlikte GPU belleğine sığacağını kanıtlamaz. Paylaşımlı bellek kullanan sistemlerde belleğin tamamının nasıl bölündüğü değerlendirilmelidir.
Neden tek başına model boyutu yeterli değildir?
Basit bir hesap büyüklük mertebesini gösterir: parametre başına teorik olarak dört bit kullanılan sekiz milyar parametre 8.000.000.000 × 4 ÷ 8 = 4.000.000.000 bayt, yani yalnızca ağırlıklar için yaklaşık 4 GB veya 3,73 GiB verir. Bu, çalıştırılabilir bir modelin toplam bellek gereksinimi değildir.
Buna diğerlerinin yanı sıra nicemleme bilgileri, farklı biçimlerde saklanan bölümler, çalışma zamanı arabellekleri ve bağlam belleği eklenir. Gerçek dosya ve seçilen çalışma ortamı belirleyicidir. Örneğin GGUF, tensörlerin yanında meta veriler de içerir ve farklı nicemleme biçimlerini destekler. Hugging Face: GGUF ve nicemleme (haricî bağlantı).
Daha büyük bir bağlam penceresi ek bellek gerektirir. Bu nedenle istenen girdi uzunluğu testte açıkça kaydedilir. Kısa bir girdiyle yapılan kısa sohbet, daha sonra uzun belgelerle yapılacak çalışma hakkında pek az şey söyler. Ollama: bağlam uzunluğu ve bellek ihtiyacı (haricî bağlantı).
GPU tüm ortama uygun olmalı
Seçimde kullanılabilir grafik belleği, desteklenen sürücüler ve çalışma ortamı, güç tüketimi, soğutma ve montaj koşulları önemlidir. Benzer ürün adlarına sahip iki kartın bellek miktarları farklı olabilir. İşletim sisteminin kartı tanıması da hedeflenen model çalışma ortamının onu uygun biçimde kullandığı anlamına gelmez.
Bu nedenle satın almadan önce tam kart modeli, işletim sistemi ve sürücü sürümü, çalışma ortamının güncel desteğiyle karşılaştırılır. Ollama; NVIDIA, AMD, Apple Metal ve diğer arka uçlar için farklı yolları belgeler. Bu, bir markanın tüm kartlarının genel olarak desteklendiği anlamına gelmez. Ollama: güncel donanım desteği (haricî bağlantı).
NVMe ve Linux ne sağlar?
NVMe SSD; yerel model dosyaları, güncellemeler ve çalışma verileri için makul bir planlama seçeneğidir. Gerçekte kullanılan modeller ve ek sürümler için boş alan ayrılır. Ancak daha büyük bir sürücü RAM’in veya grafik belleğinin yerini tutmaz; hızlı bir SSD bile fazla büyük bir modeli kendiliğinden etkileşimli kullanıma uygun hâle getirmez.
Sürücüler, bakım ve sorumluluklar şirkete uygunsa Linux sürekli işletilen bir hizmet için iyi bir seçenek olabilir. Ollama, diğer seçeneklerin yanında ayrı bir sistem hizmeti olarak çalışmayı da açıklar. İşletim sistemi mevcut ortama göre seçilir; her iş istasyonuna yeniden uygulanması gerekmez. Ollama: Linux işletimi ve sürüm bakımı (haricî bağlantı).
Kısa bir pilot daha iyi bir alışveriş listesi sağlar
- Bir görev belirleyin: örneğin tüm bilgi deposunu bağlamadan önce onaylanmış maddelerden bir taslak oluşturun.
- Test koşullarını kaydedin: model sürümü, nicemleme, bağlam, donanım ve çalışan diğer uygulamalar.
- Sonuçları değerlendirin: konu bakımından doğruluk, gerekli düzeltmeler ve gerçekten tasarruf edilen iş.
- Bekleme sürelerini ölçün: tipik ve daha uzun girdiler ile beklenen eşzamanlı kullanım.
- İşletimi de kontrol edin: veri yolları, erişim izinleri, güncellemeler, yedekleme ve hizmetin yeniden devreye alınması.
Daha ayrıntılı test yöntemi şu yazıda yer alır: Yerel yapay zekâyı test etme: anlamlı yükle pilot çalışma. Ortak hizmete geçişte Şirket ağında Ollama ve Open WebUI erişim, arayüz ve model arasındaki görev dağılımını açıklar.
Mevcut olanı iyi kullanın ve hedefli biçimde tamamlayın
Başlangıç için mevcut bir bilgisayar yeterli olabilir. Pilot sağlam bir fayda gösterirse ardından hedefli yükseltme yapılır veya ayrı bir hizmet planlanır. Seyrek ya da özellikle zorlayıcı görevlerde onaylanmış bir bulut API’si veya hibrit model de ekonomik açıdan uygun olabilir. Veriler, kalite, kullanım ve işletim emeği belirleyicidir.
DAXS bu değerlendirmede ve mevcut BT’ye entegrasyonda destek verir. Başlangıç için şu bağlantıları kullanabilirsiniz: Yerel LLM ve altyapı ile yapay zekâ danışmanlığı ve otomasyon talebi.
Kaynaklar: bellek değerleri açıkça tanımlanmış planlama senaryoları veya teorik ağırlık hesabıdır. Performans testi, fiyat teklifi veya belirli bir kullanıcı sayısına ilişkin kanıt değildir. Belirli modelin lisansı ve sistem uyumluluğu kullanımdan önce kontrol edilir.