Tek bir kısa soruya hızlı yanıt, yerel dil modelinin temelde çalıştığını gösterir. Altyapı kararı için gelecekteki görevleri ve bunların gerçek yükünü kullanan bir test çok daha anlamlıdır. Yanıt kalitesi, bekleme süreleri, uzun girdiler, eşzamanlı kullanım ve hata sonrası çalışma da buna dahildir.
Pilot çalışmanın hangi kararı mümkün kılacağı önceden belirlenirse özellikle yararlı olur. Örneğin: mevcut ortam yeterli mi, başka donanım mı gerekli, yoksa haricî veya hibrit hizmet daha mı uygun? Test planı bu soruya göre hazırlanır.
Küçük ve temsili bir görev kümesiyle başlayın
Uygun test görevleri planlanan iş akışından gelir: kısa bir mesleki soru, onaylı uzun bir belgenin özeti veya incelenecek bir betik taslağı. Her görev için kullanılabilir sonucun nasıl anlaşılacağı belirlenir.
Bilgi sorularında beklenen kaynaklar ve yeterli dayanağın bulunmadığı durumlar da yer almalıdır. Kod, teknik inceleme ve uygun testler gerektirir. Gizli özgün veriler yalnızca bu amaçla onaylanan ortamda kullanılır; hazırlık için uygun biçimde temizlenmiş veya özel oluşturulmuş test verileri yeterli olabilir.
Kaliteyi ve hızı ayrı değerlendirin
Hızla yanlış sonuç üreten bir model hedefi karşılamaz. Bu nedenle önce mesleki kullanılabilirlik, gerekli düzeltmeler ve eksik bilgiyle başa çıkma değerlendirilir. Ardından bu kaliteye hangi yanıt süresi ve emekle ulaşıldığı karşılaştırılır.
Model sürümü, nicemleme, çıkarım yazılımı, ayarlar ve test verileri kaydedilir. Aksi hâlde daha hızlı yanıt, değişen görevden veya farklı kalite düzeyinden kaynaklanabilir. Değişen belge koleksiyonu da RAG uygulamasının karşılaştırmasını etkileyebilir.
Bekleme süresini bileşenlerine ayırın
- İlk tokena kadar geçen süre
- Çıktının ne zaman başladığını gösterir. Kuyruk ve girdinin işlenmesi bu süreyi etkileyebilir. Ayrıca uygulamada gönderimden görünür yanıta kadar algılanan süre de ölçülmelidir.
- Süren çıktı üretimi
- Üretim hızı, uzun bir yanıtın ne kadar süreceğini etkiler. Sunucunun yüksek toplam iş hacmi, tek bir kullanıcının yanıtını ne hızla alacağını tek başına göstermez.
- Toplam süre
- Uygulamadaki işlemin tamamını kapsar. Arama, belge hazırlama, araç çağrıları ve ağ yolları da eklenebilir.
- Dağılım ve hatalar
- Tipik değerler, daha yavaş uç durumlarla birlikte ele alınır. Ölçüm sayısı, zaman aşımları ve yarıda kalan görevler de sonucun parçasıdır.
Resmî vLLM metrik belgeleri (haricî bağlantı) bekleme, girdi ve çıktı ölçümlerini de birbirinden ayırır. Belirli çalışma zamanının hangi metrikleri sunduğu kullanılan sürüm için doğrulanır. Farklı bileşenlerden gelen ölçümler aynı dönemi ve görevi açıklamalıdır.
Kısa sohbetleri, uzun bağlamları ve eşzamanlılığı test edin
Uzun bağlam ek işlem ve bellek gerektirir. Eşzamanlı istekler kullanılabilir kaynakları paylaşır. Ollama bağlam belgeleri (haricî bağlantı) ve vLLM optimizasyon belgeleri (haricî bağlantı) bu ilişkileri açıklar; somut ayarlar sürüme ve donanıma bağlıdır.
Anlamlı bir test bu yüzden kısa ve uzun girdileri, planlanan kullanıma uygun eşzamanlılıkla birleştirir. Düzenli gelen isteklerin yanında beklenen yoğunluklar da incelenir. Toplu işleme toplam iş hacmini artırıyorsa bile tek tek yanıt sürelerinin kullanıcılara uygunluğu kontrol edilmelidir.
Örnek bir test planı
Önce aynı mesleki görevleri tek tek çalıştırın. Sonra kısa isteklerle onaylı belge görevlerini birlikte test edin. Ardından beklenen yoğun bir dönemi canlandırın ve aşırı yük altındaki davranışı gözlemleyin. Hedef değerler kullanıcılarla önceden kararlaştırılır.
Bu plan uyarlanabilir bir örnektir. Ölçülmüş DAXS performans rakamları içermez ve somut ortamın değerlendirilmesinin yerini almaz.
Başlangıcı, sürekli çalışmayı ve toparlanmayı ayırın
Yeniden başlatma sonrasında modelin önce yüklenmesi gerekebilir. Bu soğuk başlangıç, model zaten yüklüyken yapılan çalışmadan ayrı ölçülür. Hızlı NVMe diskler yükleme ve veri işlemlerini destekleyebilir; bu, tamamen GPU belleğinde bulunan modelin token üretiminin genel olarak hızlanacağı anlamına gelmez.
Pilot çalışma; bağlantı kaybını, yarıda kalan işi ve hizmetin yeniden başlatılmasını da kapsar. Uygulama durumunu anlaşılır göstermeli, yeniden deneme veya devretme için anlamlı bir yol sunmalıdır. Aşırı yük sessizce eksik sonuçlara yol açmamalıdır.
Sonuçları mimari kararına dönüştürün
Kullanılabilir sonuçlar, düzeltme emeği, gecikme, kapasite ve sürekli işletim karşılaştırılır. Toplam maliyete yönetim, bakım, enerji, yedekleme ve gerekli erişilebilirlik de dahildir. Haricî hizmetlerde gerçek kullanım ücretleri ve kararlaştırılan veri yolları eklenir.
Sonuç; daha küçük uygun bir model, ek kaynak, sınırlı kuyruk veya başka bir işletim modeli olabilir. Yerel, haricî ve hibrit yaklaşımlar aynı görevle değerlendirilir. Pilot, önceden varsayılan bir donanım alımını sonradan gerekçelendirmek yerine bir sonraki sağlam kararı mümkün kılmalıdır.
DAXS testi planlar, uygun ortamı kurar ve sonuçları BT ekibinizle değerlendirir. Teknik temeli yerel LLM’ler ve altyapı hakkındaki uzmanlık sayfamızaçıklar. Bağlı bilgi koleksiyonlarında arama, kaynak ve yetki kalitesi aynı değerlendirme çerçevesine dahildir.