Beş anahtar ifadeden kısa bir görüşme notu hazırlanacak. Her istekte mevcut en büyük dil modelinin çalışması gerekir mi? Çoğu zaman önce görevi net biçimde sınırlamak ve daha küçük bir modeli denemek faydalıdır.
İstenen sonuç birkaç satıra sığar.
Kurgusal bir telefon görüşmesi şu ifadelerle kaydedilir: “Müşteri teslimat tarihini soruyor, teklif hazır, kurum içi açıklığa kavuşturma bekliyor, yarın geri dönüş.” Mesaj, içeriği anlaşılır biçimde özetlemelidir. Teslimat tarihi uydurmamalı, bu notları siparişe veya fiyat taahhüdüne dönüştürmemelidir.
Bu görevde eksiksizlik, doğru ilişkilendirme ve eksik bilgilerin ele alınması belirleyicidir. Çok ayrıntılı akıl yürütme veya büyük bir bağlam penceresi, notu daha kullanışlı yapmadan ek yük oluşturabilir.
Önce kabul ölçütleri, sonra model seçimi.
Test kümesi yalnızca iyi yazılmış örneklerden oluşmaz. Kısaltmalar, yazım hataları, çelişkili zaman bilgileri ve eksik irtibat kişileri de yer alır. Her örnekte nelerin aktarılabileceği ve nerede açıklayıcı soru gerektiği bellidir.
Daha küçük bir model, bu gereksinimleri güvenilir biçimde karşılıyorsa uygundur. Karşılamıyorsa neden araştırılır: belirsiz girdi, uygun olmayan hazırlık, eksik doğrulama veya gerçekten yetersiz model yeteneği. Daha büyük bir model yardımcı olabilir, ancak her hataya en ekonomik yanıt değildir.
Kontrollü bir yönlendirici görevleri farklı biçimde ele alabilir.
Kısa bir görüşme notu, karmaşık bir sözleşme analizi veya kod incelemesinden farklı bir işleme yolunu izleyebilir. Seçimde koruma ihtiyacı, onaylı sağlayıcılar, kalite ve yanıt süresi dikkate alınır. Sonuç yetersizse açıklayıcı soru veya tanımlı bir üst inceleme süreci devreye girer.
Yedek model yeni bir izinsiz veri aktarımına neden olmamalıdır. Başta seçilen API’ye o anda erişilemiyor olsa bile uzman incelemesi ve bütçe sınırları geçerliliğini korur.
Token fiyatı hesabın yalnızca bir satırıdır.
Çalışanların sonuçları sık sık düzeltmesi gerekiyorsa ucuz bir çağrı pahalıya mal olabilir. Buna karşılık, daha pahalı bir model zor bir görevi çok daha az düzeltmeyle tamamlıyorsa toplamda mantıklı olabilir. Aynı görev, aynı kalite gereksinimleriyle karşılaştırılır.
- Kullanım
- Girdi ve çıktı tüketimi, ek araç çağrıları ve gerekli tekrarlar.
- Kalite
- Gerçekten kullanılabilir sonuçların oranı ve içerik açısından kritik hataların sonuçları.
- Düzeltme işi
- İnceleme, düzeltme, açıklayıcı sorular ve yeniden işleme için harcanan süre.
- İşletim
- Entegrasyon, izleme, güncellemeler, sınırlar ve kesinti yönetimi.
Girdiler de iyileştirilebilir.
Not için gerekli anahtar ifadeler aktarılır; tedbir olsun diye tüm müşteri geçmişi verilmez. Açık bir çıktı biçimi incelemeyi kolaylaştırır. Hizmet destekliyorsa girdinin tekrarlanan bölümleri istem önbelleklemesinden yararlanabilir. Önbellek isabeti oluşup oluşmadığı ve etkisi ölçülmelidir.
Eşzamansız toplu işleme, anında yanıt gerektirmeyen görevler için başka bir seçenektir. Örneğin, görüşme sırasında gereken bir nottan çok hazırlanmış bir belge kümesine uygundur.
Mevcut sabit ücretli plan bekleme süresini ücretsiz yapmaz.
Önceden ödenmiş kotalar kararı etkileyebilir. Gereksiz girdiler, insan emeğiyle düzeltme ve meşgul edilen kapasite yine de önemlidir. Ekonomik bir mimari, başarıyla tamamlanan işlem başına maliyeti ölçer ve model veya ürün değişikliklerinden sonra yeniden değerlendirir.
İlgili Yapay Zekâ Maliyet Optimizasyonu uzmanlık sayfası model yönlendirmesini, ağ geçitlerini ve yerel altyapıyı açıklar. Bütün süreçleri değerlendirmek için Betik, iş akışı mı, yapay zekâ ajanı mı? karar çerçevesini tamamlar.
Kaynaklar: OpenAI: maliyet optimizasyonu · OpenAI: istem önbellekleme · OpenAI: toplu işleme. Genel tasarruf veya fiyat vaatleri yoktur.
