Mevcut Proxmox ana makinesinde bir yapay zekâ hizmeti için hâlâ kapasite var. Bir ekran kartı takıp sanal makine oluşturmak yeterli mi? GPU ataması, ana makine kaynakları ve bakım birlikte planlanırsa bu uygun bir çözüm olabilir.
Passthrough sırasında fiziksel GPU tek bir VM’ye aittir
PCIe passthrough, sanal makineye fiziksel bir aygıtın denetimini verir. Yapay zekâ VM’si GPU’yu kendi konuk sürücüsüyle kullanır. Bu atama sürerken ana makine ve diğer VM’ler aynı kartı kendi hesaplamaları için eşzamanlı kullanamaz.
Yapay zekâ VM’sinin içindeki ortak model hizmeti birden fazla isteği işleyebilir. Bu, kartın birden fazla VM arasında bölüştürülmesinden farklıdır. Ayrı bir vGPU çözümünün uygunluğu GPU’ya, hipervizöre, sürücülere, desteklenen yapılandırmalara ve lisanslamaya da bağlıdır.
VM’nin avantajı, açıkça atanmış bir sistem ortamıdır: işletim sistemi, model sunucusu ve gerekli veriler birlikte yönetilebilir. GPU ise kendi gereksinimleri olan fiziksel bir aygıt olarak kalır.
Kurulumdan önce tüm donanım zincirini denetleyin
Proxmox belgeleri, kesme yeniden eşlemesi dâhil IOMMU desteğini ön koşul olarak belirtir. CPU, anakart, firmware ve Linux desteği birbiriyle uyumlu olmalıdır. Yalnızca VT-d veya AMD-Vi adının bulunması bu denetimin yerini almaz.
Seçilen yuvanın IOMMU grubu da önemlidir. GPU ve ilişkili işlevleri, gerekli diğer aygıtlardan uygun biçimde ayrılmalıdır. Linux VFIO belgeleri, grubun neden atama ve yalıtım sınırı olduğunu açıklar. Başka bir yuva farklı gruplama sağlayabilir.
Alan, elektriksel PCIe bağlantısı, güç kaynağı ve soğutma da denetlenir. Konukta uygun GPU sürücüsü ve model hizmetinin desteği gerekir. GPU passthrough için Proxmox genellikle OVMF/UEFI ve PCIe ile q35 önerir; kartın firmware’i de uygun olmalıdır. Somut ayarlar kullanılan donanıma göre belirlenir.
Mevcut kapasite ortak bir bütçedir
Planlama örneği, iş uygulamaları ve ek bir yapay zekâ VM’si çalıştıran mevcut bir sanallaştırma ana makinesidir. CPU zamanı, RAM, depolama ve ağ ortak kaynaklar olarak kalır. Sınırsız belge içe aktarma veya model başlatma diğer uygulamaları beklenmedik biçimde yavaşlatmamalıdır.
Bu nedenle VM’ye anlaşılır bir yapılandırma ve yük sınırları verilir. Grafik belleği, bağlam uzunluğu ve eşzamanlı model istekleri birlikte test edilir. VM’ye daha fazla RAM atamak kartın fiziksel VRAM’ini artırmaz. İşin CPU’ya aktarılması davranışı değiştirebilir ve ayrı ölçüm gerektirir.
Adil karşılaştırma için model sürümü, girdiler, bağlam ve eşzamanlılık kaydedilir. Kalite, ilk yanıt, sonraki çıktı, bekleme süresi ve diğer VM’lere etki değerlendirilir. Bu somut test olmadan sanallaştırma ek yükü için genel bir yüzde vermek pek yararlı olmaz.
VM veya ayrı makine: işletimde ne değişir?
| Soru | GPU passthrough kullanan yapay zekâ VM’si | Ayrı yapay zekâ sunucusu |
|---|---|---|
| Kaynaklar | GPU sabit atanır; diğer ana makine kaynakları mevcut VM’lerle uyumlu planlanır. | Hesaplama ve bellek kaynakları ayrı sistemin kullanımındadır. |
| Bakım | Konuk sürücüleri, model işletimi ve Proxmox/ana makine güncellemeleri birlikte planlanır. | İşletim sistemi ve model hizmeti ayrı bir bakım alanındadır. |
| Ana makine değişimi | Doğrudan aktarılan PCI aygıtları olağan canlı taşımayı engeller. Durdurulmuş VM taşınırken uygun hedef donanım ve atama denetlenir. | Başka donanımda hazırlanmış yeniden başlatma yoluyla taşıma veya değiştirme. |
| Yedekleme | VM diskleri, uygulama tutarlılığı, yapılandırma ve aygıt ataması birlikte değerlendirilir. | Sistem/uygulama verileri ve geri yükleme ayrı düzenlenir. |
| İş yükü | Mevcut altyapı kullanılabilir; entegrasyon ve ek ana makine bağımlılıkları hesaba katılır. | Ayrı donanım ve tesis kaynakları planlanır; bakım daha net ayrılır. |
Mevcut bir küme, fiziksel donanıma bağlı yapay zekâ VM’sini otomatik olarak kesintisiz taşınabilir yapmaz. Başka düğümde yeniden başlatmak, uyumlu GPU kaynakları, geçerli atama ve gerçekten test edilmiş bir süreç gerektirir. Bu hazırlığın yeterli olup olmadığını veya ek hizmet düğümünün uygunluğunu hizmet gereksinimi belirler.
Geri yükleme, VM’nin açılmasından fazlasını göstermelidir
Kopyalanmış sanal disk, fiziksel ekran kartının çalışan durumunu içermez. Bu nedenle geri yüklemede model sürümleri, yapılandırma, veri yetkileri ve aygıtın yeniden atanması da denetlenir. Aynı ana makinedeki anlık görüntü ayrı bir yedeğin yerini almaz.
Kabul, normal VM yeniden başlatmasını, ana makine yeniden başlatmasını, planlı bakım penceresinde sürücü/çekirdek değişimini ve planlı geri yüklemeyi kapsar. Ardından gerçek bir model isteği ve diğer uygulamalar test edilir. Böylece aygıtın yeniden başlatma sonrasında düzgün biçimde kullanılabilir olup olmadığı görülür.
Yalnızca hesaplama hızlandırıcısı olarak kullanılan GPU’ya monitör bağlamak gerekmez. Proxmox konsolu, passthrough GPU’nun görüntüsünü doğrudan göstermez. Yapay zekâ hizmeti, öngörülen arayüzü veya API’si üzerinden kullanılır.
Kararı sınırlı bir pilotla destekleyin
DAXS önce görevi, mevcut ana makineyi, kullanım kapsamını ve kabul edilebilir kesintiyi netleştirir. Ardından sınırlı bir pilot aygıt atamasını, işlevsel kaliteyi ve işletim etkilerini test eder. Sonuca göre VM, ayrı makine veya dış hizmet uygun olabilir.
İşletmeler için hazırlanan Proxmox değerlendirmesi genel platform seçimini açıklar. Yerel LLM altyapısı sayfası ve yük testi pilotu boyutlandırmayı ayrıntılandırır. Ortak hizmet için Ollama ve Open WebUI yazısı mimariyi tamamlar.
Yapay zekâ işletim modelini ve mevcut altyapıyı görüşün.
Kaynaklar: Proxmox: PCIe passthrough (dış bağlantı) · Proxmox: sanal makine taşıma (dış bağlantı) · Linux: VFIO ve IOMMU grupları (dış bağlantı) · NVIDIA: vGPU destek matrisi (dış bağlantı) · Ollama: donanım desteği (dış bağlantı).
