Ceph, Proxmox kümesindeki VM verilerini birden fazla ana makinenin yerel SSD’lerine dağıtarak ayrı SAN’ın yerini alabilir. Belirleyici olan ana makine arızası sonrası kopyalardır: yeter sayı, boş kapasite ve ağ istenen yedekliliği zamanında yeniden kurmaya yeter mi? Aşağıdaki hesap veri erişimini, otomatik VM yeniden başlatmalarını ve gerçek kurtarma süresini ayırır.
Yazının odağı işletimde Ceph’in çalışma mekanizmasıdır. Somut HPE parça listesi ayrı donanım tasarımı gerektirir; Ceph, ZFS çoğaltma ve harici depolama seçimi ayrı uygulama karşılaştırması ister. Temel senaryo yerel kurumsal SSD’leri ayrı Ceph OSD’leri olarak, çoğaltılmış VM havuzuyla ve ana makineyi arıza alanı olarak kullanır. Önyükleme ortamları ve harici yedek bu havuza dahil değildir.
Yerel SSD’ler VM verilerini nasıl erişilebilir kılar?
Ceph veri nesnelerini yerleşim grupları üzerinden OSD’lere dağıtır. CRUSH kuralı kopyaların hangi ana makinelerde olduğunu belirler. Örnekte açıkça size=3 ve min_size=2seçilir: birincil dahil üç kopya, en az iki erişilebilir kopyayla G/Ç. Aynı ana makinenin üç OSD’sindeki kopyalar o makinenin arızasına karşı üç kat koruma sağlamaz. Monitör yeter sayısı, OSD durumu ve VM verilerinin erişimi ayrı denetlenmelidir. Proxmox kümesinde güvenilir HA yeter sayısı için en az üç oy gerekir; Ceph monitör yeter sayısı ve VM HA kuralları buna eklenir.
Tam üç ana makineden biri arızalandığında doğru dağıtımla iki ana makine kopyası kalır. Belirtilen koşullarda havuz azalmış yedeklilikle G/Ç sunabilir; üçüncü ana makine arıza alanında üçüncü kopya ancak bir makine döndüğünde veya değiştirildiğinde oluşur. Dört makinede Ceph, boş alan ve performans varsa kopyayı dördüncüde yeniden kurabilir. “Veri erişilebilir kalır” ile “yedeklilik arıza sırasında yeniden kurulur” arasındaki pratik fark budur. Ceph ile de bir VM durup ancak başka makinede yeniden başlayabilir; sıfır saniye kesinti sonucu çıkmaz.
Kapasiteyi arıza payıyla hesaplayın
Her ana makinede ondalık 1,92 TB kapasiteli dört yerel veri SSD’si varsayalım. Üç makine 23,04 TB ham, dört makine 30,72 TB sağlar. Üç kopyayla meta veri, anlık görüntüler ve işletim paylarından önce teorik mantıksal veri 7,68 veya 10,24 TB olur. Varsayımsal yüzde 70 planlama sınırı ilk olarak 5,38 veya 7,17 TB verir. Bu Ceph varsayılanı veya taahhüt edilen kullanılabilir hacim değildir.
| Kontrol ölçütü | 3 ana makine | 4 ana makine |
|---|---|---|
| Ham / teorik mantıksal | 23,04 / 7,68 TB | 30,72 / 10,24 TB |
| Teorik mantıksal kapasitenin %70’i | 5,38 TB | 7,17 TB |
| Bir ana makine arızalandıktan sonra | İki ana makine kopyası; üçüncü değişim sonrası | Kalan üç ana makinede üçüncü kopya mümkün |
| %70 sınırı, 3 ana makinede yeniden kurulum sonrası | Üçüncü ana makine olmadan sağlanamaz | 23,04 ÷ 3 × 0,70 = 5,38 TB |
Dört makineli kümeyi bir ana makine arızasından sonra da, yeniden kurulum tamamlandığında, belirlenen yüzde 70 sınırının altında tutmak isteyen, örnekte en fazla yaklaşık 5,38 TB mantıksal veri planlar; 7,17 TB değil. En dolu OSD’ler ve Ceph’in şu eşikleri de belirleyicidir: nearfull, backfillfull ve full. Tek bir dolu OSD, toplam iyi görünse bile yazmayı veya backfill’i engelleyebilir. Ondalık TB, ikili TiB değildir.
Yeniden kurulum ne kadar sürer?
Örneğin 5 TB mantıksal veri ve üç kopyayla dört makineli kümede 15 TB ham veri vardır; ideal eşit dağılımla makine başına 3,75 TB. Biri kaybolduğunda üçüncü kopya için kalan üç makineye yaklaşık 3,75 TB aktarılmalıdır. Yeniden kurulumun ölçülen etkin hızı 250 MB/s ise 3,75 TB ÷ 250 MB/s = yaklaşık 4 saat 10 dakika aritmetik alt sınırdır; 125 MB/s’de yaklaşık 8 saat 20 dakika. Peering, dağılım, rakip VM G/Ç’si, kurtarma sınırları ve yeni yazmalar gerçek süreyi uzatır. 25 Gbit kartın nominal hızı böyle bir ölçüm değildir.
DAXS çalışan uygulama yüküyle arıza testi isterdi: şu komutları izlemek, ceph health detail, ceph osd df yerleşim gruplarının seyrini takip etmek, gerçek kurtarma baytlarını ve süresini kaydetmek, gecikme ve VM erişilebilirliğini ölçmek gerekir. Normal işletimde PG’ler yeniden active+clean durumuna ulaşmalıdır. Test, switch, bağlantı veya enerji yolu arızasının Corosync yeter sayısını veya Ceph trafiğini aynı anda etkileyip etkilemediğini de göstermelidir. Proxmox, Ceph için en az 10 Gbit/s özel trafik ve hızlı SSD’lerde daha fazlasını önerir; port planı OSD aktarımına, kurtarma hedefine ve ayrı fiziksel yollara bağlıdır.
Ek yeniden kurulum arıza alanı neye mal olur?
Bütçe hesabında h tam donanımlı ana makinenin teklif bedelini, n dört bağlantı için zaten boyutlandırılmış yedekli ağı, b ortamlarıyla harici yedekleme sunucusunu göstersin. Makine başına yılda varsayımsal p avro servis, enerji ve kolokasyon gideri alınır. Yalnız bu modelde kurulum ve kabul 100 saat × 90 € = 9.000 €, sürekli işletim 60 saat × 90 € = yıllık 5.400 € varsayılır. Üç ve dört makine için aynı iş yükü kabul edilir; somut teklifte yeniden tahmin edilmelidir. Proxmox VE Standard ve Proxmox Backup Server Standard resmi liste fiyatları sırasıyla dolu CPU soketi başına yıllık 550 € ve yedekleme sunucusu başına yıllık 2.240 €’dur. Ana makine başına tam bir dolu soket varsayılır. Tümü nettir; gerçek teklifler ve iş miktarıyla değiştirilmelidir.
| Seçenek | 3 yıl | 5 yıl |
|---|---|---|
| 3 ana makine | 3h + n + b + 36.870 + 9p € | 3h + n + b + 55.450 + 15p € |
| 4 ana makine | 4h + n + b + 38.520 + 12p € | 4h + n + b + 58.200 + 20p € |
| 4. ana makinenin ek maliyeti | h + 1.650 + 3p € | h + 2.750 + 5p € |
Formül her yıl Proxmox soketlerini, PBS’yi ve 5.400 € işletimi toplar: üç makinede 9.290 € artı 3p, dört makinede 9.840 € artı 4p. Makine birim fiyatının 1.000 € artması iki dört-makineli dönem hesabını 4.000 € artırır; makine başına yıllık giderin 1.000 € artması 12.000 veya 20.000 € ekler. Dört makineli seçenek farklı switch gerektiriyorsa fark şu değişkene eklenir: n . Ceph kopyaları yine de yedek değildir: ayrı sistem, harici kopya ve test edilmiş geri yükleme kabule dahildir. DAXS’ın Proxmox Backup Server: doğrulama, saklama ve geri yükleme yazısı bu kontrolü açıklar.
Karar gecikme, kesinti ve yeniden kurulum süresi ölçüldükten ve sağlam donanım, ağ ve işletim teklifi alındıktan sonra verilir. DAXS bu ölçüm ve kabul protokolünü işletmeyle İletişim üzerinden somutlaştırabilir.
Kaynaklar: Proxmox VE Administration Guide: küme ve Ceph · Ceph: size ve min_size · Ceph: sağlık kontrolleri ve doluluk · Ceph: recovery ve backfill · Proxmox VE: fiyatlar · Proxmox Backup Server: fiyatlar.
