Kurumsal sanallaştırma sunucularında (Proxmox VE, OLVM veya saf KVM/QEMU) üzerinde yüksek hacimli veritabanları (PostgreSQL, Percona MySQL) veya düşük gecikmeli API geçitleri çalıştırırken klasik izleme araçları (top, htop, vmstat) genellikle yanıltıcı bir tablo çizer: Fiziksel sunucuda (Host) toplam CPU kullanımı %40 seviyesindedir, RAM boştur ve NVMe/SAN disk kuyrukları sakindir; ancak sanal makine (Guest VM) içindeki uygulama saniyeler süren anlık donmalar (latency spikes) ve yüksek CPU Steal Time (%st) değerleri raporlar.
Bu durumun sebebi, donanım sanallaştırma katmanında (Intel VT-x / AMD-V) vCPU’ların sürekli olarak kontrolü hipervizöre devretmesi (VM-Exit fırtınaları), vCPU iş parçacıklarının fiziksel NUMA düğümleri arasında savrulması veya Host çekirdek zamanlayıcısının (CFS/EEVDF) vCPU’ları bekletmesidir.
Bugünkü yazımızda, siyah kutu tahminlerini bir kenara bırakıp doğrudan Linux çekirdeğinin donanım performans sayaçları (perf kvm) ve dinamik eBPF izleme motoru (bpftrace) ile KVM/Proxmox hipervizöründeki mikro-gecikmelerin kök nedenini canlı sistemde nasıl teşhis edeceğimizi inceliyoruz.
1. VM-Exit Nedir ve Neden Sanal Makineyi Yavaşlatır?
Donanım destekli sanallaştırmada sanal makine VMX Non-Root modunda, hipervizör (KVM çekirdek modülü) ise VMX Root modunda çalışır. Sanal makine normal kullanıcı kodu çalıştırdığı sürece fiziksel CPU hızına yakın (near-native) performans alır.
Ancak sanal makine; donanım kesmesi (IRQ), I/O port erişimi, sanal zamanlayıcı (APIC Timer) programlaması veya sayfa tablosu (EPT/NPT) ihlali gibi ayrıcalıklı bir işlem yaptığında donanım seviyesinde bir VM-Exit tetiklenir:
[Guest VM (VMX Non-Root)] ──(I/O, Timer, APIC, Page Fault)──> [VM-EXIT] ──> [Host KVM Kernel (VMX Root)]
│ (Emülasyon / İşleme)
[Guest VM (VMX Non-Root)] <────────────────── [VM-ENTRY] <───────────────────────────┘
Her bir VM-Exit -> KVM İşleme -> VM-Entry döngüsü CPU önbelleklerini (L1/L2 Cache ve TLB) kirletir ve binlerce CPU saat döngüsüne mal olur. Saniyede 50.000 – 100.000 VM-Exit üreten bir sanal makine, CPU %100 görünmese bile zamanının büyük kısmını bağlam değişiminde (Context Switch) harcar.
2. perf kvm ile Hangi VM’in Neden VM-Exit Ürettiğini Canlı Yakalamak
Linux çekirdeğinin yerleşik perf kvm aracı, hipervizör seviyesinde hangi sanal makinenin tam olarak hangi sebeple (exit_reason) çekirdeğe düştüğünü ve her çıkışın kaç mikrosaniye sürdüğünü anlık olarak ölçer.
Adım 1: Gerekli Paketlerin Kurulumu (Proxmox VE / Debian / RHEL)
# Proxmox VE / Debian üzerinde çalışan çekirdek sürümüne tam uyumlu perf aracını kurun:
sudo apt update && sudo apt install -y linux-perf
# RHEL / Rocky / AlmaLinux üzerinde:
sudo dnf install -y perf
Adım 2: Canlı VM-Exit İstatistiklerini İzleme (perf kvm stat live)
Hipervizör üzerinde aşağıdaki komutu çalıştırdığınızda top benzeri canlı bir ekran açılır ve VM-Exit sebeplerini sıklığına göre sıralar:
# Tüm sanal makinelerin anlık VM-Exit sebeplerini ve ortalama gecikmelerini (us) canlı izle:
sudo perf kvm stat live
Sadece belirli bir QEMU/KVM sürecini (örneğin PID 41892 olan veritabanı VM’ini) izlemek için -p parametresini kullanın:
sudo perf kvm stat live -p 41892
Çıktıdaki Kritik ASM-EXIT / VM-EXIT Sebeplerini Yorumlamak:
| VM-Exit Sebebi (Event) | Kök Neden | Mühendislik Çözümü |
|---|---|---|
| APIC_WRITE / MSR_WRITE | Sanal makine içindeki işletim sistemi sanal kesme kontrolcüsünü (x2APIC) veya zamanlayıcıyı aşırı sık programlıyor. | QEMU CPU tipini host yapın, KVM vapic / x2apic özelliklerinin aktif olduğunu doğrulayın; Windows VM’lerde Hyper-V Enlightenments (hv-vapic, hv-time) açın. |
| HLT (Halt) | vCPU boşta kalıp uyku moduna geçiyor. Normaldir; ancak saniyede çok yüksekse vCPU sürekli uyanıp uyuyordur. | Düşük gecikmeli veritabanlarında halt_poll_ns ayarını optimize edin veya vCPU sayısını gerçek iş yüküne göre düşürün. |
| IO_INSTRUCTION / EPT_MISCONFIG | VM eski bir emüle edilmiş donanımla (IDE, E1000 ağ kartı, VirtIO olmayan cihaz) konuşuyor. | Tüm diskleri VirtIO SCSI Single (iothread=1), ağ kartlarını VirtIO (multiqueue) veya SR-IOV VF yapısına geçirin. |
| EXTERNAL_INTERRUPT | Fiziksel sunucudaki donanım kesmeleri (NVMe veya 25GbE NIC IRQ’ları) VM’in çalıştığı CPU çekirdeğini bölüyor. | Host üzerindeki donanım IRQ’larını izole edin ve vCPU’ları ayrı fiziksel çekirdeklere sabitleyin (CPU Pinning). |
. bpftrace ile CPU Steal Time (%st) ve Scheduler Bekleme Gecikmesini Ölçmek
Sanal makine içinde top komutunda gördüğünüz %st (Steal Time) değeri, sanal CPU’nun çalışmaya hazır olduğu halde fiziksel hipervizör çekirdeğinin başka bir VM’e veya Host sürecine ayrılması nedeniyle beklediği süreyi gösterir.
Standart araçlar Steal Time’ı yalnızca 1 saniyelik ortalamalarla gösterir. Oysa bir veritabanı sorgusunu 50 ms donduran mikro-beklemeleri (runqueue latency) yakalamak için bpftrace ile doğrudan KVM çekirdek izleme noktalarına (tracepoints) kanca atabiliriz.
KVM Tracepoint’lerini Listeleme:
sudo bpftrace -l 'tracepoint:kvm:*'
vCPU Zamanlayıcı Bekleme Süresini (Steal Latency) Histogram Olarak Çizme:
Aşağıdaki tek satırlık bpftrace komutu, bir vCPU’nun çalışmak istediği an ile fiziksel CPU’ya gerçekten oturduğu an arasındaki gecikmeyi mikrosaniye (us) bazında ölçer:
# KVM vCPU giriş/çıkış ve zamanlayıcı gecikmelerini (mikrosaniye) histogram olarak dök:
sudo bpftrace -e '
tracepoint:kvm:kvm_entry { @start[tid] = nsecs; }
tracepoint:kvm:kvm_exit /@start[tid]/ {
@guest_exec_us = hist((nsecs - @start[tid]) / 1000);
delete(@start[tid]);
}'
Daha da kritiği: Hangi QEMU vCPU thread’inin Host üzerinde fiziksel CPU sırası beklerken (sched_wakeup -> sched_switch) 1 milisaniyeden fazla bekletildiğini (yani gerçek Steal Time kaynağını) yakalamak için:
sudo bpftrace -e '
tracepoint:sched:sched_wakeup /comm == "CPU 0/KVM" || comm == "CPU 1/KVM"/ {
@qtime[args->pid] = nsecs;
}
tracepoint:sched:sched_switch /@qtime[args->next_pid]/ {
$lat_us = (nsecs - @qtime[args->next_pid]) / 1000;
if ($lat_us > 1000) {
printf("UYARI: %s (PID %d) fiziksel CPU için %d us bekledi!\n", args->next_comm, args->next_pid, $lat_us);
}
delete(@qtime[args->next_pid]);
}'
Eğer terminalde sık sık 1000 us (1 ms) üzeri beklemeler görüyorsanız, fiziksel sunucuda CPU Overcommit sınırını aşmışsınız veya başka bir sanal makinenin yoğun işi kritik VM’inizin vCPU’larını fiziksel çekirdekten itiyor demektir.
4. NUMA Node Dengesizliği: vCPU Node 0’da, RAM Node 1’de!
Çift soketli (Dual-Socket AMD EPYC veya Intel Xeon) bir Proxmox/KVM sunucusunda en sinsi performans katili NUMA (Non-Uniform Memory Access) uyumsuzluğudur.
Eğer 64 GB RAM ve 16 vCPU verdiğiniz bir sanal makinede NUMA ayarını açmazsanız, Linux çekirdeği vCPU iş parçacıklarını NUMA Node 0 üzerindeki çekirdeklere yerleştirirken, sanal makinenin 64 GB belleğinin yarısını NUMA Node 1 üzerindeki RAM slotlarından tahsis edebilir. Bu durumda vCPU belleğe her eriştiğinde soketler arası veri yolunu (UPI / Infinity Fabric) geçmek zorunda kalır ve bellek gecikmesi %40 ila %65 oranında artar.
Canlı NUMA Bellek Dağılımını Denetleme (numastat):
Hipervizör üzerinde çalışan QEMU süreçlerinin hangi NUMA düğümünden ne kadar RAM kullandığını saniyeler içinde görün:
# Tüm QEMU sanal makinelerinin NUMA düğümlerine göre bellek dağılımını (MB) göster:
numastat -c qemu-system-x86_64
Hatalı Dağılım Örneği:
Per-node process memory usage (in MBs)
PID Node 0 Node 1 Total
--------------- -------------- -------------- --------------
41892 (qemu) 18420.50 14350.20 32770.70
Yukarıdaki çıktıda tek bir VM’in belleği iki soket arasına neredeyse yarı yarıya bölünmüştür.
Proxmox VE / KVM Tarafında Kesin Çözüm (NUMA Pinning):
- Sanal makine yapılandırmasında sanal NUMA topolojisini aktif edin (
numa: 1vehostnodesbelirtin):
# Proxmox VM 105 için NUMA'yı aç ve VM'i tamamen fiziksel Node 0'a (CPU + RAM) sabitle:
qm set 105 --numa 1
qm set 105 --numa0 cpus=0-15,hostnodes=0,memory=32768,policy=bind
policy=bindparametresi, Linux çekirdeğinin sanal makineye yalnızca Node 0 üzerindeki fiziksel bellek sayfalarını vermesini zorunlu kılar ve soketler arası bellek geçişini sıfırlar.