Kurumsal sanallaştırma sunucularında (Proxmox VE, KVM, ESXi) ve yüksek IOPS üreten depolama düğümlerinde (Ceph, NVMe-oF, iSCSI) tek bir fiziksel ağ portuna veya tek bir Top-of-Rack (ToR) anahtarına (switch) bağımlı kalmak kabul edilemez bir tek hata noktasıdır (Single Point of Failure). Ancak sahada yapılan klasik bir hata vardır: İki adet 25GbE veya 100GbE ağ portunu Linux tarafında mode=802.3ad (LACP) ile birleştirip (bonding) iki farklı fiziksel switch’e bağladıktan sonra trafiğin sadece tek porttan aktığını veya switch yeniden başlatıldığında (reboot) sanal makinelerin 30 saniye boyunca ağ bağlantısını kaybettiğini görmek.
Bu davranışın temel sebebi, Linux çekirdeğinin paket dağıtım algoritması (xmit_hash_policy) ile veri merkezi anahtarlarındaki MLAG (Multi-Chassis Link Aggregation) / Cisco vPC / Arista MLAG yapılandırması arasındaki uyumsuzluktur. Bugünkü yazımızda, kurumsal Linux sunucularda hem donanım yedekliliğini hem de gerçek çoklu port bant genişliğini nasıl elde edeceğimizi inceliyoruz.
1. Linux Bonding Modları: Hangisi Ne Zaman Seçilmeli?
Linux çekirdeği (bonding modülü) 7 farklı birleştirme modu sunar; ancak veri merkezi ve sanallaştırma altyapılarında üretim ortamına uygun yalnızca üç mimari yaklaşım vardır:
| Bonding Modu | Switch Tarafı Gereksinimi | Bant Genişliği Kullanımı | Tipik Kullanım Senaryosu |
|---|---|---|---|
| mode=1 (active-backup) | Hiçbir özel ayar gerekmez (Bağımsız portlar). | Tek aktif port (Diğeri pasif bekler). | Yönetim ağları (Management), basit yedeklilik veya LACP desteklemeyen switch’ler. |
| mode=4 (802.3ad / LACP) | Switch tarafında LACP + MLAG / vPC zorunludur. | Tüm aktif portların toplamı (Çoklu akışta). | Kurumsal Sanallaştırma (Proxmox/KVM), Ceph Public/Cluster ağları ve yüksek trafikli sunucular. |
| Multipath / L3 ECMP (Bonding Yok) | Bağımsız VLAN/Subnet’ler veya BGP EVPN. | Tam paralel aktif/aktif yol. | iSCSI, NVMe-oF ve Fibre Channel depolama ağları. |
Kritik Depolama Kuralı (iSCSI / NVMe-TCP): Blok depolama protokolleri (iSCSI ve NVMe over TCP) için asla LACP Bonding kullanmayın! Depolama trafiği için her fiziksel NIC portuna ayrı bir alt ağ (subnet) verip yedekliliği ve yük dengelemeyi Device-Mapper Multipath (multipathd) katmanında çözmek her zaman daha düşük gecikme ve gerçek paralel I/O sağlar. LACP; VM trafiği, Live Migration ve Ceph replikasyon ağları için idealdir.
2. LACP Darboğazı: xmit_hash_policy Seçimi Neden Hayati?
Linux’ta mode=802.3ad yapılandırdığınızda, çekirdek giden paketleri hangi fiziksel ağ kartından (ens1f0 veya ens1f1) göndereceğine xmit_hash_policy algoritmasıyla karar verir.
- layer2 (Varsayılan Tuzak): Sadece kaynak ve hedef MAC adreslerini kullanarak hash üretir. Eğer sunucunuzdaki trafik tek bir Default Gateway (Router/Firewall MAC adresi) üzerinden dış dünyaya çıkıyorsa, yüzlerce farklı kullanıcıya giden tüm paketler aynı MAC çiftine sahip olduğu için tamamı tek bir fiziksel kablodan akar! İkinci 25GbE kablonuz %0 kullanımda boşta bekler.
- layer2+3: MAC adreslerine ek olarak Kaynak ve Hedef IP adreslerini hesaba katar. Farklı sunucularla konuşan Ceph veya sanallaştırma trafiğini dengeler.
- layer3+4 (Kurumsal Standart): Kaynak/Hedef IP adreslerinin yanı sıra TCP/UDP Port numaralarını da hash hesabına katar. Böylece aynı iki sunucu arasındaki çoklu TCP bağlantıları (örneğin bir veritabanı sunucusuna açılan 50 paralel bağlantı veya çoklu VM Live Migration akışı) farklı fiziksel kablolar üzerine dengeli olarak dağıtılır.
3. Proxmox VE / Debian ve RHEL Üzerinde Üretim Sınıfı LACP Yapılandırması
A. Proxmox VE / Debian (/etc/network/interfaces)
Aşağıdaki yapılandırma; iki adet 25GbE fiziksel arayüzü LACP ve layer3+4 hash politikasıyla birleştirir, ardından üzerinde hem VM’ler için VLAN-Aware Bridge (vmbr0) hem de depolama/Ceph trafiği için izolasyonlu VLAN arayüzü oluşturur:
auto lo
iface lo inet loopback
auto ens1f0
iface ens1f0 inet manual
mtu 9000
auto ens1f1
iface ens1f1 inet manual
mtu 9000
auto bond0
iface bond0 inet manual
bond-slaves ens1f0 ens1f1
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer3+4
bond-lacp-rate fast
mtu 9000
# Sanal Makineler için VLAN-Aware Linux Bridge
auto vmbr0
iface vmbr0 inet manual
bridge-ports bond0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
mtu 9000
# Yönetim (Management) Arayüzü (VLAN 10)
auto vmbr0.10
iface vmbr0.10 inet static
address 10.100.10.21/24
gateway 10.100.10.1
mtu 1500
- bond-lacp-rate fast (1 saniye): Varsayılan
slowmodunda LACPDU kontrol paketleri her 30 saniyede bir gönderilir; bir kablo arızasında veya switch port takılmasında trafik 90 saniyeye kadar kesilebilir.fastmodu paketleri her 1 saniyede bir göndererek arıza tespit süresini 3 saniyenin altına indirir. (Switch portunda dalacp rate fast/lacp timeout shortaktif edilmelidir). - bond-miimon 100: Fiziksel link durumunu her 100 milisaniyede bir donanım seviyesinde denetler.
B. RHEL / Rocky Linux / AlmaLinux (nmcli)
Modern RHEL 9 türevlerinde NetworkManager üzerinden aynı yapılandırmayı tek komutlarla oluşturmak için:
# 1. Bond arayüzünü oluştur
sudo nmcli connection add type bond con-name bond0 ifname bond0 \
bond.options "mode=802.3ad,miimon=100,lacp_rate=fast,xmit_hash_policy=layer3+4" \
802-3-ethernet.mtu 9000
# 2. Fiziksel portları (Slave) bond0 altına ekle
sudo nmcli connection add type ethernet slave-type bond con-name bond0-p1 ifname ens1f0 master bond0
sudo nmcli connection add type ethernet slave-type bond con-name bond0-p2 ifname ens1f1 master bond0
# 3. Bağlantıyı aktif et
sudo nmcli connection up bond0
4. Veri Merkezi Switch Katmanında Yapılan En Büyük MLAG / vPC Hataları
İki fiziksel ağ kablosunu iki farklı ToR switch’e (Leaf-01 ve Leaf-02) bağladığınızda, switch’lerin tek bir mantıksal cihaz gibi davranması için aralarında Peer-Link üzerinden MLAG (Arista/Cumulus) veya vPC (Cisco Nexus) kurulu olmalıdır. Sahada en sık kesintiye yol açan üç switch hatası şunlardır:
- Tek Kablolu Peer-Link: İki switch arasındaki senkronizasyon hattı (Peer-Link / Inter-Chassis Link) tek bir optik kablodan oluşuyorsa ve o kablo arızalanırsa, Split-Brain oluşur ve ikincil switch tüm sunucu portlarını otomatik kapatır (
err-disabled). Peer-Link her zaman en az iki farklı porttan oluşan ayrı bir Port-Channel olmalıdır. - Asimetrik VLAN Tanımları:
Leaf-01üzerindeki Port-Channel’daVLAN 20izinliykenLeaf-02üzerindeki eşlenik portta bu VLAN unutulursa, Linux çekirdeğininLeaf-02‘ye hash’lediği paketlerin tamamı kara deliğe düşer ve ağda %50 rastgele paket kaybı yaşanır. - LACP Fallback / Graceful Restart Eksikliği: Switch firmware güncellemesi (ISSU / Reboot) sırasında MLAG peer yeniden başlarken portları temiz şekilde aşağı çekmezse (
graceful-restartkapalıysa), sunucu trafik göndermeye devam eder ve paketler kaybolur.