20 Gbps tussen twee Proxmox-hosts via 2×10GbE
Ik draai 2twee dell Dell-servers in heteen datacenter als hobby.hobbyproject, beide voorzien van Proxmox VE. Om deback-ups backupsen andere grote bestanden sneller vantussen host A naaren host B te krijgenkunnen verplaatsen, heb ik een directe 20 Gbps linkverbinding gecreerdopgezet tussen de twee servers.
In plaats van één enkele 10GbE-verbinding maak ik gebruik van twee 10GbE-netwerkpoorten per server. Door gebruikdeze interfaces te makenbundelen met Linux bonding (LACP 802.3ad) ontstaat een gecombineerde verbinding met een totale capaciteit van 2×10GbE20 uplinksGbps. .Onderstaande afbeelding geeft dit schematisch weer.
Wanneer je een Linux bond aanmaakt, dien je hieraan een eigen IP-adres toe te wijzen. In mijn geval heb ik hiervoor een apart subnet gebruikt om het verkeer gescheiden te houden van het productienetwerk. Onder “slaves” geef je vervolgens de twee fysieke netwerkpoorten op die je in de bond wilt opnemen.
Als voorbeeld kun je aan de ene kant van de verbinding host A configureren met het IP-adres 192.168.1.1/24, en aan de andere kant host B met 192.168.1.2/24. Beide interfaces bevinden zich daarbij in hetzelfde subnet, zodat ze direct met elkaar kunnen communiceren over de bonded link. Wanneer dit juist is ingesteld kan je vanaf HOST A pingen naar HOST B.
Om de maximale doorvoersnelheid te meten gebruik ik ipref3.
Op host B:
iperf3 -sOp host A:
iperf3 -c 192.168.1.1 -P 16 -t 240De parameter -P 16 start zestien parallelle verbindingen, terwijl -t 240 ervoor zorgt dat de test 240 seconden duurt. Door meerdere parallelle streams te gebruiken, kunnen beide 10GbE-links volledig worden benut.
In de praktijk wordt de volledige 20 Gbps echter vrijwel nooit gehaald door protocol-overhead, CPU-belasting en de manier waarop traffic over de twee links wordt verdeeld. Ook opslag- en verwerkingslimieten spelen vaak een rol. Bij mijn test behaal ik 18.8 Gbps.
