Een private cluster bouwen: Dat kan eenvoudiger én goedkoper

• Door
• Ronald Otto (Tuxis)
• geplaatst op
• 12 mei 2016 10:00 uur

Het aanschaffen en hebben van een cluster brengt altijd een hoog prijskaartje met zich mee. Althans, dat is de beleving. In dit artikel laten we zien waardoor dat komt en dat het ook heel anders kan. En voordat u denkt dat wij focussen op prijs en daarbij kwaliteit uit het oog verliezen, het is meer een kwestie van goed kijken naar de wensen en naar wat er beschikbaar is in de markt gecombineerd met kennis en kunde.

2 is geen cluster

Een cluster bestaat altijd uit minimaal drie nodes en bij voorkeur uit een oneven aantal. Wat een node namelijk doet, is kijken of hij de twee andere nodes nog kan zien om daarmee te constateren wat de status van het cluster is.
Dan zijn de volgende situaties mogelijk:
– De node ziet twee andere nodes. Conclusie: Niets aan de hand
– De node ziet één andere node. Conclusie: Er is één node defect.
– De node ziet geen enkele andere node. Conclusie: Ik ben afgezonderd van de andere twee nodes en moet op inactief gaan.

Met name die laatste conclusie kan niet getrokken worden wanneer je maar twee nodes hebt. In het ergste geval vinden beide nodes dat zij productie draaien. Dan heb je een ‘spilt brain’-situatie en een bak ellende.

Storage, storage en nog eens storage

Het bouwen van een cluster waarop virtuele servers kunnen draaien, kan heel eenvoudig zijn. Het probleem is niet het uitbreiden van het aantal cores of het werkgeheugen. Tegenwoordig zijn de producten zoals Proxmox, VMware en dergelijke zo ver ontwikkeld dat bijplaatsen van een node eenvoudig kan. En daarmee breidt u de capaciteit uit.

Voor al die mogelijkheden heb je echter centrale storage nodig. En daar worden de aanbiedingen vaak kostbaar. De oorzaak is de volgende gedachtegang:
– Je schaft een SAN aan. Dé manier om centrale storage aan te bieden aan nodes. Via een switch verbind je die SAN met de nodes.
– Hoeveel disks kunnen er aan het SAN? Nu lijkt het veel, maar zullen we toch een maatje groter nemen?
– Als de SAN defect raakt, is het cluster helemaal onbruikbaar. Een tweede SAN is een logisch gevolg.
– De tweede SAN gaat een kopie draaien van de eerste SAN. Wordt het een synchroon of asynchroon SAN cluster?
– Als de eerste SAN defect raakt, moeten we gaan zorgen dat de tweede SAN automatisch in gebruik genomen wordt. We willen immers niet dat het cluster down gaat omdat de storage niet werkt.
– 2 is geen cluster. Met twee SAN’s kun je een spilt brain-situatie krijgen. Er zijn dan heel veel poppen heel hard aan het dansen.

Op dat punt aangekomen blijkt dat er best slimme oplossingen te koop zijn. De eisen aan het budget zijn echter niet mals. Dat komt ook wel omdat de beschikbaarheid uit redundantie van hardware wordt gehaald of juist slimme software. In het eerste geval dure hardware, in dat laatste geval dan weer met de nodige licentiekosten.

Licenties

Als we kijken naar de licenties voor de virtualisatiesoftware kan het schrikken worden. Als je een volwaardig cluster wilt hebben zijn de licentiekosten niet mals en bovendien terugkerend. Meer dan 1000 euro aanschaf per CPU die in de nodes zitten in het geval van VMware. Met drie nodes en twee CPU’s per nodes tikt dat lekker aan. En dan negeren even de ergernissen van het licentiedoolhof.

Gelukkig kan het slimmer

Wanneer we een cluster betaalbaar willen maken maar de kwaliteit hoog willen houden, moeten we dus kijken naar de inzet van storage, de licentiekosten en de gebruikte hardware.

We beginnen met de hardware. Dit mag commodity hardware zijn als het cluster niet afhankelijk is van een node. Een cluster heeft minstens drie nodes dus wij kijken naar drie normale 1U servers met ruimte voor 10 disks, CPU en geheugen. Geen dubbele voedingen of RAID-controllers. De redundantie gaan we bouwen in software en niet in de hardware. We zorgen ervoor dat uitval van een server geen probleem is. Dan is het ook zinloos om te investeren in servers met allerlei dubbele hardware. Met die besparing zou er zelfs beter een extra node aangeschaft kunnen worden.

Op die servers installeren we virtualisatiesoftware. In dit voorbeeld Proxmox. Dat is namelijk een erg geschikte (gratis!) virtualisatielaag. Het doet HA, i/o throtteling, live migration en centrale management. Clustering van de virtualisatielaag is dus geregeld. Op diezelfde servers gaan we Ceph gebruiken voor de opslag. Tegen Ceph zeggen we dat we alle data te allen tijde 2x willen hebben en daarmee hebben we ons storage cluster.

Laten we even aannemen dat u 6 Terabyte storage wil hebben in uw cluster, 24 cores en 256 Gbyte geheugen tot uw beschikking. Koop 3x 1U servers die ieder ruimte voor 8x 2,5″ disken hebben, 96 Gbyte werkgeheugen en 1x 8 core CPU. Bestel gelijk 9x 1Tb SSD disken mee want bij drie nodes betekent het dat iedere node 3 Terabyte opslag moet hebben zodat 2 nodes samen 3 terabyte
hebben. Had ik al gezegd dat de licentiekosten van Ceph € 0,00 zijn?

Omdat u 1U machines hebt besteld, zijn de colocatiekosten ook laag. Nu kunt u gelijk ook een of meerdere switches kopen en daar een stack mee bouwen. U kunt ook switchpoorten huren. Neem een SLA erbij en het enige dat u hoeft te doen, is het platform gebruiken terwijl uw leverancier zorgt dat het blijft draaien.

Hebt u al hardware? Dan is de kans groot dat het gewoon ingezet kan worden en door het verdelen van de hardware over datacenters hebt u een echt private cloud.

Waarom een eigen cluster?

Voordelen:

• Volledige vrijheid bij inrichting
• Klein beginnen, en doorgroeien als het nodig isGeen hinder van andere klanten qua capaciteit, beschikbaarheid e.d.
• Een extra VM betekent niet direct extra kosten
• Ontevreden over de leverancier? Haal uw servers op en draai elders verder
• Uw VM’s krijgen de configuratie die U wilt, niet die de leverancier handig vindt
• 100% uw eigendom. Alle privacy-, rechten- en eigendom- uitdagingen van tafel
• Hele lage maandelijkse kosten

Nadelen:

• Het vergt een investering (al kan uw boekhouder dat een voordeel vinden)

Geschreven door Ronald Otto (Tuxis)

Stuur ook uw blog, achtergrond artikel of andere bijdrage in!