Storage Stories: de Ceph omgeving van Tuxis

• Door
• Serge Gielkens (HYPR: Hosting Your PR)
• (PR-bureau:
• HYPR: Hosting Your PR)
• geplaatst op
• 21 juni 2016 08:00 uur

Voor deze aflevering van Storage Stories spreken we met Ronald Otto en Mark Schouten. Zij vormen samen Tuxis dat in 2010 is opgericht. Tuxis heeft rack space in vier datacenters gehuurd. Drie daarvan staan bij BIT in Ede en eentje bevindt zich bij Solcon in Apeldoorn. Tuxis richt zich met name op ICT-dienstverleners en bedrijven met eigen systeembeheerders. In een eerder interview hebben Otto en Schouten verteld over managed hosting. Nu praten we met hen over storage. Begin dit jaar heeft Tuxis Ceph in gebruik genomen naast de bestaande oplossing op basis van ZFS op FreeBSD. Reden was dat ZFS moeilijk volledig redundant is te maken en afhankelijker van de hardware is.

Hardware

Zowel voor de compute als de storage gebruikt Tuxis servers van Supermicro. “Het zijn wel aparte serveromgevingen,” nuanceert Otto en hij vervolgt: “We hebben twee storage platformen en gebruiken naast ZFS nu ook Ceph. Dat draait op 1U servers waar maximaal acht disks in kunnen. De nodes hebben we verdeeld over de drie datacenters in Ede. Door Ceph hechten we minder waarde aan de kwaliteit van hardware. Dat wil zeggen, hardware mag niet slecht zijn maar het is minder belangrijk omdat Ceph berekend is op uitval. Daarom kopen we geen hardware waarvan je mag verwachten dat het veel beter is dan Supermicro.”

Voor Ceph heeft Tuxis gekozen voor enkel SSD’s. Per clusternode zijn dat er drie van 940 GB. Otto vertelt dat zij op dit gebied een leermoment hebben gehad. “Voor de cache van ZFS gebruikten we Pro SSD’s van Samsung en daarmee begonnen we ook het Ceph platform. Die SSD’s zijn snel door een geoptimaliseerde cache op de controller. Voor Ceph wordt die cache uitgezet omdat anders bij deze drives dataverlies mogelijk is in geval van stroomuitval. Toen werden ze heel traag. Nu gebruiken we de PM serie van Samsung waar dit cache-probleem niet speelt.” Volgens Schouten zakte door de overgang naar de nieuwe Samsung SSD’s de latency van 12 à 20 ms naar zo’n 0,4 ms. Hij voegt eraan toe dat zij ook voor de cache van ZFS de SSD’s hebben vervangen om te voorkomen dat ze in de toekomst mogelijk tegen performance-problemen aanlopen.

Hoewel voor het ZFS-systeem SSD als cache in gebruik is, vormen traditionele hard disks hier de permanente opslag. Otto: “We gebruiken de RE-serie voor datacenters van Western Digital en dat heeft een reden. Zij hebben een langere levensduur en kunnen beter tegen eventuele trillingen omdat de kop op twee niveaus gestuurd wordt. In eerste instantie door de arm en vervolgens via een piëzo-element op de arm voor kleine correcties van de kop.”

Op de vraag waarom dit ZFS-systeem ook nog in gebruik is, zegt Schouten het volgende. “We hebben ZFS nodig voor onze diensten KerioindeCloud.nl en BestandOnline.nl. Ceph biedt behalve object en block storage ook het bestandssysteem CephFS. Dat is eigenlijk nog maar net af en exporteert maar één file system naar de clients. Wij hebben er meer nodig omdat we alleen al zo’n 80 Kerio machines als clouddienst hebben draaien. Hierdoor zouden wij dus 80 Ceph bestandssystemen nodig hebben. Daarom gebruiken we hiervoor nog steeds ZFS.”

Ceph cluster

Voor Tuxis was niet alleen het kunnen hebben van hardware-uitval een reden om Ceph te gaan gebruiken. Otto vertelt dat eveneens clustering over meerdere datacenters heen een belangrijk punt is. “Bij ZFS blijft het één centrale server terwijl bij Ceph de hardware verspreid is. Wij distribueren over drie datacenters en kunnen het uitvallen van één volledig datacenter hebben.”

Tuxis heeft daartoe een cluster van drie nodes. Op elke node draait behalve natuurlijk de OSD daemon om de objecten op te slaan ook een Ceph monitor. Elke monitor houdt de status van het cluster in de gaten waaronder de OSD daemons. Otto vertelt dat Tuxis standaard de data eenmaal repliceert. “We hebben de data dubbel en verspreiden die over drie locaties. Daarmee kunnen we het uitvallen van één enkele locatie aan, maar niet van twee. Sommige klanten van ons met een eigen Ceph cluster hebben de data wel in drievoud. Op iedere locatie staan alle data waardoor, na een kleine aanpassing, een dergelijke klant op één enkele node verder kan werken mochten twee locaties uitvallen.”

Als besturingssysteem voor Ceph fungeert Linux. “Ik ben begonnen met Debian”, licht Schouten toe, “omdat dat mijn persoonlijke voorkeur heeft.” Maar Ceph heeft een voorkeur voor Ubuntu. Ze testen daar goed op alvorens te releasen. Bij Debian zijn die tests een stuk minder uitgebreid, vervolgt Schouten. “Momenteel draait op één server van het cluster nog Debian. Op de andere twee is dat Ubuntu 14 met long-term support. Op enig moment vervangen we de laatste Debian machine ook door Ubuntu maar dat heeft geen haast.” Als onderliggend bestandssysteem voor de object storage gebruikt Tuxis XFS.

Schouten vertelt dat de migratie vlekkeloos verliep. “In november vorig jaar zijn we begonnen met testen en onze eigen zaken daarheen te verplaatsen. In die fase hebben we het cluster uitgebreid om meteen ervaring op te doen met het schalen van Ceph. De migratie hebben we live met onze virtualisatie software Proxmox gedaan. Je geeft gewoon aan van welke disks de data over moeten. Nieuwe schrijfacties gaan dan naar het Ceph storageplatform terwijl de bestaande datablokken gekopieerd worden. Sinds februari draaien alle VPS’en op Ceph en onze klanten hebben niets gemerkt.”

Voor het monitoren gebruikt Tuxis een combinatie van Nagios en LibreNMS. Nagios verzorgt de alarmering terwijl LibreNMS de trends bijhoudt. Schouten vertelt dat zij voor het Ceph cluster deze tools uitgebreid hebben. “Via Nagios Exchange heb ik agents voor Ceph geïnstalleerd op de nodes. Voor LibreNMS heb ik zelf een agent in Python geschreven om statistieken van Ceph bij te houden zoals het aantal IOPS van het cluster, latency per disk, resterende opslagcapaciteit per cluster en per pool. Ook het aantal objecten houden we bij, hoewel dat weinig toegevoegde waarde biedt.”

Voor de back-up blijft de zelf geschreven tool Proxmox Rolling Backup in combinatie met rsync in gebruik. Schouten: “De backend van de storage maakt ons niet uit. Proxmox maakt gebruik van de snapshotting-functionaliteit van Ceph. Deze images gaan naar Apeldoorn. Middels rsync over SSH maken we ook nog steeds een back-up van de VM’s op bestandsniveau. Deze back-ups bewaren we op twee geografisch gescheiden locaties in Ede.”

Tot slot

Aan het einde van het interview vragen we of er nog open punten zijn na de migratie naar Ceph. Schouten antwoordt dat er feitelijk geen zaken zijn specifiek gerelateerd aan Ceph zelf. Wel vertelt hij dat er aan het netwerk gewerkt gaat worden. “We hebben nog geen 10 gigabit connectivity naar de Ceph nodes. Nu hebben we 4 x 1 gigabit. Dat is momenteel voldoende qua bandbreedte. Maar 10 gigabit heeft wel een lagere latency en dat is interessant voor de storage. Daarom zit dat nu in de planning.”

Als laatste laten zowel Otto als Schouten weten dat Ceph een aanrader is. “Het onderhoud is veel makkelijker geworden. Je merkt aan alles dat Ceph gemaakt is om fouten te accepteren. Het is robuust, flexibel en eenvoudig op te zetten. We kunnen precies bepalen hoe en waar onze data opgeslagen wordt. Uitbreiden van ons cluster is daardoor gemakkelijk. We gebruiken Ceph niet alleen voor onze VPS’en maar leveren ook clusters aan klanten. Als de ontwikkelingen van het bestandssysteem op Ceph het in de toekomst mogelijk maken, zullen wij ZFS op FreeBSD geheel uitfaseren.”

Geschreven door Serge Gielkens (HYPR: Hosting Your PR)

Stuur ook uw blog, achtergrond artikel of andere bijdrage in!