Storage Stories: De VPS omgeving van Tilaa

Haha, het is 2015 hoor. Volgens mij probeert Tilaa hier vooral hun eigen ouderwetse werkwijze (welke eigenlijk aangehouden wordt vanwege gebrek aan technische kennis, dan wel het niet in 1x willen/kunnen investeren van grote bedragen) hier goed te praten. Allemaal prima hoor als je zelfs in 2015 toch nog besluit local storage te willen gebruiken, maar om dan te zeggen dat dit ook nog een HA-oplossing is, dan lig ik dubbel. Hoeveel klanten richten dat zo in? Meerendeel heeft toch gewoon een VPS voor een bepaald doel, en is dan dus vooral niet HA bij Tilaa:

"... gebruikt Tilaa wel een verdeelalgoritme dat ervoor zorgt dat als een klant meerdere VPS’en bestelt, ze op verschillende hardware terechtkomen. “Dat zijn echte HA-oplossingen. Je zorgt ervoor dat je uitval kunt hebben door het falen van hardware in te calculeren in de software”, aldus Van de Ven."

Ook zou ik graag concrete voorbeelden vernemen, waarin Ceph een nadeel heeft tov local storage. Op Ceph clusters kan je (bij goed opzetten) bovendien snelheden halen die ver voorbij de snelheden van een local RAID-10 setupje gaan, waarbij je bovendien meer dan 2 kopieën van alle data kan opslaan indien gewenst, wat bij RAID-10 niet kan. En niet te vergeten dat je niet van 1 server, raid controller etc. afhankelijk bent.

Ik zat mij even af te vragen of dit artikel van 1999 was, maar dat is niet het geval......

Een veelgemaakte denkfout (m.i.)
“Concullega’s die high availability VPS aanbieden op een shared storage platform voorzien in het onderuitgaan van een virtualisatie node door de virtualisatie server op een andere node op te starten. Maar als het hele shared storage cluster onderuit gaat, gaan duizenden VPS’en ook onderuit. Als bij ons iets fout gaat, zijn de failure domains heel klein. Hoogstens enkele tientallen servers worden geraakt maar de rest draait door.”

De kans dat 1 server uitvalt is groter dan de kans dat een redundant storageplatform met bijv. Ceph uitvalt.
Als nl in dit voorbeeld het moederbord van de storageserver stuk gaat zijn alle klanten (ookal is het er maar één) niet meer in de lucht. Impact voor die klant is 100%.

Gaat bij een cluster een moederbord stuk, dan merk je er niet veel van. Gaat het hele cluster stuk, dan heb je gelijk alle klanten die niets meer hebben. De impact per klant is echter ook gewoon 100%. Het zal echter minder vaak voorkomen gezien de redundantie in je storagelaag.

Dus voor je gevoel is het prettig dat niet alle klanten een storing hebben. De praktijk is dat de oorzaak voor je klant niet uitmaakt. Het maakt die klant ook niet uit dat andere klanten er geen last van hebben.

Ongeacht of ik het eens ben met de geplaatste reacties:
Local storage per node is niet perse een ouderwetse werkwijze, sterker nog: VMware heeft vrij recent vSAN geintroduceerd. Software defined storage clustering met local disks per node. Nu gebruikt Tilaa KVM, maar het gaat om het idee.
De HA gedachte bij de beschreven setup leunt mijn insziens iets te veel op handmatige acties met personele beschikbaarheid.

Ben het niet helemaal eens met bovenstaande redenaties.

Bij het schalen van een storage platform neem de complexiteit exponentieel toe.

Wanneer iemand zijn VPS niet redundant inricht is de impact inderdaad 100%, echter neemt deze af tot bijna 0% wanneer redundantie op software niveau wordt gebouwd over verschillende gescheiden systemen. Dit kun je nooit bereiken op een shared of distributed storage systeem. Als er iets fout gaat dan hang je.

Door complexiteit zie je ook dat bij problemen op grote opslag systemen de onderbreking lang duurt, soms meerdere dagen.

Kijk bijvoorbeeld maar eens naar

http://tweakers.net/nieuws/105057/leaseweb-ondervindt-storage-problemen-sinds-maandagavond.html
https://twitter.com/cloudvpsnetwork

Ik kan me ook nog wat voorvalletjes herinneren bij oa Leaseweb en TransIP waar data verloren is gegaan.

Helaas zijn niet alle applicaties te clusteren, denk aan het veelgebruikte DirectAdmin controle panel (afgezien van unsupported knutseloplossingen).

Je gaat clusters niet oneindig door bouwen (waardoor het erg groot en mogelijk complex wordt), op een gegeven moment zet je een tweede, derde etc. cluster neer. Wij hebben standaard 2 clusters op gescheiden locaties, waardoor je desgewenst echte HA-oplossingen kan bouwen voor klanten die dat wensen. Het meerendeel zal echter gewoon een VPS afnemen voor een bepaald doel en zit er zelf helemaal niet op te wachten daar een HA-voorziening in te moeten bouwen, dat hoort gewoon op de achterliggende infra geregeld te zijn anno 2015 en ik denk dat veel klanten dat tegenwoordig ook gewoon standaard verwachten. Klanten die zo'n kritieke infra hebben dat een HA-cluster niet genoeg HA is, kan je extra HA maken door deze VM's te spreiden over de verschillende clusters (en dat zal dan ook over verschillende datacenters moeten bij zo'n klant). Maar dat Tilaa haar spreiding van VM's pas een echte HA-oplossing noemt, is echt lachwekkend.

Bovendien, Tilaa geeft aan dat als een server crasht men binnen 20 minuten weer up & running kan zijn doordat de schijven in een andere (spare) server overgeprikt worden. Nadeel hiervan is natuurlijk dat handmatige actie nodig is, maar wat doe je als je RAID array het begeeft? Dan zal je aanzienlijk langer uit de lucht zijn en zal je terug moeten grijpen op backup's. Tot overmaat van ramp heb je dan ook nog dataverlies tussen het moment van maken van de laatste backup en de crash. De kans op een crash van een VM met local storage is gewoon vele malen groter dan een crash van een VM op geclusterde storage, zeker met Ceph. Belangrijke zaken zal men dan ook nooit horen te hosten op een standalone machine, zoals Tilaa haar VPS'ses heeft ingericht.

Beste Wouter,

Je mag het best oneens zijn met onze keuzes, maar jammer dat je het nodig vindt onze keuzes zo publiekelijk af te kraken en ons weg te zetten als amateurs. Ook jammer dat je niet je achternaam en bedrijfsnaam hebt vermeld, zodat we weten met wie we te maken hebben.

We beweren nergens dat een enkele VM op local storage HA is. Wat we zeggen is dat je met meerdere VM's die niet afhankelijk zijn van dezelfde storage een hogere beschikbaarheid kunt realiseren dan met meerdere VM's die op hetzelfde storage platform draaien. Ben je het daarmee oneens?

"..maar wat doe je als je RAID array het begeeft?"

Dat is een onzinnige vraag. Wat doe je als je shared storage cluster het begeeft? RAID is geen backup, een shared storage cluster ook niet. Als je data je wat waard is maak je backups.

"De kans op een crash van een VM met local storage is gewoon vele malen groter dan een crash van een VM op geclusterde storage, zeker met Ceph."

Dat is onzin. Lees je eerst even in op de ceph-users mailinglist, dan praten we verder :)

Gr, Dennis

Je vergelijking met een hogere beschikbaarheid tussen twee losstaande VM's en twee op dezelfde storage is een rare. Een eerlijke vergelijking zo zijn om dan twee VM's op twee verschillende clusters te vergelijken met twee VM's op standalone hardware. Of om een enkele VM op een cluster of een enkele VM op een standalone machine te vergelijken. Nu ben je appels met peren aan het vergelijken. In beide gevallen is de standalone VM gevoeliger voor uitval, omdat die in beide gevallen op standalone hardware draait. Is ook niks nieuws, dat deden we jaren geleden al met losse dedi's en colo's.

De als dan vraag is zeker geen onzinnige vraag. Je geeft aan dat als een server crasht je HDD's omswapt en weer online bent. Mijn vraag wat je doet als je RAID array crasht is dus een hele logische, want dan kan je niet zomaar omswappen. Staat overigens los van backups, ik heb ook nergens gezegd dat RAID een vervanging van backups is, want dat is het zeker niet, idem. voor een shared storage cluster. Ook dat backup je nog gewoon voor echte noodsituaties. Feit blijft weer dat een enkele RAID array in 1 server, op 1 RAID controller niet veel nodig heeft om volledig uit te vallen.

Dat er problemen op de Ceph mailinglist staan is logisch, voor welk softwarepakket niet? Overigens zijn er op internet ook zat problemen met gecrashte hardware RAID arrays te vinden. Is dus een onzinnig argument. Zoals al eerder gevraagd, maar waar helaas geen concreet antwoord op komt: waar ben je bij Ceph ZELF tegenaan gelopen, wat je toch laat kiezen voor local storage ipv Ceph storage?

Overigens, als je niet duizenden VM's wil laten crashen bij een crash van storage, kan je natuurlijk ook meerdere kleinere clusters bouwen. Heb je wel echte HA oplossingen voor elke VM, maar zijn toch niet al je klanten getroffen in het geval een cluster uit zou vallen. Al is de kans op uitval bij een goed opgezet cluster gewoon heel klein kan ik je uit ervaring vertellen.

Laten we het even bij de feiten houden.

We gebruiken local storage op basis van hardware RAID-10 sinds 2009 en hebben inmiddels honderden fysieke servers draaien waar we duizenden klanten mee bedienen. Feit dat we local storage gebruiken is geen kwestie van gebrek aan technische kennis of geld zoals eerder gesuggereerd werd, het is een filosofie waar wij in geloven. Simpel, snel en betrouwbaar.

We hebben een bewezen stabiel platform, in al die jaren hebben we slechts 1 keer hardware gerelateerd probleem met 1 fysieke server gehad waarbij downtime optrad. Door hot-spare hardware hadden we dit in mum van tijd onder controle. Buiten dit om zichzelf staande voorval is er sinds 2009 nog geen seconde downtime geweest door hardware falen. Mocht dit in de toekomst onverhoopt nog eens gebeuren, dan zijn we hierop voorbereid door goede monitoring, hot-spare servers en sluitende procedures in combinatie met relatief lage complexiteit.

Ik wil niet verzanden in een oeverloze discussie over wat beter / slechter is met een anonieme persoon, daar is dit denk ik ook niet het platform voor. Ik kan wel 1000 al-dan-niet theoretische horror scenario's verzinnen op zowel shared, distributed als local storage, maar dat is niet waar het om gaat. Waar het wel om gaat is dat dit voor ons en onze klanten bewezen werkt.

Gerben van de Ven
Tilaa BV

Ik beheer VPS'en bij verschillende aanbieders (CloudVPS, TransIP, DedicatedNow, Linode en Tilaa).

Een aantal argumenten die iedereen geeft zijn net zo discutabel als dat iemand die in een Mercedes rijdt zegt dat elke BMW rijder een amateur is.
Iedereen mag zijn eigen voorkeur hebben.

We zijn het er wel over eens dat een Smart parkeren in Amsterdam makkelijker is dan een bestelbus, en dat de bestelbus handiger is voor een lange reis met veel spullen dan een Smart.

Je moet dus gewoon ergens een VPS afnemen die past bij je wensen/eisen.
En persoonlijk ben ik zeer blij met Tilaa voor het volgende:
- disk random reads/writes: 2 tot 10x zo snel dan andere aanbieders vanwege de RAID10
- disk reads tot 600 MB/s (anderen hangen op max 300MB/s met drops naar 10MB/s)
- tot nu toe 0% downtime / data loss

Nadelen zijn er soms ook:
- meerdere beheerder logins via hun control panel niet mogelijk
- meerdere IP's niet standaard en onhandig (denk aan simpele hosting met eigen NS)
- 1GB swap (niet aan te passen)

Vandaar dat ik bij verschillende aanbieders pakketten afneem.