Stroomstoring in Equinix EN-1 datacentrum (Enschede)

Een gezellige dag. Pluspunt, er waren broodjes beschikbaar voor klanten. Minpunt, slechte crisismanagement -> weinig kvm's en omdat de deuren niet functioneerden moest je soms minuten wachten voordat iemand van equinix je van de ene zaal naar de andere zaal of naar buiten kon brengen. Dat kon beter.

En nog even een reactie op een quote van Marco Vader:
"Vader geeft aan dat een deel van de dienstverlening onderbroken is en niet het gehele datacentrum."

Ons is verteld dat de hele datacentrum een paar seconden zonder stroom heeft gestaan (excl. kantoorvloer omdat die een eigen ups heeft). Aan het aantal klanten dat er gisteren rond liep viel ook wel te zien dat het niet alleen maar 'een deel van de dienstverlening' was.

'deel van de dienstverlening': alleen EN1, niet Amsterdam of Zwolle. Maar inderdaad ook in de bunker is de stroom eraf geweest. Dat is wel zorgwekkend.

Broodjes hebben wij gemist, we waren voor 17u klaar... jammer of eigenlijk ook niet.

@Igor: mooi dat Mathijs z'n eigen KVM mee genomen had. Heb jij ook nog van kunnen profiteren. Breng je hem hier langs? Taart is altijd lekker... hahaha.

Ik ben wel reuze benieuwd naar de technische verklaring ervan waarom dit heeft kunnen gebeuren, zodat ook andere datacenters ervan kunnen leren.

@Igor: het waren geen paar seconden, doch iets van miliseconden, want ik zie nog een uptime van meer dan 900 dagen.

Dennis Wijnberg: Oxilion heeft er uren uitgelegen. Hoe is dat inderdaad mogelijk? De stroomstoring duurde toch slechts heel kort? Hebben jullie je zaakjes wel goed op orde daar?

Jan; Jazeker hebben wij de "zaakjes" goed op orde.

Ons netwerk heeft er voor veel klanten een kwartier uit gelegen, voor anderen een half uur. Natuurlijk, en dat weet je bij stroomuitval, kunnen sommige systemen blijven hangen.

We moesten 1200 servers starten, gelukkig hebben we daar weinig ervaring mee. Dit is namelijk de eerste globale storing in vier jaar.

Ik beantwoord je vraag het liefst met een rondleiding in het datacenter en een kijkje in de keuken bij Oxilion. Stuur mij even een e-mail, dan plannen we direct een datum!

@ Jan, ik heb zelf destijds in RedBus een storing van 800ms mee gemaakt, maar dat resulteert snel in 4 uur downtime.

Alle servers moeten opnieuw opstarten, je moet vaak ook nog filesystem checks draaien en daarna kom je er achter dat een server weer staat te wachten op een andere die nog niet boot.

Vervolgens wil er bij zo'n tik ook nog wel eens een RAID-array in puin liggen waardoor het er allemaal niet makkelijker op wordt.

Dus even 1200 servers weer up brengen is niet iets wat je "even" doet.

Tja, tegen stroomuitval doe je weinig. Je kunt hele kritieke systemen in een failover configuratie uitvoeren, maar ik weet niet of Oxilion klanten heeft die zoiets eisen. Is ook niet altijd even triviaal om te doen, weet ik uit ervaring (nog afgezien van de kosten die dat met zich meebrengt). Doe je het niet, dan ben je inderdaad grotendeels afhankelijk van de kwaliteit die je datacenter levert op dit gebied. Kennelijk ging het bij Equinix al heel lang goed, waarvoor hulde.

Marco; We hebben inderdaad klanten die dat eisen. Er zijn een aantal klanten gewoon door blijven draaien. Die klanten hebben een multi-datacenter setup met Amsterdam (AM1) of Zwolle (ZW1).

Deze storing heeft voor die mensen dan ook geen impact gehad.

Dennis/Marco:

Inderdaad hulde dat het zo lang goed heeft gefunctioneerd. Wat ik wel goed vind dat oxilion zoiets kan bieden aan klanten. Dan is het niet alleen locatie, maar ook datacenter onafhankelijk.

Marco

Equinix heeft nu 4 ups-en in Enschede en kan nu genoeg power leveren. Is de storing niet het gevolg van de modificatie aan de UPS-en, die laats heeft plaats gevonden? De ups (geen imv) voor de kantoren (EN1) moet worden voorzien van nieuwe batterijen, deze zijn te oud. Mijn calculaties geven aan dat er meerdere storingen zullen volgen EN1, ZW1 en AM1, mits...

Evert: Wat heeft de kantoor ups te maken met het productieproces (zalen). Ze zijn bezig met een grondig onderzoek heb ik me weten te vertellen. Als jij op basis van vermoeden denkt dat AM1 en ZW1 ook zullen volgen ben je wel heel zeker van je zaak.

Ik weet dat de opzet van ZW1 en AM1 totaal anders is als die van EN1. Natuurlijk zal Equinix de nodige maatregelen treffen voor de andere locaties als ze de oorzaak weten.