- Door
- Arnout Veenman
- geplaatst op
- 19 november 2015 16:47 uur
Het euNetworks datacenter in Amsterdam is afgelopen dinsdag getroffen door een stroomstoring. Uit de request for outage (RFO) die door het datacenter verspreid is, blijkt dat de stroomstoring veroorzaakt is door een menselijke fout. Bij onderhoud aan de stroomvoorziening werd de verkeerde STS uitgeschakeld, waardoor de stroomvoorziening naar enkele datavloeren werd afgesloten.
Uit de RFO blijkt dat de stroomstoring om 8:24 uur ontstond als gevolg van een menselijke fout bij onderhoud aan PDU0.3-03. Daarbij werden eerst alle individuele breakers één-voor-één uitgeschakeld. Daarna werd de hoofd breaker uitgeschakeld. Deze beide stappen gingen goed.
Als laatste stap werd een STS (Static Transfer Switch) uitgeschakeld. Hierbij werd echter de verkeerde (nog wel actieve) STS uitgeschakeld. Als gevolg hiervan ging de nog wel actieve (redundante) stroomfeed ook down. De fout werd al snel ontdekt, waardoor de stroomvoorziening na 10 tot 15 seconden weer hersteld was.
Uit de RFO wordt niet duidelijk hoeveel klanten er getroffen zijn. Al gaat het in ieder geval om enkele datavloeren maar niet het hele datacenter.
In de RFO staat het volgende over het oplossen van de gevolgen van de stroomstoring:
Second Engineer Xibeo on site at approximately 09.30 hrs. Purpose:
additional support for bringing back power for the clients of euNetworks in a controlled manner and after consulting euNetworks management (Graeme Smith).
bringing back redundancy in power feed after consulting euNetworks Management.
Myself on site at approximately 10.00 hrs. Purpose: (hands-on) support Xibeo management for euNetworks and making root cause analysis.Actions executed on 17th of November:
Meeting Graeme Smith & Guido van Hoorn to discuss actions to be taken for a quick but controlled way of bring back power to euNetworks clients.
Xibeo went to Room 0.3 (most impact) for assistance recovering power.
Guido van Hoorn went in the datacentre for assistance + root cause analysis.
Regarding customer Room 0.3: After consulting euNetworks management + client project manager we agreed for bringing back power on ‘A feed’ and therefore redundancy the following:
Xibeo makes the appropriate switches (usage of a ‘two man check’) with physical supervision of TRUE (check power availability at their rack/servers), Neslotech.
Start work TRUE at 11:01 and this ended at 11:14 hrs. At that time TRUE was ‘power redundant’ and the situation back to normal.
Power situation ‘normal’ for general (excl. TRUE) room 0.3/0.6 at approximately 12.00 hrs.
Xibeo root cause analysis was executed by interviewing all parties (incl. Neslotech), also pictures ware taken on location for analysis. Due to your absence I was not able to interview you as I understood that information transmission regarding this change also took place yesterday.
[..]
Xibeo. In-house Maintenance Company.
Guido van Hoorn. Xibeo Technical Management.
Graeme Smith. euNetworks Data Centre Manager.
Neslotech. In-house Electrician Company
Als laatste meldt de RFO dat er op de STS en PDU labels zullen worden aangebracht en dat bij een volgend onderhoud er een vier-ogen principe zal worden gehanteerd om te voorkomen dat er opnieuw door een menselijke fout een stroomstoring zal ontstaan.