Journalistiek

Onpartijdig, onafhankelijk nieuws, uitsluitend in dienst van het branchebelang.

Achtergrond stroomstoring in het InterConnect datacentrum

  • Door
  • Veenman
  • geplaatst op
  • 4 maart 2008 08:01 uur

Stroomstoring in het InterConnect datacentrumAfgelopen woensdag was rond 10:10 uur de stroom in het InterConnect datacentrum uitgevallen. InterConnect heeft de mogelijke oorzaak van de stroomstoring achterhaald en aan ISPam.nl laten weten wat er precies gebeurt is.

De stroomstoring aan de A-stroomfeed ontstond bij werkzaamheden voor de bouw van het tweede InterConnect datacentrum, dat zich in het zelfde pand bevind als het eerste. De hoofdverdeler en generator van het datacentrum zijn bij de bouw van het eerste datacentrum al gereed gemaakt voor het tweede datacentrum, waardoor er enkel werkzaamheden aan de onderverdelers van de A- en de B-feeds.

Harde klap
Afgelopen woensdag zijn er werkzaamheden aan de A-feed uitgevoerd, rond 10:00 uur waren de werkzaamheden klaar en werd de kast van de onderverdeler weer gesloten. Enkele minuten later om 10:09 uur was er een harde klap te horen, doordat de reservesokkel van de automaat (die nog niet in gebruik was) in de onderverdeler kortsluiting had gemaakt. Er wordt momenteel door de E-installateur nader onderzocht wat de exacte oorzaak van de vermoedelijke kortsluiting is geweest. Ondanks dat de onderverdeler door een onafhankelijke partij volledig goedgekeurd is, wordt een designfout in de onderverdeler niet uitgesloten.

Daarna is begonnen met het verwijderen van de sokkel en het inspecteren van de onderverdeler. Rond 11:10 uur is de spanning op de A-feed weer gefaseerd ingeschakeld.

B-stroomfeed ook uitgevallen
Meteen na de uitval van de A-feed, heeft de B-feed het deel van het vermogen dat zowel op de A- als de B-feed was aangesloten overgenomen. Doordat het totale vermogen hierdoor boven het vermogen van UPS-en van de B-rail uitsteeg, is één van deze UPS-en in overload mode gekomen, wat feitelijk betekent dat deze zichzelf buiten gebruik heeft gesteld. Dit resulteerde erin dat de B-feed vanaf dat moment rechtstreeks en zonder onderbreking vanuit de hoofdverdeler gevoed werd. Dit heeft zoals gepland geen invloed gehad op de stroomtoevoer van de B-rail.

Door nog onduidelijke reden is omstreeks 10:40h (dus ongeveer een half uur na uitval van de A-feed) ook de B-feed uitgevallen. Hiervoor is nog geen duidelijke oorzaak en dit wordt daarom nader onderzocht. De B-feed is om 10:58h hersteld en enige minuten daarna was alle apparatuur die hierop is aangesloten weer up. Klanten met apparatuur die aangesloten waren op zowel de A- als de B-feeds hebben hierdoor een downtime gehad van 18 tot 20 minuten.

Casper Bakker, 4 maart 2008 8:47 am

Oe, niet goed om te horen dat de B-feed de klap dus niet kan opvangen. De vraag is dan natuurlijk wat je aan een B-feed hebt.

Het probleem met de A-feed kan iedereen gebeuren, maar daarom heb je ook een B-feed. Maar ja, als je daar ook niet op kunt vertrouwen...

Robbert, 4 maart 2008 9:31 am

Op EasyNet na heb ik nog geen enkel ander datacenter gezien waar enkel een deel of, feed was uitgevallen. Ik vraag me dan ook sterk af wat voor nut het heeft om te investeren in een B feed als deze in 9 van de 10 gevallen geen enkele zekerheid bied.

De kosten voor een B heeft voor een klant zijn vrij fors, ik ga uit van minstens 50 euro per maand en een set-up van ongeveer 250 euro.

Je komt dan al weer op 850 euro uit voor het eerste jaar (uitgaand van 50 euro voor een B feed), krijg je deze kosten terug? Of valt dan _net_ buiten de garantie?

Al met al een knullig verschijnsel.

Punica, 4 maart 2008 1:04 pm

Casper en Robert.

De B-Feed kan de klap wel opvangen echter er zijn hostertjes die denken dat een A+B feed van 16A 32A gebruiken betekent wat natuurlijk niet zo is.

Die veroorzaken dit soort overbelastingen.

Casper Bakker, 4 maart 2008 1:10 pm

Ik snap dat in dat geval een rack van de hoster er zelf uitklapt, als je de volledige capaciteit van de A en de B feed gebruikt.

Maar het datacenter zelf zou op 1 feed makkelijk alle belasting van het hele datacenter moeten kunnen trekken. Wat ik begrijp uit het bericht is dat niet het geval geweest.

Punica, 4 maart 2008 1:30 pm

Casper,

Hoe moet een datacenter dat voorkomen? Het probleem zit niet in het rack, want immers, de B-Feed is net als de A-feed op bijv 16A afgezekerd, dus zijn rack zal er niet uitklappen.

Dat kan gewoonweg niet want men krijgt 2 gescheiden feeds die beide op een aparte automaat zitten.

Het datacenter heeft zeer waarschijnlijk 2 energie systemen waarin de B minimaal gelijk is aan de A.

Maar als hostertjes dus flikken wat ik zeg, dan krijg je dus dat er in totaal meer gebruikt word als men eigenlijk kan bieden in geval van een failover.

Dit gebeurd overigens in veel meer dc's als alleen interconnect bij een gerennomeerde partij als GlobalSwitch gebeurd het bijv ook.

Casper Bakker, 4 maart 2008 1:39 pm

Hoe ze het technisch moeten voorkomen weet ik niet, ik heb me er niet in verdiept. Maar het lijkt me vanzelfsprekend dat zowel de A als de B feed, beide afzonderlijk al de stroombehoefte van het datacenter zou moeten kunnen dragen. Als je A feed voor 80% al gevuld is en je B feed standaard al voor 30%, dan weet je dat je een probleem krijgt bij zo'n klap.

Ik heb me niet verdiept in hoe je dit technisch kunt oplossen, maar dit lijkt me een logische beredenering. Het maakt niet uit hoe ze het doen, maar als hun B feed eruit klapt vlak nadat de A feed eruit is geklapt is dat verkeerd. Ongeacht wat de klanten met de feeds uithalen, dat kunnen ze namelijk ook weten voordat dit gebeurd.

Bovendien zeg ik ook niet dat Interconnect de enige is, een kijkje in het archief van ISpam.nl leert dat ze lang niet de enige zijn.

Les voor ons als hostingproviders is dus dat je niet kunt vertrouwen op de stroomleveringen van het datacenter, ongeacht hoe redundant het is...

Punica, 4 maart 2008 2:09 pm

Casper je hebt in deze in 1 punt inderdaad gelijk, de basis A/B feed verhouding.

Echter bij een 80% / 30% verhouding is het ongelovelijk lastig om zeker in grotere ruimtes uit te vinden wie die inbalans veroorzaakt, immers, weet het DC hoeveel stroom een server van een klant trekt? Wij hebben hier zelf ook servers welke 2 voedingen echt vereisen, deze lijkt voor een normale DC medewerker, als ie dit toch controleert 'gewoon'redundant aangesloten terwijl ie meer trekt, mede doordat redundante systemen vaak ook aan loadbalancing van de stroom doen.

Dus dit probleem is mijns inziens toch mede veroorzaakt doordat klanten onverantwoord met hun B-Feed om gaan.

Mark, 4 maart 2008 3:42 pm

@Punica:
Voor zover mij bekend kunnen ze in steeds meer datacentra per stroomfeed en per rack het gebruik meten. Stel een klant heeft 2 stroomfeeds (elk 16A) in 1 rack en die klant gebruikt 17A dan moet je toch eens gaan praten met die klant (immers als 1 stroomfeed uitvalt en alles zit achter een STS switch/heeft 2 aansluitingen dan heb je een probleem). Dit is met proactief waarschuwen al iets te maken (je kunt het probleem vinden door dergelijke berekeningen te maken en hier naar te handelen).

Er zijn ook datacentra waar de "A-feed" en "B-feed" effectief pas vanaf de verdeelkast in de suite gescheiden zijn, dit vind ik nog kwalijker.

Punica, 4 maart 2008 3:46 pm

Mark,

Je hebt gelijk, dat punt heb ik weer over het hoofd gezien.

Freak, 4 maart 2008 4:12 pm

Eens in de zoveel tijd de B-feed een kwartiertje uitschakelen. Iedereen die komt klagen dat zijn/haar servers zijn uitgevallen gebruikt de B-feed op een foute manier ;) (er van uitgaande dat de A-feed wel gewoon up bleef).

biergod, 5 maart 2008 2:25 am

Leuk artikel over de datacenters van tegenwoordig ;-)
http://www.ispx.nl/archives/131/laks/

Laatste reacties

Bedankt voor het succes van ISPam.nl
Koen Stegeman, Editor-in-Chief & founder Hostingjournalist.com: Jammer Arnout, maar je hebt een mooie bijdrage aan de hosting industrie geleverd, en dat jaren lang....

Bedankt voor het succes van ISPam.nl
Dillard Blom: Jammer dat een 'instituut' verdwijnt, en daarmee een bron van informatie over actuele zaken (en opin...

Bedankt voor het succes van ISPam.nl
L.: Uit automatisme kijk ik toch nog steeds elke dag naar ispam.nl, toch de hoop dat er nog een berichtj...

Bedankt voor het succes van ISPam.nl
Toni Donkers: Arnout bedankt! ik ga het missen dat is een feit!

Bedankt voor het succes van ISPam.nl
Marcel Stegeman: Ik zie het nu pas. Inderdaad jammer maar ik kijk nu al uit naar het volgende project.