- Door
- Veenman
- geplaatst op
- 14 maart 2008 08:00 uur
Afgelopen woensdag heeft een storing het volledige netwerk van NXS platgelegd. Om 17:25 uur viel het hele netwerk van NXS uit. Direct hierna zijn er medewerkers van NXS naar het Global Switch en het SARA datacentrum afgereisd om de routers te controleren.
Na een kleine zoektocht kwamen de medewerkers van NXS erachter dat één van de coreswitches in het DCG Amsterdam datacentrum problemen gaf. Om 19:45 uur kon de coreswitch op locatie uitgeschakeld en was het NXS netwerk weer vrijwel volledig bereikbaar. Al was er tot 22:30 uur nog wel sprake van korte onderbrekingen en enige packetloss.
De volledige netwerkstoring ontstond door een abnormale hoeveelheid broadcast verkeer vanaf één coreswitch in het DCG Amsterdam datacentrum, de bron van het broadcast verkeer is nog (niet) duidelijk. Door de enorme hoeveelheid broadcast verkeer raakte de 10 Gbit ring tussen de verschillende coreswitches onbruikbaar. Daarnaast veroorzaakte een communicatiefout in een corerouter in het SARA datacentrum, 100% packetloss op 6 procent van de verbindingen naar het NXS netwerk, nadat de volledige netwerkstoring was opgelost.
NXS heeft onmiddellijk een pakket van maatregelen aangekondigd om herhaling te voorkomen, zo is als het goed is zojuist de corerouter in het SARA datacentrum vervangen. Daarnaast heeft NXS aangekondigd om samen met leverancier HP in de coreswitches broadcast ratelimiters in te stellen om excessieve hoeveelheden broadcast op het netwerk te voorkomen. Als laatste gaat NXS alle uplinks van klanten controleren op juist gebruik.
Wat mij vooral is opgevallen aan de netwerkstoring is de nazorg van NXS. Ongeveer 24 uur na het begin van de storing heeft NXS al een volledig rapport online geplaatst waarin alle belangrijke informatie over de netwerkstoring staan. Daarnaast meldt NXS zelf dat alle e-mails van klanten de zelfde nacht nog beantwoord waren en dat alle telefoontjes nog voor de volgende morgen 12:00 uur al waren opgevolgd. Daarnaast heeft NXS ook aangekondigd haar storingswebsite buiten haar eigen netwerk te gaan hosten.
NXS directeur Siemon van den Berg liet tegenover ISPam.nl weten dat dit de ergste storing is geweest in de 8 jaar tijd dat NXS bestaat, maar is wel opgelucht dat klanten positief reageren op de wijze waarop met de storing is omgegaan en er met ze over gecommuniceerd is.