- Door
- Arnout Veenman
- geplaatst op
- 29 mei 2008 08:13 uur
Afgelopen nacht is er iets misgegaan met de zone update van de .nl-zonefile, hierdoor was praktisch de volledige .nl-namespace vanaf 0:30 uur plat. Door caching werden gelukkig niet meteen alle .nl-domeinnamen onbereikbaar, maar na enige tijd werden ook veel nameservers ISP’s onbereikbaar en daarmee honderdduizenden .nl- en andere domeinnamen die gebruik maken van die nameservers.
Verschillende ISP’s hebben aan ISPam.nl gemeld dat zij direct na het constateren van de storing aanhoudend hebben geprobeerd om contact met SIDN op te nemen, maar zonder resultaat. Gelukkg bleek rond 6:15 uur werden de .nl-domeinnamen en nameservers van ISP’s weer bereikbaar, nog steeds zonder melding van SIDN zelf.
Het lijkt het meest waarschijnlijk dat de storing verband houdt met de upgrade van SIDN naar DRS4.2, die gisteravond is doorgevoerd en rond 23:00 uur is afgerond.
Update 8:30 uur:
SIDN bevestigt de storing in het volgende bericht naar haar deelnemers:
Na afloop van het onderhoudsvenster van 28 mei blijkt een aantal glue records uit de zonefile verdwenen te zijn. Als een gevolg hiervan is een aantal domeinnamen tussen 00.00u en 6.40u vanmorgen niet bereikbaar geweest. Wij hebben als tussenoplossing de zonefile van 28 mei 18.00u teruggezet. Alle nieuwe aanvragen van na dat tijdstip zijn op dit moment dus nog niet verwerkt in de zonefile.
Op dit moment wordt de verstoring onderzocht. Uit voorzorg is DRS tijdelijk uitgeschakeld.
Wij werken hard aan een oplossing en geven om 10.00u een update.
Onze excuses voor het ongemak.
Update 10:30 uur:
Zojuist is het volgende bericht door SIDN naar haar deelnemers gestuurd:
Zoals eerder vandaag gemeld hebben wij als gevolg van een storing de mailrobot en de webinterface van DRS tijdelijk uitgeschakeld. Hierdoor is het niet mogelijk aanvragen via webforms in te dienen. Het is echter wel mogelijk om e-mail forms in te dienen, deze worden na opstarten van DRS in volgorde van binnenkomst verwerkt.
Meer uitleg over de storing zullen wij u later deze ochtend per mail sturen en op de website publiceren.
Update 12:30 uur:
SIDN heeft in een nieuw bericht aan haar deelnemers ondermeer het volgende medegedeeld:
Op 28 mei hebben wij om 18.00uur onderhoud aan ons domeinregistratiesysteem gestart. Na afloop van dit onderhoud is een nieuwe versie van DRS4 in gebruik genomen en om 00.00uur is de eerste zonefile gegenereerd. Tussen 00.00uur en 6.40uur vanmorgen zijn vervolgens 175 glue records van name servers uit de zonefile verdwenen. Alhoewel wij een groot aantal controles op de zonefile uitvoeren voor deze gepubliceerd wordt, is deze fout niet naar voren gekomen. Uiteraard is deze controleprocedure inmiddels verder aangescherpt om dit soort problemen in de toekomst te voorkomen.
[…]
Op dit moment wordt hard gewerkt aan het herstellen van opgetreden DRS-fout. Twee mogelijke oplossingen worden momenteel beide onderzocht en voor implementatie voorbereid, te weten:
1. Een patch die de fouten in de database herstelt, waarbij alle transacties van vannacht verwerkt zijn.
2. De vorige versie van DRS wordt opnieuw geïmplementeerd, waarbij ook de oude database gebruikt wordt en alle transacties nogmaals aan DRS zullen worden aangeboden.
De uiteindelijke keuze zal worden gemaakt op basis van snelheid van implementatie en betrouwbaarheid van de oplossing.
Daarnaast heeft SIDN de procedure voor het melden van storingen ook meteen aangepast, om het kunnen melden van storingen ook ’s nachts te kunnen garanderen.
De titel van het bericht heb ik aangepast, omdat uit deze update blijkt dat ‘enkel’ een groot deel van de .nl-namespace plat heeft gelegen. Op basis van een gesprek dat ik zojuist had met een medewerker van SIDN gaat het voornamelijk om de grote deelnemers die getroffen zijn door de storing, waardoor het leek of (vrijwel) de hele .nl-namespace plat lag.