- Door
- Arnout Veenman
- geplaatst op
- 11 februari 2013 08:00 uur
Afgelopen zaterdag werd er door de SIDN onderhoud gepleegd aan het Domeinregistratiessysteem (DRS) van het .nl-domein. Om 7:00 uur begon het onderhoud en dat moest om 14:00 uur afgerond zijn. Het onderhoud liep door problemen echter uit, als gevolg daarvan duurde het maar liefst tot zondagnacht 2:00 uur voordat het onderhoud was afgerond. Daardoor was het gedurende 19 uur niet mogelijk om een .nl-domeinnaam aan te vragen of te wijzigen. Drie weken geleden was dat ook al 7 uur lang niet mogelijk. Moet dat consequenties voor de SIDN top hebben?
Tijdsverloop
Om 13:30 uur liet de SIDN in een eerste update aan de registrars weten dat bij de migratie van de database van het .nl-domeinregistratiesysteem naar Oracle 11g een corruptie was opgetreden. Naar aanleiding van de corruptie werd besloten om een restore van de database uit te voeren. Om 16:00 uur liet de SIDN weten dat restore bezig was en het probleem dat deze veroorzaakt had was gevonden en verholpen. Er kon echter nog geen eindtijd worden gegeven, binnen drie uur zou er een update volgen. Die kwam zaterdag om 19:00 uur, maar nog steeds geen inhoudelijke mededeling, behalve dat het de verwachting was de database recovery rond middernacht zou zijn afgerond.
De koek was echter nog niet op bij de SIDN want om 23:00 uur volgde het bericht dat ‘de migratie van de database wederom is vastgelopen op de Oracle-scripts, waardoor we ons nu genoodzaakt zien terug te gaan naar de vorige versie. We herstellen de oude situatie weer en hebben de openstelling van de applicatie gepland op 02.00 uur’. Zondagnacht om 2:02 uur precies wist de SIDN per e-mail te melden dat de werkzaamheden en de aansluitende test waren afgerond en de diensten weer beschikbaar zijn.
In de laatste e-mail excuseert de SIDN zich voor de lange onderbreking van de dienstverlening. Daarnaast belooft de registry in de mail in de loop van de week op de registrarwebsite een uitgebreide toelichting te geven over het verloop van het onderhoudsvenster.
In een reactie tegenover ISPam.nl laat Cees Toet, Manager ICT van SIDN weten dat SIDN het uiteraard zeer betreurd dat het onderhoud van afgelopen zaterdag zo is uitgelopen en dat daarnaast de oude situatie moest worden hersteld. Toet stelt dat SIDN de afgelopen jaren er juist hard aan gewerkt heeft om de betrouwbaarheid van DRS verder te vergroten, met DRS5 is de tevredenheid van registrars over het systeem dan ook zeer toegenomen.
Over het onderhoud van afgelopen zaterdag dat tot 19 uur downtime van het DRS leidde, stelt Toet dat: “Er vele upgrades van omgevingen en productie-like omgevingen van te voren uitgevoerd zijn om te voorkomen wat zaterdag is gebeurd. Geen omgeving is echter gelijk. Dat de eerste poging niet gelukt is kon worden verklaard en op basis daarvan is besloten om nogmaals de upgrade te starten. Dat daarna de Oracle upgrade programmatuur bleef hangen was niet te verwachten, was niet te voorzien en was ook tijdens eerdere (test) upgrades niet voorgekomen. Over de verklaring daarvan bestaat inmiddels (14 uur na de openstelling) wel een theorie maar is niet definitief vastgesteld, laat staan ook grondig getest.”
Jaarlijks meer dan 1,6 miljoen euro uitgegeven aan IT-infrastructuur
Uit de jaarrekening 2011 van de SIDN (pdf) blijkt dat de organisatie in 2011 maar liefst 1,6 miljoen euro heeft uitgegeven aan ‘systeemkosten’, het totale bedrag dat de organisatie uitgeeft aan zijn IT-infrastructuur voor het .nl-domeinnaam is waarschijnlijk zelfs nog hoger, doordat hier ook nog personeelskosten en internetverbindingen bij moeten worden opgeteld. In dat licht is het zeer merkwaardig om te zien dat het onderhoud van de SIDN-infrastructuur niet zonder al te veel downtime kan doorvoeren.
Manager ICT Toet stelt over deze kosten dat dit genuanceerder ligt omdat hier ook investeringen in DNS(sec), de verhuizing en DRS er onder zouden vallen. Echter staat er in de jaarrekening ook een post “Advieskosten nieuw geautomatiseerd systeem” en “Advieskosten projecten”, dus het is maar de vraag in hoeverre die kosten al niet uitgesplitst zijn. En ook al vallen de kosten lager uit, dan gaat het nog steeds om enorme bedragen.
Op zaterdag 19 januari pleegde de SIDN ook al onderhoud aan het domeinregistratiesysteem van 8:00 uur tot 15:00 uur, dat wel zonder problemen werd afgesloten. Samen met het onderhoudsvenster van afgelopen zaterdag is het DRS daarmee in 2013 maar liefst 26 uur onbereikbaar geweest. Daarmee heeft het DRS tot en met 10 februari dit jaar een uptime van 97,35%. Wanneer het de SIDN geen seconde meer down is dit jaar, dan kan het maximaal een uptime halen van 99,7%. Voor de gemiddelde managed hoster is dat al nauwelijks acceptabel te noemen en we hebben het hier nota bene over het DRS van ons nationale .nl-domein, een publieke dienst, die door een semi-publieke organisatie wordt aangeboden en miljoenen uitgeeft aan zijn IT-infrastructuur!
Consequenties
Gezien de lange geschiedenis met problemen met het DRS van de SIDN die teruggaan tot 2006, begin ik me serieus af te vragen of dit geen consequenties zou moeten hebben voor de top van SIDN en er niet spreekwoordelijk koppen moeten gaan rollen. Wat vinden jullie?