- Door
- Jeroen Mulder
- geplaatst op
- 27 augustus 2012 08:06 uur
Een groeiend deel van de bevolking leeft online. Luistert naar streaming audio, kijkt films ‘on demand’, post met lichtsnelheid foto’s op sociale platformen. Het vergt veel van de huidige infrastructuur. Niet voor niets groeien de datacenters van bedrijven als Facebook en Google als spreekwoordelijke kool. Ondanks de consolidatietechnologieen zoals servervirtualisatie, wordt geschat dat Facebook 180.000 servers in gebruik heeft.
En het zal meer worden. Veel meer. En er zal meer data naar die servers stromen. Omdat internetconsumenten niet van wachten houden, zal die data ook sneller geprocessed moeten worden. Dat vergt meer dan een voortdurende uitbreiding van het serverpark. De gehele infrastructuur zal met die ontwikkeling mee moeten groeien. Dat heeft de standaardenorganisatie IEEE in elk geval begrepen. Terecht sorteert de 802.3-groep nu voor op een nieuwe ethernet-standaard.
RapidIO
De IEEE wil naar een nieuwe standaard van 400 gigabit per seconde of zelfs naar 1 terabit per seconde. Op 23 september zal de organisatie dit voor het eerst bespreken met de ITU, de organisatie die zich binnen de Verenigde Naties bezighoudt met netwerktechnologie. Voor de goede orde: we hebben het dan alleen over bandbreedte. Want de markt heeft vooral behoefte aan bandbreedte.
Nee. De markt, inclusief hosters, heeft behoefte aan totaaloplossingen om de ,,tsunami aan data” – het zijn de woorden van John D’Ambrosia van IEEE – goed te kunnen verwerken. De bandbreedte opkrikken naar 1 tb/s betekent een aanpassing van de gehele infrastructuur. Niet voor niets zijn chipmakers druk doende om processoren te ontwikkelen met een extreem hoge IO-capaciteit. Interessant in dat kader is RapidIO, ook een standaard. De interconnect-technologie van RapidIO maakt hogere bus-snelheden mogelijk, zodat chips en boards onderling met elkaar kunnen communiceren op snelheden van 1 gb/s tot 60 gb/s. Noodzakelijk om hogere bandbreedtes aan te kunnen. Naar verwachting zal Intel de internconnect van RapidIO implementeren in de nieuwe generatie Xeon-chips.
Jacht
Het is een ware jacht op bedrijven die technieken hebben ontwikkeld voor snellere boards en servers. Intel koopt zich suf aan dergelijke bedrijven. In juli kocht het Whamcloud, dat gespecialiseerd is in filesystemen voor ‘zware’ clusters. Eerder dit jaar werd voor 140 miljoen dollar al een interconnect-ontwikkelingsafdeling van Cray overgenomen. Vorig jaar kocht de chipmaker al twee high-end Ethernet-chipbedrijven: Fulcrum en NetEffects. Intel begrijpt dat de ontwikkelingen op gebied van dataverwerking en processing power erg snel gaan. Letterlijk.
En dan is er nog de data zelf. Meer bandbreedte, meer computing power… Meer data komt steeds sneller door de pijplijnen richting de datacenters met honderden servers en storagecapaciteit. Hier kunnen we leren van de ervaringen van Facebook. Het platform kan een duizelingwekkende 100 petabyte aan online-data verwerken. Maar daar moeten ze wel wat voor doen. Samen met Yahoo ontwikkelde Facebook Hadoop, een open source software platform waarmee grote hoeveelheden data kunnen worden verwerkt.
Verbouwing
Toch volstaat ook Hadoop ook al niet meer. Met de toekomstige standaarden van 400 gb/s en cpu’s die onderling op 60 gb/s met elkaar communiceren, moeten de binnenkomende datastromen nog sneller over de diverse serverfarms ‘verdeeld’ kunnen worden. Facebook ervaart de toenemende druk dagelijks en ontwikkeld op dit moment ‘Prism’, nog steeds gebaseerd op Hadoop. Met Prism is Facebook in staat om data via clusters naar datacenters over de hele wereld te sturen. Data wordt op een slimme manier in elkaar gedrukt, terwijl een ander deel van de software zoekt naar beschikbare servers. Via een ingenieus filesysteem wordt de data vervolgens naar die servers gestuurd. Continu.
Bottomline: fijn bericht van de IEEE dat ‘we’ meer bandbreedte tot onze beschikking krijgen in 2015. Maar het zal echt niet alleen van de bandbreedte afhangen. Er is meer nodig om de toenemende hoeveelheid data te verwerken. Machines met een hoge IO. Slimme compressietechnieken. Snelle datadistributie-systemen binnen datacenters en tussen datacenters onderling. We staan aan de vooravond van een stevige verbouwing van de gehele internetinfrastructuur.