- Door
- Jeroen Mulder
- geplaatst op
- 28 augustus 2013 15:00 uur
Goed nieuws voor hosters die zich op de markt voor big data begeven en daarvoor grote clusters hebben draaien: de bèta-versie van de nieuwe Hadoop-release staat klaar. De Apache Software Foundation nodigt testers uit versie 2.1.0 op de pijnbank te leggen.
Uiteindelijk zal deze versie als Hadoop 2.2.0 op de markt komen. Apache verwacht de officiële introductie een paar weken bekend te maken. En wat is er dan nieuw? Onder de motorkap is er flink gesleuteld. In de vorige versies werd gebruik gemaakt van reductieschema’s die door Google waren ontwikkeld. Voor de toenemende omvang van datasets is die techniek niet meer toereikend.
In deze versie maakt Hadoop gebruik van MapReduce van Yarn. In deze testversie moet nu blijken of het Hadoop File System (HDFS) echt goed aansluit op de technologie van Yarn dat met een dubbele deamon werkt om gegevensverwerking sneller af te handelen: centrale spil in MapReduce is de JobTracker met een resourcemanager en een aparte ´job scheduler´. Dit vergt minder van de clustermachines waarop Hadoop draait.