Sieht simpel aus, ist aber tatsächlich etwas komplexer: »Apache Flume« als Service für das Bewegen großer Datenmengen in Hadoop-Big-Data-Projekten (Bild: flume.apache.org)Der Hadoop-Marktführer Cloudera will die Entwicklung von Open-Source-API-Kompatibilitätstests vorantreiben. Die Marktaufnahme von »Apache Sqoop« und »Apache Flume« soll dadurch beschleunigt werden. Denn bei Big-Data-Projekten auf Basis von Hadoop ist Datenanalyse nur die halbe Miete: Der erste Schritt in jedem Big-Data-Projekt ist das Einspeisen von Daten in ein Hadoop-Cluster. Apache Flume und Apache Sqoop seien hier nach Ansicht von Cloudera bei der Bewegung großer Datenmengen entscheidend.

Apache Sqoop gilt als wertvoll für den effizienten Transfer von Massendaten zwischen Hadoop und strukturierten Datenspeichern wie etwa relationalen Datenbanken. Wenn Unternehmen ihre kompletten Datenbestände nutzbar machen wollen, zum Beispiel für umfassende Kundenprofile, sind Schnelligkeit und Effizienz notwendig, um relevante Einblicke in Echtzeit zu bekommen und so den künftigen Kundendialog prägen und beeinflussen zu können.

Anzeige

Kompatibilität mit Apache Software Foundation angestrebt

Apache Flume hingegen scheint sich als effektive Software für das Sammeln, Aggregieren und Bewegen großer Mengen von Streaming-Event-Daten in Hadoop-Cluster hinein zu etablieren. Weil die Mengen an maschinengenerierten Daten und Datenströmen aus dem Internet der Dinge (Internet of Things – IoT) immer weiter anwachsen, wird es wichtiger, diese Daten schnell zu bewegen. Durch Open-Source-Standards für Datensammlung, Datenfluss und das Aggregieren von Datenspeichern wird laut Cloudera die Basis für zukünftige Erkenntnisse geschaffen.

»Momentan haben Anwendungsentwickler keinen Zugang zu Open-Source-Tools zum Validieren der Kompatibiltät ihrer Implementierungen mit Apache Sqoop und Apache Flume. Das bringt Risiken, Kosten und Verzögerungen in die Applikations-Entwicklung«, erläutert Mike Olson, Chief Strategy Officer bei Cloudera. »Unser Ziel für diese Testframeworks ist es, den Entwicklungsprozess zukünftiger Produkte und Apps zur Einspeisung und Analyse von Daten zu rationalisieren. Wir wollen Abnehmern die Sicherheit geben, dass jedes Produkt, das diese Tests besteht, kompatibel mit den Releases der Apache Software Foundation ist.«