Das Softwarehaus Syncsort stellt unter anderem zwei neue Hadoop-Lösungen vor, durch die eigenen Angaben zufolge Hadoop zu einer robusteren, leichter zu bedienenden ETL-Lösung (Extraktion, Transformation, Laden) mit großem Funktionsumfang wird. Bisher gilt Hadoop noch nicht als vollständige ETL-Lösung. Doch mit den zwei neuen Syncsort-Produkten für Hadoop für Hadoop – »DMX-h ETL«-Edition und »DMX-h Sort«-Edition – werde Hadoop um alle Funktionen erweitern, die Unternehmen für ihre ETL-Prozesse benötigen.

Die Pakete sollen die Bedienung von Hadoop vereinfachen. Außerdem sollen sie die Knotenleistung gegenüber nicht nativen, Code erzeugenden ETL-Tools maximieren. »Die Möglichkeit, Analysen großer Datenmengen durchzuführen, ist für die Wettbewerbsfähigkeit unserer Kunden unverzichtbar. Die heutige Datenflut überfordert jedoch die meisten herkömmlichen Datenintegrationsarchitekturen. Viele der Tools sind zu code- und ressourcenintensiv und verursachen letztlich zu hohe Kosten», sagt Josh Rogers, Senior Vice President des Bereichs Datenintegration bei Syncsort. "Mit unseren neuen Editionen erweitern wir Hadoop um nahtlose, leistungsstarke ETL- und Sortierfunktionen. Gleichzeitig steigern wir den Nutzen von ETL, indem wir die Leistung von Hadoop zur grundlegenden Verarbeitung großer Datenmengen einsetzen.«

Anzeige

Syncsort-Lösung hält Durchsatz und Performance auch bei 500 GByte bis 2 TByte Datenmenge

Die »DMX-h ETL« ist laut Syncsort die einzige Lösung mit einer ETL-Engine, die nativ in MapReduce ausgeführt wird und so die Knotenleistung maximiert. Eine Bibliothek mit vordefinierten Vorlagen für verschiedene Anwendungsfälle soll Entwickler dabei bei der schnellen Hadoop ETL-Implementierung unterstützen.

Aktuelle Syncsort-Benchmarks zeigen, dass sich durch die Verwendung von DMX-h die Leistung sowie die Ressourceneffizienz von Hadoop deutlich verbessern lassen sollen. Dabei soll der Durchsatz selbst bei steigenden Datenmengen berechenbar und nachhaltig bleiben. Während alternative Lösungen wie die gängige Hadoop-Sortierung und »Pig« bei rund 500 GByte Datenmenge einen Sättigungspunkt erreichen, ab dem der Durchsatz sinkt, liefere DMX-h nachhaltige und berechenbare Leistungen von 500 GByte bis 2 TByte.

»Hadoop senkt die Ausgaben zur Verarbeitung großer Datenmengen, ist jedoch für Unternehmen nicht kostenlos. Die hohen Hardware- und IT-Produktivitätskosten gefährden unter Umständen den ROI«, erläutert Evan Quinn, Senior Principal Analyst bei der Enterprise Strategy Group. »Die neuen Syncsort-Produktversionen erweitern Hadoop um spezielle Funktionen, die maximale Kosteneinsparungen ermöglichen. Unternehmen erhalten erstklassige ETL-Technologie mit einem herausragenden Preis-Leistungs-Verhältnis, das auf dem Datenintegrationsmarkt seinesgleichen sucht. Die Kosten ähneln eher denen einer Open-Source-Lösung.«