Cloudian integriert Nvidias »Magnum IO GPUDirect Storage Technologie« in seine Storage-Software Hyperstore. Die Objektspeicherlösung greift direkt auf die ursprünglichen Daten zu und verbessert damit die Datenverwaltung und -zugriff für KI-Workflows. Zudem erweitert sich die Skalierbarkeit bis auf EByte-Niveau und senkt Infrastrukturkosten.

KI-Anwendungen leistungs- und ressourcen-hungrig, vor allem wird sehr viel Speicherplatz benötigt. Dementsprechend müssen Unternehmen mit hohen Infrastrukturkosten kalkulieren. An diesem Punkt wollen Cloudian und NVIDIA ansetzen: Cloudian HyperStore unterstützt künftig die NVIDIA Magnum IO GPUDirect Storage Technologie. Diese Integration soll es dem Cloudian-Objektspeicher ermöglichen, KI-Trainings- und Inferenzdatenmengen – von PByte bis hin zu EByte – einfacher zu verwalten. Das Umgehen von Datenmigrationen und Speicherhierarchien soll dabei Kosten senken. Cloudians Hyperstore mit GPUDirect-Storage-Support ist ab sofort erhältlich.

Vom Prinzip her, wird der Speicherplatz in einen einzigen, konsolidierten Data-Lake konsolidiert. Laut Hersteller entfällt dadurch die Notwendigkeit Daten ständig zwischen verschiedenen Speicherebenen verschieben zu müssen. Indem KI-Workflows direkt innerhalb des objektbasierten Data-Lakes abgewickelt werden, vereinfachen Organisationen nicht nur das Datenmanagement, sondern reduzieren auch Betriebs- und Kapitalausgaben sowie die Gesamtkomplexität ihrer Systeme spürbar.

Cloudian Hyperstore: Objektspeicher schnell genug für KI

»Wir liefern über 200 GByte/s von einem einzelnen System mit einer Leistung, die über einen Zeitraum von 30 Minuten ohne Daten-Caching aufrechterhalten wird«, sagt Cloudian-CEO Michael Tso. »Zudem reduziert sich die CPU-Last während der Datenübertragung um 45 Prozent, wodurch Rechen-Ressourcen für die KI-Verarbeitung freigesetzt werden.«

Außerdem benötigt das software-definierte System keine Kernel-Modifikationen: Dies unterscheidet sich von herkömmlichen dateibasierten Speicherlösungen, da es die Gefahr von Sicherheitslücken minimiert, die oft mit Änderungen am Kernel einhergehen. Indem auf diese Modifikationen verzichtet wird, vereinfacht sich die Systemverwaltung, die Angriffsfläche wird reduziert, und die Sicherheit gegenüber Verletzungen steigt.

Die Integration von Metadaten in die Objektspeicherplattform soll den Zugriff auf Daten sowie deren Wiederherstellung erleichtern und beschleunigen. Diese Unterstützung ermöglicht einfaches Tagging, Klassifizierung und die Indexierung umfangreicher Datensätze. Im Vergleich zu traditionellen, dateibasierten Systemen, die auf Verzeichnisstrukturen und externe Datenbanken für die Metadatenverwaltung angewiesen sind, bietet Cloudian eine native Verwaltung der Metadaten. Dies vereinfacht die Datenflüsse und steigert die Effizienz von KI-Trainings- und Inferenzverfahren.

Objektspeicher soll Infrastrukturkosten für KI-Umgebungen senken

Laut Cloudian-CEO Tso müssen sich KI-Nutzer nicht mehr Leistungsengpässen veralteter Speicherlösungen belaste: »Mit der Integration von GPUDirect Storage ermöglichen wir es KI-Workflows, direkt auf eine einfach skalierbare Speicherarchitektur zuzugreifen, sodass Organisationen das volle Potenzial ihrer Daten ausschöpfen können.«

Cloudian liefert selbst keine Speicher-Hardware, kooperiert liefert aber zusammen mit Supermicro eine Art Blue-Print. Dazu gehören unter anderem Supermicros Hyper 2U- und 1U-Server, der hochdichte SuperStorage-90-Bay-Speicher-Server und das 24 Bay Storage-System Simply Double 2U. »Cloudians Integration von Nvidia GPUDirect Storage in die Hyperstore-Reihe von Objektspeicher-Appliances, die auf Supermicro-Systemen basieren, stellt eine bedeutende Innovation in der Nutzung von Objektspeicher für KI-Workloads dar«, meint Michael McNerney, SVP Marketing und Netzwerksicherheit bei Supermicro. »Dies wird unseren gemeinsamen Kunden ermöglichen, leistungsfähigere und kosteneffizientere KI-Infrastrukturen im großen Maßstab einzusetzen.«

»Schnelle, konsistente und skalierbare Leistung in Objektspeichersystemen ist entscheidend für KI-Workflows«, ergänzt Rob Davis, Vice President für Speichertechnologie bei Nvidia. »Sie ermöglicht Echtzeitverarbeitung und Entscheidungsfindung, die für Anwendungen wie Betrugserkennung und personalisierte Empfehlungen unerlässlich sind.«