Filesysteme müssen häufig PByte und mehr an Dateien verwalten. Wie kann man Filesysteme schneller machen, damit Anwender und Anwendungen nicht ewig auf Ergebnisse warten müssen?

Thore Rabe, QumuloRabe: Viele der heute verwendeten Dateisysteme sind 15 bis 20 Jahre alt und den heutigen Anforderungen nur bedingt gewachsen. Dabei ist weniger die Kapazität das Problem als die Anzahl von Verzeichnissen und Dateien im System. Für viele Operationen muss das System oder die Anwendungen durch das gesamte Dateisystem »laufen« (Treewalk), um beispielsweise Änderungen festzustellen. Das ist aber mit Millionen oder Milliarden von Dateien in einem System nicht mehr möglich.

Unser QF2 (Qumulo File Fabric) wurde daher von Grund auf neu entwickelt – und zwar für eine Skalierbarkeit von Milliarden von Dateien sowie eine Vielzahl von PBytes an Kapazität. Gleichzeitig haben wir in QF2 Datenstrukturen eingebaut, die eine Echtzeit-Analyse aller Vorgänge im Cluster erlauben. Beispielsweise kann zu jeder Zeit festgestellt werden, wann welche Dateien geschrieben oder geändert wurden, oder ob dafür Batch-Jobs notwendig wären. Entsprechende Dashboards erlauben eine genaue Übersicht über Durchsatz-, Benutzer und Anwendungsverhalten.

Darüber hinaus reduziert ein Block-basiertes Erasure-Coding eine zuverlässige Verfügbarkeit und die Wiederherstellungszeit im Fall fehlerhafter Komponenten auf Stunden und dauert nicht Wochen wie im Fall von Legacy-Speichersystemen.

  Erste distributed Filesysteme verwalten Dateien auf privaten und öffentlichen Clouds. Wie schaffen es solche Global Name Spaces, dass manuelle oder automatische Kopier-Aktionen von Dateien konsistent für das Dateisystem erfolgen?

Rabe: Um ein sicheres Management aller gespeicherten Informationen zu gewährleisten, müssen die Storage-Cluster kontinuierlich repliziert werden. Dabei ist es unwichtig, ob die Daten in einem On-Premise-Rechenzentrum oder in einer Public Cloud gespeichert sind. Sobald die Beziehung zwischen dem Quell-Cluster und dem Ziel-Cluster hergestellt ist, sind die Daten dank einer automatischen Synchronisierung einheitlich. Genau so arbeitet QF2.

Mit QF2 erhält jeder Cluster seinen eigenen Namensraum. Anstatt eines globalen (Cross-Cluster) Namensraums, arbeiten die einzelnen QF2-Cluster zusammen und bilden eine weltweit verteilte, aber hoch vernetzte Storage Fabric, die durch eine kontinuierliche Replikation verknüpft ist.

Die kontinuierliche Replikation etabliert die Beziehungen zwischen den vom Anwender festgelegten Verzeichnissen in zwei QF2-Clustern. QF2 gewährleistet, dass die Daten im Verzeichnis des Sekundär-Cluster (Ziel) immer aktuell und mit den im Primär-Cluster (Quelle) abgelegten Informationen übereinstimmt. Die kontinuierliche Replikation läuft konstant im Hintergrund – außer, wenn sie auf bestimmte Stunden am Tag oder Tage während der Woche programmiert ist.

Während die kontinuierliche Replikation läuft, übernimmt QF2 die neuesten Änderungen und repliziert sie. QF2 unterstützt eine breite Palette unterschiedlicher Workloads: Die Lösung spiegelt unternehmenskritische Daten oder migriert Informationen in die Cloud, um den Zugang zu höherer Rechenleistung zu erhalten. Die kontinuierliche Replikation nutzt die Echtzeit-Snapshots von QF2, um zeitpunktgenaue Kopien des Quellverzeichnisses auf dem Ziel-Cluster zu generieren.

  Welche Fähigkeiten von globalen Dateisystemen für eine Multi-Cloud-Umgebung sind zukünftig unverzichtbar?

Thore Rabe, QumuloRabe: Kunden möchten Konsistenz bei ihren dateibasierten Workloads, egal, ob diese in der Cloud oder On-Premise laufen. Sie wollen dafür Dateiprotokolle wie NFS und SMB nutzen – und zwar besonders in Fällen, in denen Anwendungen verschiedener Anbieter in einem einzigen Workflow zum Einsatz kommen oder Anwendungen die Anforderungen in Sachen Performance haben. Die Dimensionen dateibasierter Workloads wachsen darüber hinaus dramatisch, Kunden müssen, das zeigt sich täglich, immer höhere Datenmengen verarbeiten können.

Künftig wollen Unternehmen, die Multi-Cloud-Umgebungen einsetzen, dass das Verhalten über unterschiedliche Plattformen hinweg konsistent ist. Gleichzeitig möchten sie nicht von Anbieter-spezifischen APIs abhängig sein, die die Datenmobilität einschränken. Organisationen werden für ihre dateibasierten Workloads eine massive Leistung und Skalierbarkeit fordern. Unternehmensfunktionen, wie eine Anwender-basierte Zugriffskontrolle, Quota, Snapshots, Cross-Cluster-Replikation und Support für standardisierte Dateiprotokolle sind außerdem notwendig.

  Wozu brauchen wir künstliche Intelligenz im Dateisystem?

Rabe: Die Echtzeit-Visibilität und -Kontrolle von QF2 basieren auf neuen Technologien, zu denen repräsentative Stichproben der Dateien und Verzeichnisse (teilweise Milliarden oder gar Billionen) gehören. Analyseprozesse antworten dann in Echtzeit auf Anfragen, die bei anderen Systemen Wochen in Anspruch nehmen können. Wir beschreiben QF2 selbst als »intelligentes« Dateisystem, allerdings nicht im Sinne von künstlicher Intelligenz oder Machine-Learning, sondern hinsichtlich der fortschrittlichen Möglichkeiten für eine unmittelbare Statusabfrage und die Meta-Datenanalyse enorm großer Datenmengen.

  Worauf sollten Anwender achten, wenn sie ein High-end-Dateisystem in Betrieb nehmen möchten?

Rabe: Wir sind der Meinung, dass die Frage nach den Filesystemen in Rechenzentren nicht häufig genug hinsichtlich des Total-Cost-of-Ownership (TCO) gestellt wird. Viele Kunden machen den Fehler und schauen nur auf den Preis pro TByte Speicher, nicht auf umfassendere Maßnahmen, die für eine smarte Speicherung notwendig sind. Es gibt eine Vielzahl von Faktoren, durch die sich Qumulo von anderen Speicheranbietern unterscheidet.

Dazu gehören die extrem hohe Leistungsfähigkeit von QF2 im Hinblick auf Echtzeit-Visibilität und -kontrolle, die effiziente Nutzung der Speicherkapazität, die schnellen Wiederherstellungszeiten bei ausgetauschten Platten, Echtzeitkontingente sowie die einfache Installation. Des Weiteren stellen Kunden häufig die Frage nach der Auswahl der Hardware. Zwar liefern wir bei Bedarf eigene Appliances, auf der die Software vorinstalliert ist, Kunden haben aber auch die Möglichkeit bestimmte Server bzw. die gesamte Lösung von Anbietern wie zum Beispiel HPE zu kaufen. Ferner steigt der Bedarf, auch Datei-basierte Anwendungen in die Cloud verlagern zu können. All das ist mit herkömmlichen Dateisystemen unmöglich.