Welche technische Neuentwicklung dürfen professionelle Storage-Anwender als Erstes im neuen Jahrzehnt erwarten?

Thomas Arenz, SamsungArenz: Das dürfte eindeutig PCIe Gen4 sein, denn die ersten zwei SSD-Serien hierfür, unsere PM1733 und PM1735, haben wir mit insgesamt 19 Modellen bereits im Markt für solche Server, die mit AMDs Epyc 7002-CPU ausgestattet sind. Die vollumfängliche Nutzung der Übertragungsgeschwindigkeit von vier PCIe- -Lanes erlaubt Lesegeschwindigkeiten bis zu 8 GByte/s sequenziell und 1,5 Millionen zufällige IOPS. Damit lässt sich die sequenzielle Bandbreite im Vergleich zur Vorläufergeneration quasi verdoppeln, und auch bei den IOPS ist eine deutliche Steigerung festzuhalten.

Abseits der Hardware, die in U.2- und HHHL-Formfaktoren und Kapazitäten von knapp unter 1 bis hin zu 30 TByte verfügbar ist, haben wir auch an der Optimierung der Software gearbeitet und bieten bei diesen Serien drei Innovationen an: »Fail-in-place«-, Virtualisierungs- und Machine-Learning-Technologie.

Flash-Speicher werden intelligenter und smarter

  Was genau ist unter Fail-in-Place zu verstehen?

Arenz: Fail-in-Place ist ein echter Meilenstein, denn es sorgt dafür, dass selbst bei einem Fehler auf Ebene eines Chips die SSD insgesamt verfügbar bleibt. Wenn man sich nun vor Augen führt, dass in einer 30-TByte-SSD 512 NAND-Chips verbaut sind, wird der Nutzen schnell deutlich: Statt die SSD mit allen Konsequenzen im laufenden Betrieb austauschen zu müssen, sorgen interne Fehlerkorrekturen dafür, dass die SSD stabil und mit hoher Performance weiter funktioniert.

Unsere SSD-Virtualisierungs-Technologie wiederum ermöglicht es, eine einzelne SSD in bis zu 64 kleinere Speichereinheiten mit voneinander unabhängigen virtuellen Arbeitsumfeldern aufzuteilen. Das bedeutet zum Beispiel, dass Cloud-Storage-Anbieter mit den gleichen physischen Ressourcen eine größere Anzahl Anwender adressieren können. Außerdem entlasten diese SSDs die CPU bei Single-Root-I/O-Virtualisierung (SR-IOV) und führen dazu, mit insgesamt weniger SSDs und CPUs den gleichen Service-Level zu bieten, was den Server-Footprint insgesamt verringern kann.

Unsere V-NAND-Machine-Learning-Technologie unterstützt schließlich bei der akkuraten Vorhersage von Zellzuständen und entdeckt Anomalien auf dieser Ebene mithilfe von Big-Data-Analysen. Dies wird immer wichtiger für die Datenintegrität, denn steigende Geschwindigkeiten stellen neue Anforderungen an das Lesen und Verifizieren von Daten bei extrem schnell aufeinander folgenden Wechseln der Spannungsimpulse. Nehmen wir eine SSD mit 4-Bit-NAND, das deutlich mehr Kontrolle auf Zellebene erfordert als 3-Bit-NAND, dann sorgt diese neue Technologie für die notwendigen Leistungs-, Kapazitäts- und Zuverlässigkeitsraten für einen sicheren Betrieb im Datacenter- und Storage-Umfeld.

Samsung »PM1733« mit vier PCIe-Lanes

  Sie sagten eingangs, Flash-Speicher wird nicht nur schneller, sondern auch smarter. Was meinen Sie hiermit genau?

Arenz: Seit geraumer Zeit arbeiten wir mit Partnern intensiv daran, unseren Standard-SSDs »smarte« Kollegen an die Seite zu stellen, die durch integrierte Intelligenz dazu beitragen, den Datenverkehr zwischen dem Speichermedium SSD und der CPU zu minimieren.

Die Motivation hierfür entspringt einem schnell wachsenden Problem unserer heutigen Speicher-Architekturen: Die Kapazität der verfügbaren Speichermedien ist in den letzten 20 Jahren etwa acht Mal schneller gewachsen als die verfügbare Bandbreite der Interconnects zur CPU. Wir haben es hier also mit einer massiven Skalierungslücke zu tun, und diese Schere klafft, mit fortschreitender Zeit trotz technischer Fortschritte wie beispielsweise dem eingangs erwähnten PCIe Gen4, immer weiter auseinander. Daher nimmt die verfügbare Bandbreite per TByte auch kontinuierlich ab.

Smart-SSDs: Erste erfolgreiche Proof-of-Concepts

  Wie kann man diesem Dilemma begegnen?

Arenz: Ein neuer Trend zur Lösung dieses Problems heißt »Computational Storage«, was wir hausintern als »Smart SSD« bezeichnen. Dieser Ansatz beinhaltet eine Veränderung der klassischen Storage-Architektur. Stark vereinfacht dargestellt, liefert die SSD in diesem Modell der CPU statt der angeforderten Rohdaten zur Lösung einer Aufgabe gleich die fertigen Ergebnisse der zugrundeliegenden Anfrage.

Insbesondere die heutzutage gerne strapazierten Buzzword-Anwendungen wie AI, Deep-Learning oder Big-Data basieren im Wesentlichen auf der Fähigkeit, Unmengen an Daten zum Beispiel von Sensoren oder aus Datenbanken zu analysieren, Muster zu erkennen und diese in neuen Zusammenhängen nutzbar zu machen. Soll dies aber jetzt in Echtzeit gelingen, muss der Weg von einer Aufgabe hin zur Lösung drastisch beschleunigt werden. Smart-SSDs setzen hierbei auf moderne Arbeitsteilung, wenn Sie so wollen: Statt alle Berechnungen nur auf Ebene der CPU bzw. der Akzeleratoren durchzuführen, kann eine entsprechend erweiterte SSD bereits einen wichtigen Teil der notwendigen Rechenoperationen selbst übernehmen und die CPU hierdurch spürbar entlasten.

In den letzten 18 Monaten haben wir hierfür unsere Mainstream-NVMe-SSD um eine Xilinx-FPGA erweitert und diesen Prototyp bei einer Handvoll ausgewählter Kunden für I/O-intensive Workloads eingesetzt. Einer dieser PoCs war für einen des größten amerikanischen Hedge-Funds. Dieser analysiert fortlaufend und mehrfach pro Sekunde Aktienpreise, mit einem Datenvolumen eines halben EByte. Der hier zugrundeliegende Algorithmus wurde von uns in die Smart-SSD integriert, was den Datendurchsatz mehr als verdreifachte. In diesem high frequency Trading-Umfeld machen bereits Mikrosekunden den Unterschied zwischen vielen Millionen Dollar Gewinn oder Verlust aus.

Ein weiterer Proof-of-Concept (PoC), diesmal mit einer industrie-typischeren Anwendung basierend auf MariaDB, führte zu der Erkenntnis, dass in diesem Fall rund 80 Prozent der angeforderten Daten von der CPU wieder herausgefiltert werden mussten. Auch diese Aufgabe verlagerten wir auf die Smart-SSD, mit einer vergleichbaren Beschleunigung wie im Fall des Hedge-Fund-PoCs.

  Können Sie noch ein weiteres Beispiel nennen?

Arenz: Hier kann ich die Zusammenarbeit mit einer Airline nennen (Spark), diese führte zu einer weiteren wichtigen Erkenntnis: Der Performance-Gewinn von Smart-SSDs ist signifikant skalierbar. Je mehr davon in diesem Umfeld eingesetzt wurden, desto weiter sank die Query-Execution-Time. Moderne Flugzeuge, sogenannte IoT Connected Planes, produzieren PBytes an Daten auf jedem Flug, die nach der Landung in kürzester Zeit von der Fluggesellschaft in einer Art Edge-Datacenter analysiert werden müssen, um das Fluggerät für den nächsten Einsatz wieder freigeben zu können – oder eben auch nicht, was in der Regel zu erheblichen Kosten für Umbuchung, Erstattung oder Unterbringung der Passagiere im Fall einer kurzfristigen Flugannullierung führt. Mit dem Einsatz mehrerer Smart-SSDs konnte hierbei die benötigte Zeit für die Datenanalyse um 90 Prozent verkürzt werden, der Flaschenhals des Interconnect wurde also sehr erfolgreich überwunden.

Diese überzeugenden Ergebnisse haben uns dazu bewegt, den Smart-SSD-Prototyp in ein Produkt zu überführen. Derzeit arbeiten wir mit unseren Partnern daran, die gängigen Datenbanken und auch Application Frameworks beispielsweise für Video-Encoding oder Storage-Offloading über entsprechende Konnektoren in der Smart-SSD unterstützen zu können. Für einen Server sieht eine Smart SSD dabei aus wie ein ganz normaler Xilinx-FPGA und ein NVMe-Speichermedium, sodass Kunden auch ihre eigenen Lösungen hierfür entwickeln können.

Formfaktoren und Standards

  Mit welchen Formfaktoren arbeiten Sie?

Arenz: Unser Prototyp war noch als Add-In-Card mit diskreten FPGA, PCIe-Switch und SSD-Controller aufgebaut. Nun arbeiten wir daran, den FPGA in den SSD-Controller zu integrieren und ein fertiges Produkt im U.2-Formfaktor anzubieten. Erste Samples sollten in den kommenden Monaten verfügbar werden.

  SNIA hat soeben eine Standard-Spezifikation für »Key Value Storage« verabschiedet. Was steckt hier genau dahinter?

Arenz: Hauptziel einer KV-SSD ist es, die Arbeitslast beim Zugriff auf Daten von der CPU direkt auf die SSD zu verlagern, was diesen Vorgang massiv beschleunigen kann. Allerdings werden hierbei keine Rechenoperationen innerhalb der SSD vorgenommen, sondern der Umgang mit den Daten ändert sich.

Eine »normale« SSD zerlegt die ankommenden Daten in Blöcke, und vor jedem Schreibvorgang wird noch der Zielblock aktiv gelöscht. Dabei stößt der Schreibvorgang zwei Prozessschritte an: Die logische Blockadressierung (LBA) und die physische Blockadressierung (PBA). Dieser Vorgang ist auch für den Alterungsprozess der SSD verantwortlich. Lesen geht immer, während beim Schreiben eine Materialermüdung entsteht.

Key-Value-Technologie erlaubt dagegen das objektbasierte Speichern von Daten, ohne dass diese zuerst in Blöcke zerlegt werden müssen. Stattdessen wird ein Schlüssel (Key) vergeben, der das zu speichernde Datenobjekt (Value) unabhängig von seiner Größe referenziert und eine Adressierung unabhängig vom Speicherort erlaubt und größere Skalierungsraten ermöglicht.

Die Vermeidung der LBA- und PBA-Schritte beschleunigt aber nicht nur die Datenzugriffe, sondern erhöht gleichzeitig auch die Lebensdauer der einzelnen SSDs. Da nicht mehr in Blöcke zerlegt wird und das Schreiben in viele kleine Blöckchen entfällt, minimiert sich der sogenannte Write-Amplification-Factor (WAF). Die Höhe des WAF hängt von der Flash-Technologie und der Controller-Intelligenz ab, weswegen in der Praxis unterschiedlich viele Total-Bytes-Written (TBW) zur Verfügung stehen. Generell gilt, je kleiner der WAF, desto besser und desto länger die Lebensdauer der SSD.

  Welche Voraussetzungen benötigt die Key-Value-Technologie?

Arenz: Neben einer Key-Value-SSD mit entsprechender Firmware auch die entsprechende API zur Anbindung an die Applikation. Samsung arbeitet schon seit einer Weile an diesem Thema und stellt entsprechende Open-Source-Software inklusive der Librarys und Treiber zur Verfügung, außerdem ein Ceph-Backend zum Experimentieren. Außerdem unterstützen wir die von der SNIA spezifizierte Standard-API für Key-Value-Drives (»Key Value Storage API 1.0«).

Status Mission-Peak und NVMe-oF

  Stichwort Beschleunigung und Skalierung: Letztes Jahr hatten wir uns an dieser Stelle intensiv mit dem Thema NVMe-over-Fabrics (NVMe-oF) beschäftigt.Können Sie uns hierzu noch ein Update geben?

Arenz: Korrekt, letztes Jahr hatten wir ein komplettes System namens Mission Peak vorgestellt, dass wir zusammen mit Ecosystem-Partnern als PoC bei e-shelter bereitgestellt hatten. Der NVMe-oF-Ansatz dieses Systems basierte auf RDMA, einer hoch performanten, aber technisch auch recht anspruchsvollen Umsetzung.

Mittlerweile ist auch das quasi überall eingesetzte TCP als Fabric-Plattform nutzbar, denn die jüngste Version der Spezifikation hierfür (NVMe-oF 1.1) schließt die Unterstützung von TCP als Transportverbindung mit ein.

Zur Erinnerung: NVMe ist ein modernes Speicherprotokoll, das alle Vorteile heutiger SSDs nutzbar macht, insbesondere im Hinblick auf Datendurchsätze und I/O-Geschwindigkeiten. NVMe-oF wiederum hilft dabei, die Performance-Lücke zwischen DAS und SAN zu schließen, indem SSDs in einem entfernten Host System mit ähnlicher Performance genutzt werden können wie solche, die im lokalen Host-System verfügbar sind.

Der besondere Charme des Ansatzes von NVMe/TCP besteht darin, dass es mit existierenden Routern, Switches, Adaptern und anderer Standardausrüstung in diesem Umfeld genutzt werden kann. Normalerweise vereinfacht das die Installation, minimiert Ausfallzeiten und verringert die Kosten der Einführung im Vergleich zu anderen Ansätzen wie RDMA oder Fibre-Channel spürbar, da kein neues Equipment angeschafft werden muss. Deshalb gehen wir davon aus, dass sich der Storage-Markt jetzt noch intensiver mit diesem Thema beschäftigen wird.

  Zusammengefasst geht es also bei all diesen erwähnten Ansätzen um eine massive Beschleunigung von Speicherzugriffen und Verarbeitung der Daten.

Arenz: Das ist absolut korrekt, und wir arbeiten hart daran, mit immer neuen Innovationen dafür zu sorgen, dass die Ebene des mittlerweile sehr bewährten Flash-Storage im professionellen Einsatz mit den rasch ansteigenden Anforderungen auf Anwendungsseite Schritt halten kann.