In der Formel E geht es nicht nur um Geschwindigkeit, sondern auch um Nachhaltigkeit. So gibt es unter anderem Obergrenzen für das zu transportierende Gesamtgewicht und die Manpower vor Ort – auch für einen Weltkonzern wie Porsche. Wir sprachen mit Friedemann Kurz, Leiter Motorsport IT bei Porsche und damit auch des TAG Heuer Porsche Formula E Teams, über mobile Rechenzentren und wie die Hybrid-Cloud bei der Datenspeicherung und -Management hilft.

◼ Ihr habt Euch für eine Hybrid-Cloud-Architektur entschieden, warum?

Kurz: Unsere spezielle Herausforderung in der Formel E ist, dass wir ständig in anderen Städten unterwegs sind. Das Setup ist nicht permanent, sondern ändert sich an jedem Veranstaltungsort.

Wir bauen die IT-Infrastruktur vor Ort immer wieder neu auf und betreiben sie ein, zwei, drei Tage für das Rennevent. Nach dem Abbau transportiert die Formel E das gesamte Equipment per Trailer oder Seefracht zum nächsten Rennort. In diesem Kontext ist für uns extrem wichtig, die Daten lokal verfügbar zu haben, falls es Problem mit der Internet-Verbindung geben sollte.

Das heißt, wir können uns nicht ausschließlich darauf verlassen, dass die Daten nur in der Cloud sind. Auf der anderen Seite können wir aber auch nicht einfach alle Daten, die wir verarbeiten nur auf der Edge, also nur am mobilen Datencenter selbst vorhalten. Zwischen den Events wird intensiv gearbeitet, auch in Weissach, der Heimat von Porsche Motorsport. Dort laufen Simulationen und es werden die Daten vom letzten Event analysiert und nachgearbeitet. Wodurch wieder neue Daten generiert werden.

Die Arbeitslast ist daher nach und zwischen den Events konstant hoch. Das heißt, alles, was wir an der Strecke tun, muss zurück nach Weissach und alles, was wir in Weissach tun, muss in der Strecke verfügbar sein. Daher der hybride Ansatz, damit wir sowohl das eine als auch das andere erreichen können.

◼ Wie synchron sind die Daten?

Kurz: Ein Caching-Mechanismus hält die Daten immer komplett synchron. Dabei bildet die Cloud den Single-Point-of-Truth, als zentrales Standbein der Daten. Daten, die zwischen den Events in der Cloud neu generiert wurden, stehen sofort an der Rennstrecke zur Verfügung. Häufig genutzte Informationen cachen wir lokal an der Edge.

Das heißt, wenn wir das mobile Datenzentrum hochfahren, benötigen wir zumindest kurzzeitig eine Internetverbindung für die Synchronisierung. Vielgenutzte Daten speichern wir dabei im Cache, damit diese lokal zur Verfügung stehen.

◼ Wie genau entscheidet Ihr welche Daten lokal zur Verfügung stehen sollen?

Kurz: Eine technologische Lösung auf Basis von NetApp-Produkten mit ONTAP und Global File Cache (GFC) am Edge ermittelt anhand von Algorithmen, welche Daten lokal verfügbar sein müssen. Dies Auswahl wird durch Verhaltensmustern optimiert und die entsprechenden Informationen direkt gecached.

◼ Wie lange hat es gedauert, bis alles eingerichtet war und funktioniert hat bzw. welche Überlegungen habt Ihr vorab angestellt, um das richtige IT-Equipment vor Ort zu haben?

Kurz: Das Konzept ist über Jahre gewachsen, unabhängig von der eingesetzten Technologie. Das Grundprinzip ist ähnlich zu anderen Rennserien, nur nicht ganz so kritisch, wie in der Formel E. In anderen Rennserien sind wir auf permanenten Rennstrecken unterwegs, mit zuverlässigen Internetleitungen. Am Hockenheimring kennen wir die Infrastruktur bestens und wissen, was uns erwartet. Wenn wir aber beispielsweise nach Jakarta kommen, wissen wir nicht zu 100 Prozent, was uns erwartet und wie zuverlässig die Internetverbindung sein wird, die uns bereitgestellt wird.

In anderen Rennserien läuft es einfacher ab, weil wir uns auf eine zuverlässige Internetverbindung verlassen konnten und deswegen war auch Cloud-only möglich. Wenn wir ein paar Jahre zurückgehen, haben wir zum Teil On-Site bzw. On-Edge-only gearbeitet, weil es während der Rennen noch keinen Support aus Weissach gab. Das heißt, im sogenannte Operations-Room unterstützen uns Ingenieure parallel im Test- und Entwicklungszentrum. Dies war erst mit den zuverlässigen Internetverbindungen möglich. Vorher mussten wir immer alles an Daten dabeihaben. Dann kam die die Zeit, in der wir alles in der Cloud vorgehalten haben und wir uns auf ein stabiles Internet verlassen konnten. Dafür haben wir, zugegeben, auch viel bezahlt.

Inzwischen ermöglicht uns die hybride Cloud beides. Wir müssen uns nicht immer zu 100 Prozent auf die Internetverbindung verlassen, haben aber trotzdem die relevanten Daten vor Ort. Für mich ist das eine Evolution, zu unserem heutigen Konzept und in dem Zuge sind wir auch auf Netapp gestoßen.

◼ Wieso genau Netapp?

Kurz: Wir haben in der klassischen Rechenzentrums-Storage-Welt schon immer mit Netapp zusammengearbeitet. Mit dem Einstieg in die Formel E, sind wir mit unseren neuen Anforderungen und Herausforderungen an die bestehenden Partner herangetreten. Und dadurch sind wir auf die Lösung aufmerksam geworden.

◼ Wie lange habt Ihr Eure Lösung in der Form schon in einem im Einsatz?

Kurz: Wir sind live gegangen mit der Generation drei, und die aktuell laufende Saison ist die erste, in der wir die Lösung Full-Stack im Einsatz haben. Aber auch da haben wir uns hin entwickelt, mit kleineren Piloten, beispielsweise für unsere Testumgebung. In Vorbereitung auf die Rennen haben wir im Hintergrund immer noch eine Testumgebung am Laufen. In dieser Umgebung konnten wir die Lösung schon im Vorfeld verfolgen. Vor ein, zwei Jahren liefen bereits die ersten Versuche, wie uns das helfen könnte und vor allem, wie zuverlässig das Ganze dann auch funktioniert.

◼ Was passiert beim Auf- und Abbauen wirklich? Befindet sich das Equipment in einem Truck und muss nur zentral eingestöpselt werden oder ist es aufwendiger?

Kurz: Das wäre für uns das Paradies. Bei Rennserien, bei denen wir wirklich mit der eigenen Logistik an die Strecke gekommen sind, war das so. Da befand sich das mobile Rechenzentrum auf einem Truck, klimatisiert und es war alles sehr stark Plug-and-Play. Einstecken, und wir waren online.

Die Formel E bietet auch hier besondere Herausforderung, denn das komplette Volumen sowie auch das Gewicht der Fracht ist begrenzt und wird auch zentral abgewickelt. Das heißt, wir haben ein Kontingent, welches wir nicht beliebig überschreiten dürfen. Unsere IT wird in einem ganz normalen Container verfrachtet.

Vor Ort packen wir den kompletten Fracht-Container aus und bauen das mobile RZ vor Ort immer wieder neu auf. Vorbereitet sind nur die mobilen Server-Schränke und die vorpräparierte Arbeitsplätze. Die Bildschirme sind Plug-and-Play und müssen nur aufgeklappt werden, plus zwei, drei Steckverbindungen, dann sind die Ingenieure arbeitsfähig.

◼ Ihr seid dann so etwas wie ein IT-Roadie.

Kurz: Absolut, für Nicht-ITler ist eine Band der beste Vergleich. Die spielen auf Tour vermutlich häufiger ein Konzert, aber im Grunde heißt es angekommen, aufgebaut, abgerockt und dann wieder zusammengepackt und ab zum nächsten Event.

Nur muss bei uns jeder Kubikzentimeter Volumen noch akribischer ausgenutzt werden. Das ist Teil der Herausforderung, Tetris für Fortgeschrittene sozusagen. Auch wir als IT müssen das Equipment so kompakt wie möglich halten.

Gewicht sind Kosten. Die Formel E hat ein extrem starkes Interesse, die Nachhaltigkeit zu fördern und ist als Rennserie auch als CO2-neutral zertifiziert. Das heißt, auch von dort kommt immer wieder die Anforderung, so wenig wie möglich Fracht in Anspruch zu nehmen.

Vor fünf bis sechs Jahren hatten wir für unsere Rechenpower zwei bis drei Fullsize-Racks vor Ort. In der Formel E ist davon nun ein Halfsize-Rack übriggeblieben. Die meiste Compute-Power lagern wir in die Cloud aus, damit wir keine leistungsfähigen Server mehr vor Ort betreiben müssen. Auch der Storage wurde deutlich reduziert, weil wir nur noch die Daten cachen, die wir wirklich benötigen. Auch für den Fall eines Internet-Ausfalls, alles andere bleibt in der Cloud.

◼ Wie macht ihr das mit dem Cache und wie viel Speicher habt ihr insgesamt am Rennort?

Kurz: Die Zentrale bildet ONTAP: Das mobile Datencenter geht irgendwo auf der Welt online, verbindet sich mit der Zentrale und prüft den Stand der Daten. Die Anwender sehen im Windows Explorer sofort die aktuellen Daten. Als erstes ist vor Ort die Boxen-Crew zugange, die für den Aufbau das Layout der Boxen benötigt. Dieses haben sie sich vorher in die Cloud geladen. ONTAP merkt nun, diese Daten werden häufig aufgerufen und lädt sie in den Cache. Der nächste mit dem Aufbau beschäftigte Kollege greift dann bereits auf die lokalen Daten zu. Diese Mechanismen laufen im Hintergrund.

Volumenmäßig haben wir immer das aktuelle Event dabei. Wir sprechen hier von größer 300 GByte. Ziel ist es, dass Daten, die für das aktuelle Event generiert wurden, auch immer im Cache bereitstehen, plus vergleichbare Events. Waren wir zum Beispiel im Vorjahr schon auf dieser Stecke, halten wir auch diese Daten lokal im Cache vor.

Mit den vorbereiteten Daten und den Referenzdaten aus den Vorjahren liegen wir rein netto bei einem Speicherbedarf von rund einem TByte. Damit kommen wir lokal gut zurecht, zuzüglich eines Puffers. Wir haben weiterhin eine Storage-Einheit auch im Rack mit integriert, allerdings nicht mehr in der Größenordnung wie früher.

◼ Zum Teil habt Ihr zwei Rennen an einem Wochenende am selben Ort. Die Analyse von Tag eins müsste Euch am zweiten Tag helfen?

Kurz: Ja, das macht es deutlich einfacher. Bei einem Double-Header, also zwei Rennen an einem Wochenende, können wir das, was wir im ersten Rennen lernen, auch gleich im zweiten Rennen wieder umsetzen. Das richtige Fahrzeug-Setup zu ermitteln, ist ein extrem datenintensiver Analyseprozess. Die Ingenieure arbeiten mit den Ergebnissen von Rennen eins, aber auch mit beispielsweise mit sich ändernden Wetterdaten. Das geschieht alles im Hintergrund und muss zuverlässig zur Verfügung stehen.

Pro Rennen, entstehen wie gesagt rund 300 GByte inklusive Videomaterial, je nachdem wo wir unterwegs sind. Das sind keine riesigen Datenmengen, aber eine Übertragung von Jakarta nach Weissach beispielsweise ist dann doch immer wieder eine Herausforderung. Und die zweite Herausforderung: Alle anderen Teams lernen natürlich ebenfalls dazu.

Dafür sind dies auch noch einmal Mechanismen, mit denen wir uns von unseren Wettbewerbern außerhalb der Rennstrecke unterscheiden können. Das heißt, wie effizient sind wir, was Datenanalyse, die Übertragungstrecke und die Verfügbarkeit der Daten angeht.

Zur Effizienz gehören auch Sicherheitsaspekte, wie Verbindungsabbrüche oder, wenn uns externe Attacken irgendwie einschränken würden und dadurch zum Teil sogar Daten verloren gehen. Solche Szenarien könnten ein ganzes Rennwochenende versauen. Die IT ist nicht das Nummer eins Kriterium, aber ein Teil in dem ganzen Spiel, welches nachher den Erfolg mit ermöglicht.

◼ Gab es schon mal Hackerangriffe auf die Formel E?

Kurz: Nicht, dass es mir bekannt wäre. Klar ist aber, wenn man in einem öffentlichen Netz ein Laptop anschaltet, wird man permanent attackiert. Dagegen haben wir auch sämtliche Schutzmaßnahmen ergriffen. Mit dem Einsatz von NetApp-Technologie haben wir schon auf unserem Cloud Volumes Ontap Erkennungs-Tools laufen, die sofort feststellen, wenn auf den Daten etwas passieren würde, was beispielsweise nach einer Ransomware-Attacke aussieht. Sollte entgegen der normalen Verhaltensmuster Daten verschlüsselt werden, würde dies sofort unterbunden. Unser Konzept schließt ein, dass alles, was wir tun, nach aktuellem State-of-the-Art abgesichert ist.

Wir müssen uns darauf verlassen, dass die eingesetzten Technologien und Produkte, Security schon als Feature mitbringen. Bisher konnten wir das ganz gut auf dem Cloud-Volume und den Edges integrieren. Tritt dort ein auffälliges Verhaltensmuster auf, würden wir das sofort erkennen.

◼ Habt Ihr einen ausgearbeitet Notfallplan für so ein Szenario?

Kurz: Es gibt natürlich zu fast allem, was an der Rennstrecke passieren kann, eine Prozedur, auch für das Thema, »was wäre, wenn?«. In dem Fall halten wir diverse Backups vor, mit denen wir Daten auch in kurzer Zeit wiederherstellen können.

Auch da ist die Technologie eines der großen Benefits. Wir arbeiten nicht nur punktuell an einzelnen Stellen in der Cloud oder der Edge, sondern haben auch Backup, Archivierung sowie Emergency-Recovery angeschlossen.

Wir können beim Wiederherstellen der Daten zu einem beliebigen Zeitpunkt zurückspringen. Auch aus dem Aspekt Kosteneffizienz haben wir verschiedene Speichertechnologien an das Cloud-Volume angeschlossen, damit wir zum Beispiel auch direkt das Data-Aging mit verwalten können. Alle Daten, die weniger im Zugriff sind, lagert  Ontap nach und nach in einen Block-Storage (Azure Blob Storage) aus. Dieser ist vom Volumen her sehr kostengünstig, allerdings mit einer langsameren Zugriffszeit, bzw. wird zum Teil sogar über Zugriffe abgerechnet.

Bei wenigen Zugriffen im Jahr ist es für kalte Daten die deutlich preiswertere Variante. Gleichzeitig verwenden wir für Hot Data Premium-SSDs mit entsprechend hohem Datendurchsatz, schnellen Zugriffs- und Verarbeitungszeiten.

◼ Wie lang speichert ihr die Daten?

Kurz: Solange Porsche an der Formel E teilnimmt, behalten wir auch die Daten. Es kann immer sein, dass irgendetwas wieder relevant wird, was wir vor fünf Jahren bei dem Rennen gelernt haben. Hinzukommt: Alles, was wir bei Porsche tun, geht letztendlich auch irgendwann ins Museum über.

Das heißt, selbst für solche Zwecke sind die Daten dann relevant. Im Porsche Museum stehen heute noch die Fahrzeuge von vor 40, 50, 60 Jahren. Damals gab es noch keine IT dazu. In 50 Jahren zeigen wir zu den Rennfahrzeugen vermutlich auch entsprechend viel an Daten, sei es die Telemetrie oder das aufgezeichnete Videomaterial. Letztendlich geht ein gewisser Teil der von uns generierten Daten sehr wahrscheinlich ins Firmenarchiv mit ein.

◼ Was plant Ihr für die Zukunft?

Kurz: Wir sind kontinuierlich dabei zu optimieren und Potenziale zu identifizieren, vor allem, um weiterhin das Gewicht zu reduzieren. Bei gleichbleibender Leistung und ohne die Sicherheit und Zuverlässigkeit einzuschränken.

Wir versuchen die Administration und das Management der ganzen Lösung weiter zu optimieren, weil auch die Manpower beschränkt ist. Die Formel E erlaubt nur eine bestimmte Anzahl an Leuten. Daher wird unsere IT am Rennort nicht von einem Team an Spezialisten betreut, sondern genau von einer Person. Wir beschäftigen quasi eine Art MacGyver, der beim Renningenieur eine Maus austauscht und sich gleichzeitig um das Datenmanagement kümmert.

Unsere Herausforderungen bestehen darin, uns kontinuierlich zu verbessern. Im Rennsport müssen sich alle Wettbewerber ständig weiterentwickeln, wer das nicht schafft, hat spätestens nach dem dritten, vierten Rennen keine Chance mehr mitzuhalten, weil sich alle anderen permanent weiterentwickeln. In meinen Augen lässt sich dies 1:1 auf die IT übertragen.

Weiterführende Links:

• Mehr zum Formel-E-Team Tag Heuer Porsche
• Netapp stellt neue All-Flash-Arrays der AFF-Serie vor
• Viele Fehleinschätzungen in Bezug auf Sicherheit der Hybrid-Cloud