Webinar-Aufzeichnung vom 14.02.2019: Storage-Benchmarks – the good, the bad and the ugly

Webinar-Aufzeichnung: In etwa einer Dreiviertelstunde erläutert unser »Erklärbär« Wolfgang Stief, wo und warum Storage-Benchmarks manchmal mehr und manchmal weniger sinnvoll sind. Wir schauen dazu insbesondere den verschiedenen Benchmarks des Storage Performance Council etwas genauer auf die Finger: Was wird da eigentlich gemessen, kann ich das auch bei mir im Rechenzentrum messen, und was ist eigentlich »$/SPC-1 KIOPS« oder »SPC-2 MBPS«?

»Benchmarking ist grundsätzlich ein Verfahren, um die Leistungsfähigkeit eines Systems zu bestimmen«, sagt Stief. »Im Idealfall lässt sich damit auch die Leistungsfähigkeit verschiedener Systeme zueinander in Beziehung setzen und vergleichen. Neben Benchmarks für CPUs, Computersysteme oder sogar für ganze Unternehmen gibt es natürlich auch Storage-Benchmarks.«

Webinar-Aufzeichnung: Storage-Benchmarks – the good, the bad and the ugly

Benchmarks: Vergleichbarkeit ist die Herausforderung

Herausforderung bei Performance-Messungen ist immer, dass man das zu messende System gut kennen muss, um das passende Messwerkzeug auszuwählen, und dort die richtigen Parameter einzustellen. »Schließlich möchte man mit synthetischer Benchmark-Last möglichst nahe dem Produktivbetrieb kommen«, erklärt Stief. »Ingenieure wissen zudem: Wer misst, misst Mist.«

Das Storage Performance Council (SPC) bietet zur Vergleichbarkeit von Storage-Systemen zwei Benchmarks an: SPC-1 für I/O-lastige Anwendungen (z.B. Datenbanken, Dateisysteme für Benutzer), sowie SPC-2 für Anwendungen, die große Datenmengen bewegen (z.B. Streaming, umfangreiche Datenbankabfragen). Man muss allerdings zahlendes Mitglied im SPC werden (ab 4.000 US-Dollar/Jahr), und kann dann Lizenzen käuflich erwerben (ab 4.000 US-Dollar). Daran haben in der Regel nur Storage-Hersteller Interesse, weshalb man in den Ergebnislisten so gut wie nur Einreichungen von Herstellern sieht.

Hersteller-Benchmarks oft nur Marketing

Ein Hersteller hat immer Interesse, möglichst gute Performance-Werte abzuliefern, um damit Marketing zu betreiben. In der Praxis führt das zu Konfigurationen und Tuning-Maßnahmen speziell für das Benchmarking, die man im eigenen Produktivbetrieb häufig nicht umsetzen kann. Die plakativen Ergebnisse eines SPC-Benchmarks entstehen zudem aus der Mittelung von Mittelwerten der Einzelmessungen. Die Aussagekraft darf deshalb angezweifelt werden. Glücklicherweise muss zu einem Benchmark auch immer ein Full-Disclosure-Report veröffentlicht werden, aus dem dann im Detail die Ergebnisse der einzelnen Messungen hervorgehen. Um diese aber interpretieren zu können, empfiehlt sich ein genaueres Studium der vom SPC veröffentlichten Benchmark-Regularien.