Videodateien: 3 TByte/Monat möglichst kostensparend speichern
Leserfrage: Wir sind ein Händler und produzieren Youtube-Videos für Bastler und Hobbyisten. Im Moment speichern wir alle Rohdateien, da wir manches für zukünftige Erklär-Videos recyclen wollen. Aber so kommen jeden Monat mal schnell 2 bis 3 TByte dazu. Unser kleines NAS ist bereits am Ende.
Für unseren 5-Mann-Betrieb ist dies bereits ein erschreckendes Datenvolumen und nun suchen wir einen Weg diese große Datenmenge bezahlbar zu sichern. Tempo ist nicht das Problem. Zugriff benötigen wir im Prinzip auch nur ein bis zwei Mal. Zur Wahl stehen Cloud-Speicher, das NAS mit größeren Festplatten erweitern oder einen Server mit vielen HDDs aufbauen? Wir sind uns nicht sicher, in welche Richtung wir gehen sollen, deswegen würde uns jeder Tipp helfen.
Antwort Doc Storage:
2 bis 3 TByte sind eine sehr ordentliche Datenmenge. Da wir mit dem Fragesteller noch weiter konferiert hatten, wissen wir, dass mit drei bis vier Kameras gedreht wird und so bis zu sechs Stunden Videomaterial zusammenkommen. Das Anliegen hat natürlich sofort zu einer Diskussion innerhalb der Redaktion geführt und nachdem unser Chefredakteur die Frage im letzten Freitags-Newsletter angeschnitten hatte, erreichten uns direkt auch weitere Leserzuschriften.
Vielen Dank dafür! 🙏
Entgegen meiner üblichen Gepflogenheiten, halte ich mich zurück und fasse die eingereichten Vorschläge zusammen. Jedenfalls zunächst.
Unsere erste Gegenfrage lautete natürlich, wie bezahlbar zu definieren sei? Aber wir können uns vorstellen, was gemeint ist. Gesucht ist keine Profi-Business-Lösung, sondern eher etwas aus der Kategorie ambitionierter Home-User.
Bei 3 TByte monatlich kommen übers Jahr gesehen 36 TByte zusammen. Da schließen wir einen Cloud-Speicher direkt als zu teuer aus.
Eine 10-TByte-Festplatte kostet zwischen rund 250 bis 300 Euro. 16 TByte liegen bei 360 bis größer 400 Euro. Diese Kosten wären schon mal fix.
8-Bay-NAS als Ideallösung
Grundsätzlich würden wir zu einem 8-Bay-NAS (ca. 1.000 Euro) raten. Eine RAID-5-Konfiguration schützt beispielsweise vor Datenverlust beim Ausfall einer Festplatte und mit acht Einschüben könnte man mit vier oder fünf HDDs starten und hätte noch Luft zum Nachlegen. Über die Zeit summieren sich aber die Kosten. Knapp kalkuliert würde sich ein 8-Bay-NAS mit fünf 8-TByte-HDDs auf rund 2.000 Euro belaufen. Um es vorweg zu nehmen, zu teuer für unseren User.
Speicherung auf Single-HDDs als Alternative
Eine Festplatte kann immer kaputt gehen, aber eigentlich ist das Risiko überschaubar. In diesem Beispiel halten wir es für verschmerzbar, falls eine bestimmte Anzahl an Videos verloren gehen sollte. Zumal wir uns mit dem User darauf verständigt haben, dass die Halbwertszeit der Videos nach spätestens zwei gegen null tendieren.
Anstelle eines NAS lautet die Alternative, Speicherung auf einzelnen Festplatten. Hier empfehlen wir den Einsatz einer Quickport-Dockingstation. Da müssten es auch keine 10-TB-HDDs sein, sondern es genügen kleinere und günstigere. Dann wären im Zweifel auch nicht so viele Daten weg. Diese Art der Speicherung erschwert allerdings das Wiederfinden einzelner Videos.
Zwischenschritt und Spiel auf Zeit
Antwort des Lesers: »Da ich mich noch nicht endgültig für eine richtige Lösung entscheiden konnte, habe ich einen Zwischenschritt gemacht. Gerade habe ich für je 130 Euro zwei Desktop-Festplatten WD My Book 8 TB mit USB 3.0, Passwortschutz und automatischer Backup-Software bestellt. Somit steht zunächst ein Backup-Volumen von 16 TByte zur Verfügung und ich habe Zeit mich zu entscheiden. Betrieben werden die Platten in dem externen 4-fach-Gehäuse FANTEC QB-35U31 (ca. 138 Euro).
Netzwerkspeicher im Selbstbau
Da ich gerne auch mal bastele und im Winter mehr Zeit habe (Saisongeschäft, im Winter ist es ruhiger), will ich vielleicht ein großes NAS selber bauen. Wir haben hier einen ungenutzten Rechner rumstehen, mit Xeon-Prozessor und 16 GByte RAM. Der Rechner ist mit einem guten Mainboard ausgestattet und ein vernünftiges Netzteil und ein Gehäuse für sechs bis acht Festplatten kriege ich für rund 150 Euro.
Nach dem Weihnachtsgeschäft würde ich vier bis fünf 8-TByte-HDD (NAS Edition) kaufen und zum Beispiel mit OpenMediaVault arbeiten. Dann hätte ich für rund 1.000 Euro ein richtig großes und performantes System. Was haltet Ihr von der Idee?
Youtuber-Use-Case: Videoarchiv auf einzelnen HDDs im Peli-Case
Unser Spezl Alex Feldmann, Kameramann, Videoproduzent und Betreiber des Youtube-Kanals moviemaniacsDE, hat nahezu identische Anforderungen. Nur, dass er seine Videos quasi für immer aufbewahrt. Sein Kommentar zu dem Anwenderbeispiel: »Ich produziere ja ähnlich viel oder auch manchmal mehr. Ich mache von dem neuen Material (nach einem Dreh, Pressematerial, ...) eine Kopie auf die aktuelle Arbeitsplatte und gleichzeitig als Backup aufs RAID. Je nach Sicherheitsanforderungen, wäre noch ein automatisches spiegeln woandershin möglich.
Wenn ich das Material zum Schnitt nicht mehr benötige, lösche ich es am Arbeitsvolume, dann lebt es noch am RAID. Und alle paar Monaten schiebe ich die alten Sachen vom RAID auf zwei Platten. Eine davon bewahre ich bei mir auf und eine außer Haus. Insgesamt habe ich so zirka 200 TByte in einer Art Cold-Storage, aber noch immer im schnellen Zugriff, wenn ich was vom alten Material brauche.
Archivfestplatten im Peli-Case (Bild Alex Feldmann)Die alten Platten packe ich in Hüllen und verstaue sie in sogenannten Peli-Cases. Eine aktuelle 16-TByte-Platte würde dem Anwender für sechs Monate reichen, dann ist so ein Koffer in fünf Jahren voll. Wenn ich mal Material von einer alten Platte benötige, stecke ich die einfach in ein externes USB-Gehäuse und kopiere mir die Daten.
Um Sachen wiederzufinden helfen sprechende Ordnernamen. Außerdem nutze ich eine einfache Bilddatenbank, die auch mit externen Laufwerken und Videos umgehen kann (das tun fast alle). Sobald ich eine externe Platte voll habe, lass ich diese von der Bilddatenbank einscannen und vergebe zudem Metadaten und Schlagworte um Videos wiederzufinden.«
NAS im Selbstbau auf Open-Source-Basis
Von Jan, einem ebenfalls langjährigen Follower von speicherguide.de, erreicht uns folgender Ratschlag: »Dieser Beitrag über Open-Source-NAS-Betriebssysteme ist ein guter Startpunkt.
Ich würde mir eines dieser Systeme herausfischen und auf einen ECC-Server (gegebenenfalls tut es auch ein günstiger AMD EPIC) setzen, mit mindestens 64 GByte RAM und sechs bis acht 16-TByte-Platten (SATA) sowie einer 1-TByte-SSD (lahme SATA/NVMe) für das OS und zwei kleine Cache-SSDs mit je 500 GByte (schnelle PCIe-4 4 Lane Pflicht!).
Der Autor der Wahl zum Aufbau des cached ZFS (ggf. etwas an den Vorgaben der Klickie-Bunti-GUI des NAS vorbei) heißt Michael Plura. Der hat bei iX mal einen schönen Artikel zu beschleunigtem ZFS-RAID geschrieben.
Bei der Nutzung würde ich empfehlen, neben SMB – wenn Zeit ist und Performance eine Rolle spielt – NFSv4 zu testen. Dadurch lassen sich die Übertragungsraten gleich mal verdoppeln, je nach Anwendungsfall.
Auch mehrere SMB-Server (VMs) auf der Maschine können gegen die Protokolleinfalt aus Redmond Wunder wirken...
Auf der Netzseite helfen entweder 10 GbE oder Bundeling von vier Gbit-Ethernet-NICs. Je nach Portokasse... Viel Spaß und viel Erfolg
---------------
Was haltet Ihr von den Vorschlägen? Wie würdet Ihr die Anforderung lösen? Ich freue mich auf Eure Antworten.
Gruß
Doc Storage
- Doc Storage: Was ist eine Shared Nothing-Architektur?
- Doc Storage: Was ist ein Ingress- und Egress-Datenverkehr?
- Doc Storage: Unterschiede der Performance-States von SSDs
- Doc Storage: SSDs: Was ist mit den Schreibzyklen, wenn SSDs fast voll sind?