Filmarchiv, Formate und Wiedergabe

Ok, ich seh schon, zwei Lager Die Haptiker: legen lieber die Disk ein und gehen an der gut sortierten Regalwand vorbei. Die - sagen wir - Nerdigen: alles auf Festplatten und schön mit Videowall zum Stöbern. Zu letzteren zähle ich mich dann mal Ist übrigens keine Wertung, in Sachen Haptik ziehe ich die Schallplatte der digitalen Musik (tatsächlich wegen des "Handlings") vor. Tenor ist ab: wenn auf Festplatte, dann unkomprimiert. Passt, da muss ich mein Storage wohl bei Zeiten wieder vergrößern.

Zum Thema Sicherung und Haltbarkeit: da ich aus der IT-Branche kommen, gibt es tatsächlich klare Erfahrungswerte. Vielleicht hilft das dem ein oder anderen weiter:

- Optische Medien: die Haltbarkeit ist teilweise durchaus enorm (50-70 Jahre sind da drin) , ABER: nur bei den richtigen Lagerungsverhältnissen. Das heißt: konstant kühl und dunkel - was erklärt warum hier in der Heimkinogemeinde die Lebenserwartung von optischen Disks deutlich höher ist. Die meisten werden ihre Lieblingsfilme wohl in höherer Qualität kaufen, bevor die DVD oder BluRay das zeitliche segnet. Allerdings: aktuell wohnen wir noch in einer Wohnung, die Filme wären hohen Temperaturschwankungen und großer (wenn auch indirekter) Helligkeit ausgesetzt. Wir wohnen in der 4. Etage eines Mehrfamilienhauses - Süd-West-Lage, kein Baum oder sonstiges was Schatten bietet. Temperaturen bis zu 30 Grad im Sommer (27-28 Grad mit Klimaanlage...) Daher habe ich bei DVDs die ersten Ausfälle. Im kühlen Kellerkino werdet ihr lange Freude an den Medien haben.

- Festplatten: Punkt 1 - Raid ersetzt kein Backup Wer also sicher sein möchte, sichert seine Daten (nicht nur Filme natürlich) auf ein zweites System, am besten in einem anderen Raum. Man kann auch mit rotierendem Wechsel von Festplatten arbeiten. Oder eine Mischung aus beidem. Bei mir kommen zwei Speichersysteme zum Einsatz sowie eine zusätzliche Disk für die wirklich wichtigen Daten, also Fotos (wenn die Babyfotos weg sind, bin ich geliefert), gescannte Dokumente etc. Beim Raid gilt: bis 1 TB kann man ein Raid 5 einsetzen, ab 2 TB sollte man über Raid 6 (oder andere Double-Parity) nachdenken, ab 3 TB wird es Pflicht auf Raid 6 zu setzen. Was natürlich immer geht, ist spiegeln, aber auch da würde ich bei großen HDDs Abstand von nehmen. Warum ist das so? Der Rebuild einer ausgefallenen Festplatte benötigt ca. 16-24 Stunden pro TB. Heißt also: eine zwei TB HDD benötigt zwischen 32 und 48 Stunden (je nach Last auf dem System) für die Wiederherstellung. Während dieser Zeit laufen die anderen Datenplatten auf Volllast. Die Wahrscheinlichkeit, dass dann eine zweite Platte die Grätsche macht, ist entsprechend hoch. Passiert das, ist keine Rettung mehr möglich. Womit man bei einem Raid 6 angekommen ist - besser Raid-Z2 (was ähnlich dem Raid-6 ist).

Bei mir läuft aktuell ein FreeNAS (virtuell) auf Server 1 mit 8x3TB (ist nicht optimal, besser wären 6 oder 10 Disks - aber Performance ist hier nicht entscheidend ) und ein Backup FreeNAS (auch virtuell) auf Server 2 (den ich nur zu Testzwecken oder halt für das Backup nutze). Auf dem zweiten Server kommen 6x4TB zum Einsatz. Die Filme sind somit relativ gut gesichert, wie man merkt zielte meine Frage klar auf die Vermeidung von Speicherplatz allgemein ab, aber unkomprimiert gewinnt hier

Soweit meine 5 Cent zum Thema Datenablage Und bitte bitte: kauft keine 12 TB HDD und spiegelt die nur, das ist echt ne riskante Angelegenheit, spätestens nach 3-5 Jahren zeigen physikalische Disks Abnutzungserscheinigungen und gehen gerne mal schnell hops. Ist mit mir einer 4TB HDD auf dem Backup-System so gegangen und auch eine der 3 TB HDDs im Primärsystem hat nach 2 Monaten ohne Vorwarnung den Dienst verweigert. Und dann sollte man einen Plan haben

Zitat von Netzteil

Ich höre immer wieder, dass man weg vom RAID6 geht. Woher kommt deine Empfehlung, "ab 3 TB wird es Pflicht auf Raid 6 zu setzen."?

Rebuild pro TB >16h? Was sind das für langsame Platten und was ist das für eine langsame CPU? Wenn ich raten müsste: Synology?

Wie auch von dir beschrieben, würde ich folgende Variante bei sehr großen Datenmengen vorschlagen:

2x12TB im RAID1, welches regelmäßig auf ein separates, örtlich woanders stehendes RAID1 mit 2x12TB gespiegelt wird. ODER Backup auf eine 12TB Platte und zusätzlichj noch auf eine andere, nicht im selben System hängende 12TB Platte.

Und da stimme ich dir auch zu: Klar kann man 4x8TB o.ä. im RAID5 fahren - da kommt aber die Statistik dazwischen. Umso mehr Platten rödeln, umso schneller kann was kaputt gehen. Und ja, die Platten heutzutage sind nach wenigen Jahren durch. Die Dinger haben mittlerweile eine überschaubare MTBF. Von daher würde ich persönlich alle 3 Jahre die Platten austauschen... und nicht so oft hoch und runter fahren bzw. in den Standby nach 10min schicken.

Alles anzeigen

Mea culpa: da habe ich schon wieder falsche Zahlen im Kopf gehabt - hab kurz vor Weihnachten noch Datenblätter gewälzt. 4TB benötigen ca. 5-6 Stunden, somit liegen wir bei 12 TB bei insgesamt 15-18 Stunden Rebuild. Ich bin Berater für File-Storage Systeme bei Dell, die Zahlen kommen i.d.R. von schnell drehenden SATA Platten (7200 RPM). Das Problem beim Rebuild ist einfach dass jeder Block gelesen, kalkuliert (das geht noch am schnellsten) und dann wieder geschrieben werden muss. Dieser Aufwand wird bei einem klassischen Raid für die ganze Platte durchgeführt - egal ob Daten auf der Spur sind oder nicht. In Peta- oder Exabyte Systemen wird daher schon auf Erasure Coding gesetzt, statt auf klassisches Raid. Das ist quasi auch ein Raid, aber auf Dateiebene. Man verwendet dann eine feste Stripe-Size, was bedeutet, dass man ein MKV mit sagen wir 12 GB in extrem viele z.B. 128kB große Stripes aufteilt, diese dann mit Paritydaten anreichert und auf allen Platten im gesamten Verbund (werden schnell mal über 1000 Platten) verteilt. Bei 128k würde man dann 16x 8k Blöcke erstellen, diese dann mit sagen wir zwei weiteren Parity Blöcken auf insgesamt 10 Blöcke anreichern und diese verteilen. Die ersten 10 Blöcke auf Platten 1-10, die nächsten auf 11-20 etc. bis man wieder bei Platte 1 anfängt. Fällt eine Platte aus, werden die Blöcke auf die verbliebenen Platten restriped. Damit geht das deutlich schneller (weil alle Platten am Restore beteiligt sind) und man merkt als Benutzer nichts (wird auch nicht langsamer). Das nur so am Rande, weil eben diese 12 TB HDDs auf Grund der Physik (und die kann man nicht überlisten) nicht mehr möglich ist.

Bei dem Start-Stop bin ich absolut bei dir - Standby wirklich nur nachts, tagsüber macht das keinen Sinn, das geht ziemlich auf die Haltbarkeit der Platten. Tatsächlich hast du mit der Statistik auch Recht: mehr Disks heißt mehr potentielle Fehlerquellen, daher muss man einen guten Mittelweg finden. Es macht auch keinen Sinn, 18x 1TB in ein Raid-6 zu packen, da ist die Ausfallwahrscheinlichkeit zu hoch und selbst beim schnellen Rebuild ist es wahrscheinlicher dass bei der Menge Platten gleich noch zwei weitere die Grätsche machen. Daher auch der Tip: 4+2 oder 8+2 (hat was mit den Full Stripe Writes zu tun). Wobei im privaten Bereich auch andere Kombinationen möglich sind. Meistens ist das Netzwerk ohnehinzu langsam um das Storage ins Schwitzen zu bringen.

Nach 3 Jahren austauschen würde ich die Platten nicht, aber zumindest schon mal eine Ersatzplatte beim Dealer meiner Wahl auf der Wunschliste mit Next-Day-Delivery

Zu deiner Frage, Robert: bei den angestrebten 12 TB würde ich mit 4TB HDDs arbeiten, aber dann lieber 6x 4TB im Raid 6, hab ich genauso bei mir laufen. Man sollte die Dinger sowieso nicht mehr als zu 80 % füllen - ansonsten wird (um mal bei einem Filmbeispiel zu bleiben) aus einem Film eine Diashow. Also lieber etwas mehr rechnen und dann den ganzen Kram auf (meinetwegen per USB an das Storage angeschlossene) 12 TB Disk kopieren - also Backup. Das stellt einen guten Mittelweg zwischen Kosten und Sicherheit dar. Natürlich ist der Lösungsvorschlag von Netzteil auch valide: 2x 12TB im Raid 1 mit der 12 TB Backup-Platte, nur das Backup nicht vergessen

Apropos Film zur Diashow: die Performance von drehenden Platten nimmt ab 20 % Füllgrad kontinuierlich ab - ist übrigens auch der Grund, warum alle Hersteller ihre Benchmarks nur mit bis zu 20 % der Daten, die auf das Storage drauf passen. durchführen Das liegt daran, dass die meisten Hersteller auf dem äußeren Rand der Scheibe mit dem Schreiben der Daten anfangen. Da die Rotationsgeschwindigkeit außen wie innen konstant (5400 oder 7200 RPM) ist, kommen außen unter dem Lesekopf mehr Daten vorbei geflogen als innen. Je mehr Daten ich auf eine Platte schreibe, um so weiter gehe ich nach innen. Dazu kommen Latenzen durch eine weitere Bewegung des Lesekopfs (der muss bei 80 % Füllstand weiter schwenken als bei 20). Deshalb werden die Platten langsamer, was auch ein Grund für die Problematik mit den stetig größer werdenden HDDs ist...

Zitat von Lando2081

Genau. einfach spiegeln und bei defekt wird ausgewechselt. Sehe den Sinn von kleinen Platten nicht

Weil die Wiederherstellungszeit bei 12 TB HDDs 3x länger ist als bei 4TB HDDs. Und ich hab den Super-GAU schon hinter mir, als ich meiner Frau erklären musste, dass eventuell einige von unseren Fotos (Hochzeitsreise, erstes Baby u.a.) weg sind - da ich ein "Cold-Backup" verwendet habe (also das Backup-System oft heruntergefahren und ausgeschaltet war) kam das leider nicht sauber hoch. Das primäre Raid(-5) hatte sich verabschiedet und beim Rebuild einer 4TB HDDs ist mir nach 6 Stunden die zweite Disk abgeraucht. Ich bin daher ein gebranntes Kind. Bei 12-16 Stunden Rebuild (Zahlen gelten nur, wenn sonst nichts auf dem System läuft, wovon im privaten Bereich auszugehen ist) wäre mir das zu heiß... daher meine Empfehlung.

Zitat von Moe

Ich habe dafür einfach immer eine Hot-Spare Platte am Start, das wäre mir zu stressig, dann schnell für Ersatz zu sorgen. Ab einer gewissen Datenmenge kommt man um große Platten nicht drumherum im Consumerbereich finde ich. Aktuell nutze ich 8TB und werde sicher in 1-2 Jahren, wenn die alle so 3-5 Jahre alt sind suxzessive auf 14 oder 16TB umschwenken.

Das kannst du dir bei der nächsten Runde ggfs. sparen, aktuell sind die SSD Zahlen so dermaßen im Sinkflug... wenn du vielleicht noch etwas länger durchhältst, kannst du dann auf 8 oder 16TB SSDs gehen. Nicht wegen der Performance, sondern wegen der geringeren Fehleranfälligkeit sowie dem nahezu nicht vorhandenen Stromverbrauch. Die neuen SSDs sind quasi wie geschaffen für Video-Speicher: wenig schreiben, oft lesen.

Zitat von Moe

Das sehe ich für ~15-20€/TB noch nicht kommen Da ich zudem Fotos und Dokumente zusätzlich auf einer Backup-USB-SSD speicher und zusätzlich 1x im Monat 100km entfernt auf der NAS eines Freundes, lebe ich mit dem Risiko die Filme einzubüßen auch wenn es bitter wäre. Wenn die SSD wirklich in den Preisrahmen kommen, denke ich da natürlich dann gern drüber nach. Bei aktuell 18 Platten ist der Preis aber auch nicht völlig egal

Ja, aktuell ist das echt noch zu teuer, steht in keinem Verhältnis. Und die Idee mit den wichtigen Daten außer Haus haben ein Kumpel und ich auch. Beide FreeNAS, dann einmal die Daten replizieren und danach nur noch ein inkrementelles Backup vice-versa. Er zu mir, ich zu ihm. Damit sind die Fotos, wichtige Unterlagen etc. gesichert. Und da kommen dann nur 1-2 TB zusammen, wenn überhaupt. Bin ansonsten voll und ganz bei dir: die Filmsammlung zu verlieren wäre ärgerlich, aber den Rest zu verlieren wäre ein Super-GAU - das kann ich mit der Bar im Haus für meine Frau auch nicht wiedergutmachen