Hi zusammen,
da ich mich in den letzten Tagen nochmal mit den neuesten Features von unRaid beschäftigt habe, wollte ich meine Erfahrung mit Euch teilen und wäre natürlich auch an Erfahrungsaustausch mit weiteren unRaid Usern interessiert.
Was ist unRaid?
unRaid ist eine kostenpflichtige DIY-NAS Software, die aus praktisch jedem PC ein funktionsreiches NAS macht.
Kernfeatures, Vor- und Nachteile
- In der Pro Version können bis zu 30 Festplatten genutzt werden
- Es können verschiedene Festplatte-Größen und Hersteller gemischt werden
- Daten verbleiben lesbar auf den Platten (im Gegensatz zu z.B. einem klassischen RAID 5), Parity Informationen sind auf einer/zwei Platten zusammengefasst.
- Es können zwei Parity Platten genutzt werden (Kapazität dieser muss >= der größten Daten-Platte sein): Bei einer Platte gibt es Ausfallsicherheit für eine Platte im Verbund, bei 2 Parity Platten können zwei Festplatten gleichzeitig ausfallen ohne das Datenverlust droht
- Lesegeschwindigkeit: Alles was das Netzwerk/Hardware hergibt
- Schreibgeschwindigkeit: Durch on-the-fly Erzeugung von Parity Informationen langsamer. In der Grundkonfiguration ca. 35Mb/s, optimierbar durch Einsatz von Turbo-Write oder Cache-Drives auf ca. 80Mb/s bzw. alles was das Netzwerk/Hardware hergibt (siehe unten)
- Durch Docker Container und Virtuelle Maschinen (VMs) kann das NAS für nahezu beliebige weitere Zwecke genutzt werden, die auf dem NAS dabei immer im Zugriff
- SMART Monitoring mit Benachrichtigungsfunktion (Indikatoren das eine Platte stirbt)
- Eigenes, Linux-basiertes Betriebssystem (Boot von USB Stick) -> keine Probleme mit Windows-Updates etc.
- Die Benutzerfreundlichkeit ist ok - aber man muss etwas Zeit und Lust mitbringen, sich einzuarbeiten. Es gibt aber für alles gute Dokumentationen.
Ich selber habe unRaid seit ca. 10 Jahren im Einsatz und es läuft absolut zuverlässig.
Hardware
Prinzipiell kann jede Linux-fähige Hardware verwendet werden. Dennoch gibt es ein paar Tipps und auch bei der Festplattenauswahl ein paar Punkte zu beachten:
- Mainboard - Headless Betrieb: Da das NAS zur Einrichtung und ggf. späteren Wartung vielleicht nicht mehr einfach zugänglich ist (Einbau im Rack etc.) nutze ich ein IPMI Mainboard (Supermicro X10SL7-F). Das ermöglich "Headless"-Betrieb indem die Bildschirmausgabe über eine separate Netzwerkschnittstelle per Browser übertragen wird. BIOS Einstellungen etc. kann alles per Browser erledigt werden, es ist zu keinem Zeitpunkt nötig einen Bildschirm oder Maus/Tastatur anzuschließen
- Mainboard - SATA-Ports: Beim Mainboard auch auf die Anzahl der S-ATA Anschlüsse achten. Das genannte Supermicro hat z.B. 14 Stück onboard und ist damit schonmal sehr gut ausgestattet.
- SAS-Controller: Erweiterung der S-ATA Ports kann über SAS-Controllerkarten erfolgen. Hier muss man aber genau recherchieren, welche funktioniert! Manche benötigen ein händisches Flashen einer modifizierten Firmware, andere laufen aber auch "out of the box".
- CPU: CPU je nach Einsatzzweck - für reines NAS reicht eine günstige 2-Kern CPU, will man VMs etc. installieren ggf. lieber potenter auslegen
- Gehäuse: Die Festplatten müssen irgendwo hin - beim Gehäuse daher Augen auf und die Anzahl der freien 3,5" Schächte prüfen. Alterantiv entweder gleich ein Servergehäuse mit vielen 3,5" Festplatteneinschüben, oder Festplattengehäuse die sich in reguläre 5,25" Schächte installieren lassen (z.B. RaidSonic Icy Box).
- Festplatten: Seit einiger Zeit bieten die Hersteller eine Reihe an unterschiedlichen Festplatten-Serien für verschiedenste Einsatzzwecke. Vor allem aufpassen muss man hier auf den Unterschied in den Aufnahmemethoden: Für NAS kommen nur CMR (Conventional Magnetic Recording) Platten in Frage! Seit einem Urteil vor Kurzem müssen die Hersteller das zum Glück nun explizit ausweisen, welche Aufnahmeart die Festplatte hat.
- Kabel: Hier gilt es aufzupassen. Bei Desktop Hardware gute, geschirmte S-ATA Kabel nutzen. Kommt Server Hardware, d.h. konkret ein Servergehäuse mit Festplatteneinschüben und SAS Backplanes oder vergleichbare 5,25" Gehäuse zum Einsatz werden sog. Break-Out Kabel benötigt. Diese machen aus einem SAS-Anschluss 4 S-ATA Anschlüsse. Allerdings sind alle Break-Out Kabel Einbahnstraßen-Kabel! Man muss genau wissen, an welcher Anschluss an welchem Ende sitzt. Jenachdem werden Forward-Breakout oder Reverse-Breakout Kabel benötigt!
Ich selber nutze folgende Hardware erfolgreich:
- Mainboard: Supermicro X10SL7-F
- CPU: Intel i3 4150
- 4Gb RAM
- Gehäuse: Fantec SRC-4240X07 Servergehäuse mit 24 HDD Einschüben
- Festplatten: Aktuell 21 Western Digital Festplatten mit 92.5TB Gesamtkapazität (brutto). Serie Green, Red und HGST.
- S-ATA Controller: Supermicro AOC-SASLP-MV8 SATA Controller
- Kabel: Reverse(!) Breakout Kabel zum Anschluss an Backplane des Gehäuses
Generelle Konzepte
- Parity vs. Backup: unRaid bildet bei jedem Schreibvorgang Parity Informationen. Fällt eine Festplatte aus, können mit der Hilfe der Parity Informationen sowie der Informationen der restlichen Festplatten im Verbund die Daten ohne Verlust wieder hergestellt werden. Schützt also vor Hardwarefehlern und Ausfällen. Schützt aber nicht vor versehentlichem Löschen, Überschreiben, Virusbefall etc. pp. Dafür ist nach wie vor ein Backup notwendig, darin kann unRaid aber gut unterstützen (siehe unten)
- User Shares: In unRaid gibt es das Konzept der User Shares. Das sind im Prinzip Ordner, die die zugrunde liegende Festplatten-Struktur ausblenden. Hat man 20 Festplatten im Einsatz, will man für die meisten Daten i.d.R. nicht manuell entscheiden, auf welche Festplatte die Daten kopiert werden sollen. Stattdessen gibt es z.B. einen Ordner (User Share) "Fotos", welcher die gesamte Kapazität aller Festplatten im Verbund nutzen kann. Für den User sieht es also so aus, als ob es einen großen Ordner gibt in dem alle Daten liegen, tatsächlich sind die Daten aber ggf. auf mehrere Festplatten verteilt. Hier sind umfangreiche Konfigurationen möglich um zusammengehörende Daten zusammen zu behalten, z.B. kann man Shares auf einzelne Platten einschränken, andere Platten ausschließen oder gar konfigurieren, dass bestimmte Ordner-Ebenen immer auf einer Platte landen (z.B. wenn man Fotos wie folgt strukturiert hat: "Fotos\Jahr\Ereignis\Fotodateien". Wäre eine mögliche Konfiguration, dass alle Fotos eines Jahres auf immer der gleichen Platte landen, über die Jahre hinweg die Daten aber auf verschiedenen Platten landen dürfen).
Nützliche Plugins/Docker
unRaid lässt sich nicht nur als NAS einsetzen. Mit zahlreichen Docker-Containern und Plugins lassen sich viele weitere Einsatzmöglichkeiten realisieren. Ich habe folgendes im Einsatz:
- CA Community Applications: Dieses Plugin ist die Basis für weitere Erweiterungen - ähnlich wie ein AppStore lassen sich hier per Knopfdruck zahlreiche Docker-Container und Plugins installieren
- Duplicacy: Einfaches aber tolles Back-Up Tool (kostenpflichtig aber günstig). Daten lassen sich vom NAS versioniert auf beliebige andere Quellen, inklusive Cloud Diensten wie OneDrive oder externe Festplatten ablegen. Ich habe das Tool seit ein paar Wochen im Einsatz und es macht mir einen guten Eindruck. Ich sichere ca. 4TB an Daten (verschlüsselt) in die Cloud bei OneDrive.
- unBALANCE: Damit lassen sich Daten auf dem NAS von einer Platte auf andere verschieben (worauf man normalerweise nur begrenzt Einfluss hat). Nützlich z.B. um eine Platte zu leeren, wenn diese aus dem Verbund entfernt werden soll, oder wenn man bestimmte Daten konsolidiert auf einer Platte ablegen will
- Unassigned Devices: Hiermit lassen sich beliebige SMB/NFS Freigaben mounten und als Mountpunkt im Dateisystem zugreifbar machen. Damit kann man z.B. freigegebene Daten weiterer Rechner durch Duplicacy in die Cloud sichern lassen ohne das man dafür extra Backup Software installieren muss
- JDownloader: Bekannter Downloadmanager, der Daten direkt auf dem NAS ablegt und dort entpacken kann
- Preclear Disks: Plugin welches neue Festplatten "Precleart" und dabei das NAS zugreifbar lässt. Preclear heißt, die Platte wird komplett mit Nullen beschrieben und getestet. Wenn danach die SMART Werte gut sind, kann die Platte guten Gewissens in das Verbund mit aufgenommen werden.
- Auto Turbo-Write: Wie oben geschrieben wird die Schreib-Performance durch das on-the-fly Erzeugen der Parity Informationen beeinträchtigt. Es gibt aber zwei Arten, wie unRaid die Parity-Information bilden kann. Eine benötigt beim Schreiben nur die Parity-Festplatte und die Daten-Festplatte auf die geschrieben wird. Mehrere Lesevorgänge auf beiden Platten erzeugen die Parity Information. Das ist langsam, da auf jeden Schreibvorgang mehrere Lesevorgänge folgen. In diesem Modus habe ich ca. 35Mb/s. Alternativ gibt es aber eine Methode, die alle Festplatten im Verbund nutzt um die Parity Information zu berechnen (mit dem gleichen Ergebnis). Hier verteilen sich die Lesevorgänge parallel und die Geschwindigkeit steigt auf ca. 80Mb/s. Nachteil davon ist aber, dass alle Festplatten in Betrieb sein müssen (keine im Stand-By). Das genannte Plugin löst für mich genau dieses Problem: Im Lese-Modus, d.h. wenn nur Daten vom NAS gelesen werden, können die nicht verwendeten Platten im Stand-By bleiben. Möchte man nun Daten schreiben, weckt das Plugin ggf. weitere Festplatten auf und aktiviert damit den Turbo-Write Modus.
Sonstiges
- unRaid User der frühen Stunde (wie ich es einer bin) sollten ihr Dateisystem überprüfen. Damals fing alles mit reiserfs an - dieses macht beim Daten-Rebuild im Falle eine Festplattenausfalls leider Probleme. Die Festplatten daher unbedingt nach xfs umformatieren (dabei hilft unBalance)
- Cache-Drives: Seit einiger Zeit gibt es auch die Möglichkeit, Cache Platten zu installieren. Dann wird beim Schreibvorgang die volle Performance genutzt, da erstmal keine Parity Informationen erzeugt werden. Da man inzwischen mehrere Cache-Drives praktisch als Raid1 (Spiegelung) nutzen kann, ist das Risiko des Datenverlusts gering. Zu voreingestellten Zeiten schiebt unRaid die Daten vom Cache Drive dann auf die eigentlichen Data-Drives und erzeugt dabei die Parity Informationen. Ich selber nutze keine Cache-Drives, da ich das NAS nicht 24/7 in Betrieb habe und mir die Performance mit dem Turbo-Write Plugin ausreicht.
- Config-Backup: Es ist wichtig die Konfiguration von unRaid selber auch zu sichern. Diese befindet sich auf dem USB-Stick, von welchem unRaid bootet. Insbesondere sollte man immer wissen, auf welcher Festplatte genau sich die Parity Informationen befinden! Sonst droht im Falle einer falschen Neu-Konfiguration Datenverlust. Komfortablerweise kann auch der Inhalt des USB Sticks z.B. per Duplicacy in die Cloud oder auf sonstige Backup Medien gesichert werden,
Screenshots
Hier ein paar Screenshots, damit sich jeder ein praktischeres Bild machen kann:
unRaid-Dashboard.png unRaid-Docker.png unRaid-AppStore.png
Noch nicht beschäftigt habe ich mich mit dem Thema Plex und unRaid. Das funktioniert wohl auch sehr gut, ich selber hatte aber noch nie das Bedürfnis meine Filme immer und überall streamen zu können - vor allem da das NAS bei mir nicht immer läuft.
Ich hoffe diese Zusammenstellung hilft dem ein oder anderen. Teilt auch gerne Eure Erfahrungen, falls Ihr unRaid seid, werden wollt, oder auch warum Ihr Euch gegen unRaid entschieden habt..
Viele Grüße
Pascal
ansich aber eine schöne Idee. Naja ich sichere mir meine Scheiben ebenfalls auf meinem HTPC. Bin halt nen Sammler und muss die Hüllen anfassen können. Will aber nicht jedesmal durch die ewigen Menüs schalten.
