Mein NAS Home Server V2

Nun bin ich leider mehr oder weniger doch gezwungen, meinen derzeitigen rein privat genutzten Server etwas zu erweitern. Der Hauptgrund ist, das ich als Netzwerkverbindung 10 Gigabit nutzen möchte, ich aber die vorhandene Netzwerkkarte QLogic QLE3440-SR nicht einbauen kann, da auf dem Board kein PCI-E Steckplatz mehr frei ist (der eine vorhandene Steckplatz auf dem ASROCK Server Board wird für den RAID Controller benötigt).

Folgende Möglichkeiten wären gegeben:

  • neues ITX Server Board mit 10 Gigabit LAN bereits OnBoard bei Beibehaltung aller vorhandener Komponenten
  • neues (oder anderes) mATX/ATX Board zzgl. neues Gehäuse

Es wird auf die zweite Lösung rauslaufen, wenn auch derzeit nur erstmal zum Test. Ich habe dafür noch einen alten Server der Marke WORTMANN zur Verfügung, ausgestattet mit einem ASUS P8B-M samt XEON E3 Prozessor. Das Board verfügt über ausreichend Steckplätze PCI-E, so das ich jetzt gerade am testen bin, ob es damit laufen würde, Linux Installation läuft gerade.

Die Wunschkonfiguration wäre dann die folgende:

  • Betriebssystem Ubuntu Server (16.04 LTS)
  • 10 GBit Netzwerkanschluss (wobei dann hier der HD Datendurchsatz der Flaschenhals wird, SSD Cache wie bei QNAP oder SYNOLOGY bekomme ich nicht hin 🙁 )
  • Übernahme des ADAPTEC RAID Controller inkl. der physikalischen Festplatten und der UBUNTU RAID Konfiguration
  • nVidia Geforce GT 1030 Grafikkarte für den Plex Server zur Hardware Transcodierung (der „alte“ Prozessor kann es per Intel Quick Sync, wird aber nicht genutzt, das der ASpeed 2500 BMC Controller sich „vordrängelt“, da das neue Board auch BMC hat, versuche ich es erst gar nicht)
  • vielleicht Einbau der PCI TV Karte und aufsetzen eines SAT IP TV Servers mittels TVHeadend, damit ich mit dem Tablet TV Empfang habe

Da das Server Gehäuse von WORTMANN leider nur vier Hotswap Einschübe hat, habe ich mir hierfür ein neues Gehäuse bestellt, ein „aufgebohrtes“ für mein bisheriges, das SilverStone CS380.

 

 

[Update #1 vom 21.01.2018]
So, Ubuntu 17.10 Server ist installiert, Plex und Emby sind drauf, und es gelingt mir nicht, das beide Programme die nVidia Grafikkarte für die Hardware Transcodierung eines 4k HEVC Films nutzen, bei beiden läuft die CPU auf 100%. Weiter geht’s…..

[Update #2 vom 22.01.2018]
So, nun nochmal in Ruhe bei PLEX belesen und erkannt, das Nvidia unter Linux seitens PLEX nur für das Encoding verwendet wird, nicht jedoch für das Decoding. Somit bringt eine eigene Grafikkarte unter Linux nichts für das Hardwaretranscoding. Ausschließlich meiner einer INTEL GPU soll es gehen.

[Update #3 vom 27.01.2018]
Ein Aufbau mit Standard Consumer Produkten brachte Erfolg. Mit einem GIGABYTE B250-HD3P Board und einem Prozessor INTEL G4560 läuft PLEX nun mit Hardware Transcoding, die maximale Auslastung des Prozessors bei einem 4k Stream beträgt zwischen 20 und 30 Prozent.

Aber eigentlich will ich kein Consumer Board und entsprechende Komponenten….

[Update #3 vom 02.03.2018]
Der endgültige Test mit Ubuntu Server 16.04 LTS und Prozessor G4560 zusammen mit dem Plex Media Server war erfolgreich, alles inkl. 4k Filmmaterial wird flüssig abgespielt, die CPU Auslastung liegt zwischen 29 Prozent (5.1 Sound) und 43 Prozent (bei 7.1 Sound).

CPU Auslastung bei der Wiedergabe mit 7.1 Sound
CPU Auslastung bei der Wiedergabe mit 5.1 Sound

[Update #4 vom 07.07.2018]
Ich bekomme unter unRAID bezüglich SSD Cache im 10GBit Netzwerk auf keine schnellen Werte, zumindest nicht mit dem OnBoard Controller. Solange der bestellte Controller noch nicht da ist, ruht die weitere Einrichtung nun erstmal.

Dafür habe ich nochmal eine neue Idee: Windows Betriebssystem und ein entsprechendes Festplattenverwaltungsprogramm, in diesem Fall als reiner Test Windows Server 2016 Standard und StableBit DrivePool, eine Software welche beliebig viele Festplatten in einen Pool nimmt und selbst verwaltet. Als Erweiterung (Plug-Ins) für das Hauptprogramm gibt es z.B. ein SSD Optimizer, mal schauen ,was der leisten kann.

Da alle anderen gewünschten Programme (siehe unten) auch als Windows Versionen verfügbar sind und ich mit darunter etwas besser zurechtfinde als unter Linux, vielleicht mal gar keine so schlechte Idee.

…..

Somit steht nun die Auswahl der Komponenten fest, da ich nun definitv nur ein „Datengrab“ haben möchte und PLEX sowie alle anderen Applikationen anders abwickeln werde:

  • Gehäuse SilverStone CS380
  • Hauptplatine ASUS P8B-M mit IPMI 2.0 Management Erweiterung ASMB5-iKVM
  • Prozessor INTEL XEON E3
  • Arbeitsspeicher 16 GByte ECC DDR3
  • Festplatten Controller, siehe Ergänzung *1
  • Festplatten Daten, diverse Modell 4TB und 8TB
  • Festplatten Cache, vermutlich 2 Stück SSD 120 GByte
  • NAS Software unRAID

*1 Bestellt habe ich mir in der Bucht sowohl einen RAID Controller IBM M5015 und nachdem ich gelesen habe, das dies Murks war und nicht den Zweck erfüllen wird, einen HBA Controller IBM M1015.

HBA: Host Bus Adapter, „dummer“ Adapter, dienst nur zum Anschließen der Festplatten, keine Funktionen auf der Controller Karte vorhanden (kein RAID, kein Cache etc.), die Festplatten werden 1:1 an das Betriebssystem durchgereicht, daher optimal geeignet für Softraids

RAID: Redundant Array of Independent Disks, Controller mit mindestens RAID 0,1 und 10. Teilweise mit RAID 5, bei einigen Controllern nachrüstbar (LSI). Cache vorhanden, meistens auch mit (optionalen) Akkupack zur Datensicherheit bei Ausfall.

Einige Anmerkungen zu den Controllern:

LSI ist Hersteller der Controllerchips, verbaut eigene Modelle, wie z.B. den LSI MegaRAID SAS 9260-8i. Dann gibt es OEM Modelle, die den gleichen Chip verwenden, jedoch andere Software verwenden, z.B. IBM ServRAID M5015. Dazu gibt es einige Anleitungen in den weiten des Internets, wie man aus einem IBM Controller wieder einen LSI Controller machen kann. Das gilt auch für das HBA Modell IBM ServRAID M1015, baugleich DELL Perc H310 (H320 auch?), daraus wird dann LSI MegaRAID SAS 9211-8i.

Da ich beabsichtige als Software unRAID zu verwenden, und die Festplattenverwaltung und Einrichtung darüber erfolgen wird (SoftRAID), geht hier nur ein Board mit entsprechenden Anschlüssen (mindestens 10x SATA, sowas habe ich nicht im Bestand, und ein neues wird definitiv nicht gekauft), also hilft mir nur ein entsprechender Controller weiter. Die Preis für beide Modelle waren unschlagbar in der Bucht, wenn geliefert und getestet folgenden natürlich meine Erfahrungen damit und die Preise dafür.

Probeweise habe ich mal eine 60 GByte große Datei über das 10GBit Netzwerk geschoben, es läuft solange schnell, wie die Datei nicht größer wie der Arbeitsspeicher des Zeilservers ist, soll bedeuten, bei 16 GByte RAM fließen die ersten 16 der 60 GByte rasend schnell über das Netz, trotz SSD als Zielplatte. Danach gehen die Transferwerte jedoch massiv runter bei ca. 340MB/s .

Das wollen wir schneller bekommen…., also demnächst mal sehen , wie das aussieht unter unRAID mit den SSD Platten als Cache.

Folgende Software möchte ich einsetzen für den MultiMedia Server:

  • PLEX Media Server (hierfür benötige ich unbedingt Hardware Transcoding per INTEL GPU, sonst wird das nichts mit 4k Filme über das Netzwerk)
  • TAUTILLI Monitoring (wer schaut was gerade im Heimnetzwerk, viele Statistiken zu PLEX)
  • YouPHPTube (eigener Web-Server für Filme, vergleichbar wie Youtube)
  • Heimdall (einfacher Zugriff auf meine gängigsten Apps, ich liebe dieses Tool !!)
  • Eigener Webserver für einige kleinere privaten Projekte
  • Piccaport (Bilderverwaltung, genial) (Windows und Linux)
  • Nextcloud (eigene Cloud-Lösung) inkl. Fulltextsearch
  • AirSonic oder SubSonic (Musikverwaltung und Webplayer)
  • NZBGet (Download Tool) (Windows und Linux)
  • nzbhydra2 (Usenet Indexer) (Windows und Linux)
  • calibre-web (eBook Verwaltung per Web Interface)

 

Die endgültige Konfiguration steht, und der Server selbst läuft bereits so…

Es ist vollbracht, nach endlos langen hin und her und extrem viel probieren läuft es (fas) wie gewünscht. Die technische Umsetzung erfolgte wie folgt:

  • Gehäuse SilverStone CS380
  • Hauptplatine Gigabyte B250-HD3P mit Prozessor INTEL Celeron G4600 (mangels INTEL GPU und USB 3.0 wurde nicht s aus meinem „Traum“ mit dem ASUS P8B-M)
  • Arbeitsspeicher 16 GByte DDR4
  • Festplatten Controller DELL H310 im IT Mode / HBA
  • Festplatte System, 1x SSD 120 GByte
  • Festplatten Daten, 1x 1TB, 1x 4TB und 1x 8TB
  • Festplatten Cache, 1x SSD 120 GByte, 1x SSD 500 GByte
  • Betriebssystem Windows Server 2016 Standard
  • Software StableBit DrivePool inkl. SSD Plugin
  • Steckkarte Netzwerk 10 Gigabit QLogic 3440 SFP
  • Steckkarte HBA Controller DELL PERC H310 2x SAS auf 8x SATA Festplatten

Produkte von Amazon.de

    SATA Anschlüsse insgesamt: 12 Stück; 8x HBA Controller und 6x OnBoard

    Bezüglich Software musste ich aufgrund der Festlegung auf Windows Server einiges ändern, da einige Programme ein Linux erfordern.

    Folgende Software läuft nun unter Windows:

    • Dateifreigabe per SMB und NFS Protokoll
    • Bilderverwaltung Picapport
    • Musikverwaltung Subsonic
    • Usenet Downloaddienst NZBGet sowie Usenet Suche per nzbhydra2
    • eBook Buchverwaltung Calibre
    • Media Server Plex (derzeit kein Hardware Transcoding !!), Plex Monitoring mittels Tautulli
    • zentrale Backup Lösung meiner iOS Gerät mittels der Software iMazing2
    • zentraler TV Server mittels der Software TVMosaic
    • Bereitstellung von Windows Installationen und Linux CD Images zum starten per Netzwerk / PXE Boot

    Folgende Projekte kann ich nicht umsetzen, da ich dafür unbedingt ein Linux benötige:

    • YouPHPTube (eigener Web-Server für Filme, vergleichbar wie Youtube)
    • Heimdall (einfacher Zugriff auf meine gängigsten Apps, ich liebe dieses Tool !!)
    • Eigener Webserver für einige kleinere privaten Projekte
    • Nextcloud (eigene Cloud-Lösung) inkl. Fulltextsearch
    • Plex Media Server, da ich bisher Hardware Transcoding nur unter Ubuntu 16.04 zum laufen bekommen habe

    Dafür plane ich in Zukunft mir einem eigenständigen PC System, eine Realisierung per Hyper-V wäre möglich, lässt aber auch kein Hardware Transcoding zu.

     

    Videowiedergabe / Multimedia

    Die Filme liegen in einer standardmäßigen Freigabe auf dem genannten Server im Verzeichnis „Filme“, der Ordner ist per SMB Protokoll freigegeben. Die Wiedergabe erfolgt im Wohnzimmer ausschließlich über ein APPLE TV 4K, welches per Gigabit Netzwerkkabel angeschlossen ist, und als App verwende ich Infuse in der Pro Version.

    ‎Infuse Pro 5
    ‎Infuse Pro 5
    Entwickler: Firecore, LLC
    Preis: 16,99 €

    Es erfolgt keine Umrechnung bei den Filmen, selbst 4K Material wird sofort und ohne Wartezeit auf dem TV Gerät ausgegeben. Da mein TV Gerät noch alt ist und weder 4K noch HDR kann, wird das Bild trotzdem korrekt angezeigt (4K HDR Filmmaterial erscheint sonst „matschig“ und mit Falschfarben auf dem Bildschirm, Bilder folgen).

    Im anderen Zimmer steht mir das APPLE TV Vorgängermodell zur Verfügung, welches nicht über Netzwerkkabel angeschlossen ist, sondern per WLAN arbeitet. Hier klappt Infuse nicht, da die Hardwareleistung nicht ausreicht und das Programm kein Transcoding durchführt.

    Der OnBoard Grafikchip INTEL HD 630 des Prozessor unterstützt per Hardware des Transcodieren (Umrechnen) eines Filmes in ein anderes Format in Echtzeit ohne signifikante Belastung des Prozessors selbst. Ein vorhandener 4K Film wird in Full HD Auflösung heruntergerechnet, so das dieser dann per WLAN auf dem „alten“ APPLE TV zur Verfügung steht und flüssig angesehen werden kann.

    Desweiteren glaube ich, das meine Entscheidung zu Windows Server 2016 als Betriebssystem zu wechseln, mal gar nicht soooooooo….. verkehrt war.
    Inzwischen habe ich mir noch ein paar kleine Tools und Programme auf dem Server installiert, was mir nun doch einiges leichter macht am täglichen Arbeiten mit den Dateien.

     

    FileJuggler

    Screenshot of www.filejuggler.com

    Erleichtert den täglichen Umgang mit Dateien. Im meinem Fall wird ein vordefinierter Ordner überwacht, ob darin neue Dateien sich befinden. Falls ja, wird anhand der Dateiendung erkannt, was damit zu machen ist. So werden Filmdateien (.mp4, .mkv, .avi etc.) automatisch in einen anderen Ordner kopiert (Ordner Videos), und dort in Ordnern abgelegt, die dem Tagesdatum entsprechen. Anschließend wird von dieser Videodatei mit Hilfe des Programmes Video Thumbnails Maker ein Vorschaubild / Thumbnail erstellt.

    Gepackte Archive werden hingegen erst automatisch entpackt, und dann aufgrund Ihres Inhaltes (oder Namens) zum gewünschten Zielort verschoben.

    Beispiel: Die Datei Urlaub.zip wird in den zu überwachenden Ordner kopiert. Dort wird es automatisch entpackt, das Archiv gelöscht, und die eigentlichen Dateien in den Ordner Bilder/Tagesdatum/Archivname verschoben, da ich für Bilddateien exakt diese Regel erstellt habe. Das manuelle Entpacken und kopieren entfällt, sehr gute Erleichterung. Wenn es nicht passt, brauch ich nur noch den Verzeichnisnamen des Zieles ändern, damit es aussagekräftiger wird.

    Screenshot of www.suu-design.com