Film- und Livestreaming-Projekte erzeugen grossen Datenmengen. Je nach Projekt müssen die Daten unterschiedlich lange gespeichert werden. So sammelt sich mit der Zeit ein grosser Datenpool an. Dabei besteht die Herausforderung, ein zuverlässiges, kosteneffizientes und sicheres System aufzubauen. In diesem Artikel erklären wir, wie wir das handhaben und was unsere Erfahrungen aus den letzten Jahren sind.

Einsatzzweck

Wir nutzen grosse Datenpools, um aktuelle Projektdaten zu sichern. Wenn ein Projekt abgeschlossen ist, wandern die Daten in den Langzeitspeicher. Zusätzlich Betreiben wir eigene Services, um Projektdaten mit Partnern zu teilen. Zum Beispiel eine Nextcloud.

Anforderungen

Als Medienproduzenten haben wir gewisse Grundanforderungen an eine Speicherlösung.

Einfach im Unterhalt

Die beste Lösung nützt nichts, wenn es nicht einfach ist im Unterhalt und Betrieb. Vieles sollte automatisiert ablaufen.

Schnell

Wir haben vielen Daten, also müssen diese in nützlicher Frist geschrieben oder gelesen werden können. Die Netzwerkanbindung muss entsprechend ausgelegt werden.

Flexibel Erweiterbar

Der Pool wird immer grösser, da gewisse Kundendaten länger aufbewahrt werden sollen. Also muss auch der Pool mitwachsen können.

Kosteneffizient

Solch ein Datenpool verursacht Kosten. Zum einen für die Hardware. Komponenten können plötzlich kaputt gehen. Denn alle Datenspeicher wie Harddisk und SSDs haben eine begrenzte Lebensdauer. Oder der Pool muss erweitert werden. Zudem brauchen laufende Geräte wie ein Server Strom.

Sicherheit

Unsere Geschichte beim Datenmanagement

Unsere Datenstrategie der ersten Jahre sah wie folgt aus:

Projektdaten von einem Filmdreh landeten auf dem Schnittcomputer.

Für das Backup wurden die Daten automatisiert auf eine zweite HDD im Schnittcomputer kopiert.

Die Backup-HDD wurde regelmässig mit einer Zwillings-HDD getauscht. Die HDD welche nicht im Schnittcomputer war, wurde in einem Bankschliessfach gelagert.

Beim Archiv hat das gleich funktioniert. Es wurden immer zwei identische HDD gekauft. Eine war im Büro und eine im Schliessfach.

Wie das Geschäft gewachsen ist, ist auch der Datenbestand gewachsen. Irgend wann wurde die Archiv-Lösung nicht mehr tragbar. Zu häufig mussten die HDDs manuell getauscht werden. Das auffinden von Projektdaten dauerte länger. Und zeitweise wurde das Tauschen der Backup-HDDs vernachlässigt.

Somit war der Zeitpunkt gekommen, auf eine neue Lösung zu setzten.

Was speichern wir wie lange?

Je nach Projekt und Kunde speichern wir Daten unterschiedlich lange. Hier ein paar Beispiele:

Imagefilm-Projekt

Solche Daten speichern wir auf Kundenwunsch jahrelang. Denn es ist gut möglich, dass nach einer gewissen Zeit eine Anpassung des Imagefilms vorgenommen werden will. Oder das man Aufnahmen daraus für ein neues Projekt nutzen will.

Live Streamings

Streaming Projekte produzieren in kurzer Zeit viele Daten. Denn oft nehmen wir nicht nur den fertigen Stream auf, sondern auch alle einzelnen Quellen wie Kameras oder Präsentationen. Dies ermöglicht individuelle Filmschnitte für Social Media oder die Korrektur von Fehlern. Bei den Streamings löschen wir nach einem Jahr alle Quelldaten.

Masterfiles

Von jedem Projekt behalten wir die finale Schnittversion als Referenz.

Warum nicht in die Cloud?

Wir haben abgeklärt, ob eine Cloudlösung für unser Datenarchiv und Backup in Frage käme. Wir haben uns aus folgenden Gründen dagegen entschieden:

Da wir sehr viel Speicherplatz benötigen, wären die Kosten extrem hoch. Und mit steigendem Bedarf würden auch die Kosten steigen.

Der Zugriff auf die Daten ist durch die Kapazität der Internetleitung limitiert. Der Upload- oder Download eines grossen Projektes würde sehr lange dauern.

Die Daten sollen in der Schweiz bleiben. Und wir möchten Abhängigkeiten von einzelnen Diensten vermeiden.

Unser Systemaufbau

Wir erklären aus Sicherheitsgründen nicht alles bis ins letzte Detail. Aber so ist unser System im groben aufgebaut:

Schnittcomputer

Alle Projekte, an welchen wir arbeiten, liegen auf sehr schnellen SSDs im Schnittcomputer. So sind Datenzugriffe mit bis zu 8GB/s möglich. Ein Backup der Daten geht regelmässig auf Server 1.

Server 1

Der Hauptserver ist mit 2x10GBit/s mit dem Kernnetzwerk verbunden. Auch der Schnittcomputer ist mit dieser Geschwindigkeit angeschlossen. Hier landen Backups und Daten von abgeschlossenen Projekten. Zudem laufen hier auch Services wie eine Nextcloud und weiteres. Als Software kommt TrueNAS zum Einsatz. Die Hardware besteht aus einem alten Schnittcomputer, welcher für den Servereinsatz umgerüstet wurde.

Der Server hat Platz für bis zu 24x 3,5″ HDDs und 8x 2,5″ SSDs. Aktuell hat er eine Gesamtgrösse von rund 150TB.

Server 2

Dieser Server steht an einem zweiten Standort. Es ist via Internet und einer verschlüsselten Verbindung mit dem Kernnetzwerk verbunden. Regelmässig werden alle neuen Daten vom Server 1 auf diesen Server gespiegelt. Auch die Hardware besteht aus einem alten Schnittcomputer. Da dieser Server nicht viele Aufgaben hat, kann die Hardware schwächer und kleiner sein als beim Server 1.

Dieser Server hat nur Platz für 8x 3,5″ HDDs. Er hat aktuell eine Gesamtgrösse von 120TB.

Kosten

Investment

Dies sind Schätzungen aufgrund aktueller Marktdaten, wenn das System neu Aufgebaut werden würde.

Objekt	Details	Kosten [CHF]
Server 1 Hardware	Servergehäuse mit CPU, RAM, GPU und genügend Bays für HDDs/SSDs	4’000
Server 1 Harddisks	150TB nutzbar, +20% Sicherheitsmarge, 190TB total	5’700 bei CHF 30 / TB
Server 1 SSDs	20TB nutzbar, +20% Sicherheitsmarge, 25TB total	3’750 bei CHF 150 / TB
Server 2 Hardware	Servergehäuse mit CPU, RAM, GPU und genügend Bays für HDDs/SSDs	3’000
Server 2 Harddisks	120TB nutzbar, +20% Sicherheitsmarge, 150TB total	4’500 bei CHF 30 / TB
Netzwerkkomponenten	Switch, Netzwerkkarten, Kabel	2’000
Total		22’950

Betrieb und Unterhalt

Diese Kosten beziehen sich auf den aktuellen Stromverbrauch sowie die aktuellen Hardwarepreise. Die Komponenten müssen irgend wann ersetzt werden. Dazu muss regelmässig Geld rückgestellt werden.

Position	Details	Kosten [CHF]
Server 1 Stromverbrauch	Pro Jahr, höherer Verbrauch, da dieser Server deutlich Leistungsstärker ist	1’000
Server 2 Stromverbrauch	Pro Jahr	150
Server 1 Hardware ersetzten	Annahme einer Lebensdauer von 8 Jahren	500
Server 1 Ersatz von HDDs	Annahme einer Lebensdauer von 5 Jahren	1’140
Server 1 Ersatz von SSDs	Annahme einer Lebensdauer von 5 Jahren	750
Server 2 Hardware ersetzten	Annahme einer Lebensdauer von 8 Jahren	375
Server 2 Ersatz von HDDs	Annahme einer Lebensdauer von 5 Jahren	900
Total pro Jahr		4’815