hetzel.net

Cold Storage

Cold Storage

Ich möchte ungerne noch einmal so einen Datenverlust wie mit diesem Blog erleiden. Hier war das nicht weiter tragisch, aber was ist mit wirklich wichtigen Daten für das eigene Business?

Wer es wirklich ernst meint, kann selbt mit LTO-Tapes hantieren, die Bänder halten Jahrzehnte und kosten praktisch nichts pro GB, die Laufwerke sind allerdings eher fünfstellig im Preis. Die Software-Landschaft um diese Laufwerke ist auch eher auf Enterprise-Kunden mit Enterprise-Budgets ausgerichtet. Und dann hat man immer noch keinen schicken Roboter, der die Tape Library deejayed.

Praktisch jeder große Wolkenanbieter hat eine Geschmacksrichtung von Cold Storage mit reduzierten Storage-Kosten gegenüber normalem Object Storage à la S3. Manche geben an, auf welchen Medien die Daten gelagert werden, andere nicht. Manche geben an, ob die Daten geografisch voneinander getrennt aufbewahrt werden, andere wiederum nicht. Preise enthalten mitunter eine happige Gebühr für den Restore, mitunter noch eine zusätzliche Egress-Gebühr, wenn man das interne Netz der Wolke verlässt. Manche haben Mindestaufbewahrungszeiten oder Mindestdatenmengen, manche eine Grundgebühr, manche Restores können eine tagelange Wartezeit mit sich bringen.

Die verschiedenen Angebote sind sehr unübersichtlich, und die Kosten mitunter schlecht einzuschätzen. Ich kann kurz zusammenfassen, was ich mir angesehen habe:

AWS, Google Cloud, Azure

Haben alle entsprechende Angebote, ohne viele Details zur zugrunde liegenden Speichertechnologie. Die Daten werden je nach gewählter Speicherklasse innerhalb einer Region über mehrere Availability Zones verteilt oder nur an einem Standort gespeichert. Regionsübergreifende Replikation ist teilweise möglich, kostet aber zusätzlich. Restore und Egress können sehr teuer werden.

Hetzner Storage Box

Ein RAID mit ZFS-Snapshots auf einem einzelnen Server, wahlweise in Falkenstein oder Helsinki. Keine Replikation auf andere Server. Größen 1/5/10/20 TB. Leicht untereinander zu syncen, keine Mindestlaufzeiten, Free Egress, reduzierter Shell-Zugriff. Snapshots liegen auf derselben Storage Box und ersetzen kein unabhängiges Backup.

OVH Cold Storage

Was für ein Durcheinander, und was für ein schreckliches Dashboard.

Swift Public Cloud Archive

Mein alter Account hat noch Zugriff darauf. Upload via OpenStack Swift Client. In der Wolke werden größere Objekte in 256-MB-Segmente zerteilt und aufbewahrt und eingefroren. Für einen Restore müssen sie wieder aufgetaut (unfreeze/unseal) werden. Hat im Test 10 Minuten gedauert.

Netzwerk war im Test OVH-typisch relativ wackelig. Von einem Server mit Gigabit-Anbindung waren höchstens 250 Mbit/s drin, im Schnitt eher 100 Mbit/s.

2,41 € pro TB-Monat nach meinem bisherigen Tarif, Egress gratis.

Cold Archive v1

Hat mein Account wohl nicht mehr. Magnetbänder, verteilt auf vier Rechenzentren in Frankreich. Günstiger als v2, aber Mindestgröße von 1 TB pro Archivierungsvorgang. Die ältere Variante archiviert ganze Buckets statt einzelner Objekte.

Cold Archive v2

Magnetbänder in vier Rechenzentren in Frankreich. Erasure Coding 2+2, die Daten bleiben also auch beim Verlust von zwei der vier Fragmente rekonstruierbar.

Bis zu 48 Stunden Wartezeit beim Restore. Granularität: einzelne Objekte, die über S3-kompatible Object Storage archiviert werden können.

Kosten: 1,66 € pro TB-Monat und 9 € Restore pro TB, netto. Egress gratis.

Mindestaufbewahrungsdauer: 180 Tage. Beim Restore werden die Daten temporär wieder in Object Storage bereitgestellt, was zusätzliche Speicherkosten verursacht.

Weitere Kandidaten

  • Scaleway Glacier: Wirklich in einem unterirdischen Bunker, 2,54 € pro TB-Monat.
  • Cloudflare R2 Infrequent Access: 10 $ pro TB-Monat, 9 $ "Grundgebühr" für Operationen, die man vielleicht nicht ausführt, aber 10 $ pro TB für den Abruf und eine Mindestabrechnungsdauer von 30 Tagen. Egress gratis.
  • Backblaze B2: 6,95 $ pro TB-Monat. Nicht wirklich Cold Storage. Egress bis zum Dreifachen der durchschnittlich gespeicherten Datenmenge pro Monat gratis.

Mein neues Setup

Noch nicht ganz in diesem Zustand, aber das will ich mir ungefähr so einrichten, und nebenbei erledigt das auch noch die CDN-Delivery für Podcast Audio.

  • CDN 1: Cloudflare mit Cloudflare R2 dahinter, Bucket in der EU.
  • CDN 2: OVH Object Storage (Frankreich), kann per DNS aktiviert werden, wenn R2 umkippt.
  • Backup 1: Hetzner Server (Falkenstein), hat eine Kopie von R2. Hat zufällig große, ungenutzte HDD, nehme ich aus den Kosten raus.
  • Backup 2: Hetzner Storage Box (Helsinki), die sich aus diesem Server synchronisiert.
  • Cold Storage: OVH Cold Archive v2 (Frankreich), wird auch aus Falkenstein gefüllt.

Das versichert auch ein wenig gegen versehentliche Löschungen, Ransomware etc.: Die Storage Box hat ZFS-Snapshots und die Cold Storage ist append-only. Und ich habe hoffentlich noch lokale Kopien auf dem NAS.

Kosten pro TB: ca. 40 €/Monat nach meiner Kalkulation, ohne die bereits vorhandene Hardware und ohne größere Restore-Aktionen. Unwesentlich mehr als bisher, aber drölf mal so abgesichert.