Migration MinIO zu SeaweedFS

Diese Anleitung erklärt, wie sich Relution-Daten von einem Objektspeicher-Backend zu einem anderen migrieren lassen. Häufige Szenarien sind:

  • Migration von MinIO zu SeaweedFS (MinIO wird nicht mehr gewartet)
  • Umzug von Cloudanbieter zu selbst-gehostet (oder umgekehrt)
  • Wechsel zwischen Cloud-Anbietern

Die folgenden Beispiele zeigen eine Migration von MinIO zu SeaweedFS, aber die Schritte können für jede S3-kompatible Quelle und jedes Ziel angepasst werden.

Der Migrationsprozess besteht aus vier Schritten:

  1. Neues Speicher-Backend einrichten
  2. Daten vom alten zum neuen Speicher kopieren
  3. Relution-Konfiguration aktualisieren
  4. Altes Backend entfernen

Voraussetzungen

  • Zugriff auf beide Speicher-Backends gleichzeitig
  • Das rclone Kommandozeilen-Tool (Installationsanleitung →)
  • Zugangsdaten für beide Speicher-Backends

Neues Backend einrichten

Bei einer Migration zu SeaweedFS zuerst der Anleitung SeaweedFS einrichten → folgen. Relution wird vor dem Kopieren der Daten gestoppt (siehe Abschnitt „Daten kopieren“) und bleibt bis zur Umstellung der Konfiguration gestoppt.

Sicherstellen, dass sowohl altes als auch neues Speicher-Backend laufen:

docker compose up -d minio seaweedfs

rclone konfigurieren

Das rclone Tool bietet eine schnelle und zuverlässige Möglichkeit, Daten zwischen S3-kompatiblen Backends zu kopieren.

rclone installieren

Den Anweisungen auf rclone.org/install → für das jeweilige Betriebssystem folgen.

Remote-Konfigurationen erstellen

Den Konfigurationsassistenten starten:

rclone config

Die Quelle konfigurieren (MinIO):

  1. n für neuen Remote tippen
  2. Name: source
  3. Storage-Typ: s3 wählen
  4. Provider: Minio wählen (oder Other für generisches S3)
  5. Den eigenen Access Key und Secret Key eingeben
  6. Endpoint: http://localhost:9000
  7. Die Standardwerte für die verbleibenden Optionen übernehmen
  8. Mit y bestätigen

Das Ziel konfigurieren (SeaweedFS):

  1. n für neuen Remote tippen
  2. Name: dest
  3. Storage-Typ: s3 wählen
  4. Provider: Other wählen
  5. Den neuen Access Key und Secret Key eingeben
  6. Endpoint: http://localhost:8333
  7. Die Standardwerte für die verbleibenden Optionen übernehmen
  8. Mit y bestätigen

q tippen, um die Konfiguration zu beenden.

Verschlüsselter Objektspeicher: Ist Serverseitige Verschlüsselung (SSE-C) → aktiv, liegen die Objekte verschlüsselt im Bucket. rclone kann sie nur mit demselben Schlüssel lesen und muss sie im Ziel mit demselben Schlüssel schreiben. Andernfalls schlägt das Kopieren fehl, oder die Objekte liegen im Ziel unverschlüsselt und sind für Relution nicht mehr lesbar. In beiden Remotes (source und dest) werden deshalb in der erweiterten Konfiguration der Algorithmus AES256 und derselbe Base64-Schlüssel hinterlegt, der in Relution konfiguriert ist (rclone-Optionen sse_customer_algorithm und sse_customer_key_base64). Das neue Backend muss SSE-C unterstützen.

Bei clientseitiger Verschlüsselung über AWS KMS liegen die Schlüsseldaten in den Metadaten der Objekte. Diese Metadaten müssen beim Kopieren erhalten bleiben (rclone-Option --metadata).

Port-Zugriff überprüfen

rclone greift über den Host auf die S3-APIs beider Backends zu (http://localhost:9000 und http://localhost:8333). Nach den Anleitungen Veraltet: MinIO → und SeaweedFS einrichten → sind die S3-Ports nur im Docker-Netz erreichbar. Für die Dauer der Migration werden sie deshalb in der compose.yaml auf dem Host freigegeben:

minio:
  ports:
    - "127.0.0.1:9000:9000" # S3 API - für rclone während der Migration
    - "9001:9001" # Web-Konsole
# ...
seaweedfs:
  ports:
    - "127.0.0.1:8333:8333" # S3 API - für rclone während der Migration
    - "127.0.0.1:23646:23646" # Web-Konsole

Danach die Container mit docker compose up -d minio seaweedfs neu erstellen. Läuft rclone auf einem anderen Host, entfällt die Beschränkung auf 127.0.0.1. Nach der Migration werden die zusätzlichen S3-Port-Freigaben wieder entfernt.


Daten kopieren

  1. Relution stoppen, um Datenänderungen während der Migration zu verhindern, und prüfen, dass nur noch die Speicher-Backends laufen:

    docker compose stop relution
    docker compose ps  # Sollte Speicher-Backends anzeigen, aber NICHT relution
    
  2. Den Transfer starten:

    rclone copy source:relution dest:relution --progress
    
  3. Auf den Abschluss warten. Die Übertragungszeit hängt von der Datenmenge im Bucket ab.

  4. Den Transfer überprüfen:

    rclone check source:relution dest:relution
    

    Erwartete Ausgabe: 0 differences found


Relution-Konfiguration aktualisieren

Die Relution-Konfiguration aktualisieren, um auf das neue Backend zu zeigen. Endpoint, Access Key und Secret Key werden geändert, Bucket-Name und Region nur, wenn sie sich unterscheiden:

EinstellungAlter WertNeuer Wert
Endpoint (customEndpoint)http://minio:9000http://seaweedfs:8333
Access KeyAlter KeyNeuer Key
Secret KeyAlter SecretNeuer Secret
Bucket-Name (bucketName)relutionName des Ziel-Buckets (nur bei abweichendem Namen)
Region (region)Standard eu-west-1Region des Ziel-Buckets (z. B. bei AWS S3)
  • Hat der Ziel-Bucket einen anderen Namen, lauten die rclone-Befehle source:<alter-bucket> dest:<neuer-bucket>. Die Datenbank speichert nur die Objektschlüssel, daher genügt die Anpassung von bucketName.
  • Bei AWS S3 ohne eigenen Endpoint entfällt customEndpoint bzw. RELUTION_STORAGE_S3_CUSTOMENDPOINT. Der Endpoint ergibt sich dann aus der Region.
  • Die Verschlüsselungseinstellungen (SSE-C-Schlüssel serverSideEncryption.key bzw. keyFile oder KMS) bleiben unverändert.
  • Der Ziel-Bucket wird ausschließlich von dieser Relution-Instanz genutzt. Relution löscht regelmäßig Objekte im Bucket, die keiner eigenen Ressource zugeordnet sind.

Eine detaillierte Beschreibung der Einrichtung/Änderung: Objektspeicher verbinden →


Überprüfen und Aufräumen

  1. Relution starten:

    docker compose up -d relution
    
  2. Die Funktionalität überprüfen: Bei Relution anmelden und bestätigen, dass Apps und Ressourcen korrekt geladen werden.

  3. Das alte Backend entfernen (nur nach gründlicher Überprüfung):

    docker compose down minio  # Alten Service stoppen
    
  4. Die Konfiguration bereinigen: Den alten Service aus der eigenen compose.yaml entfernen.

  5. Alte Daten löschen: Das alte Speicher-Volume oder -Verzeichnis entfernen (z. B. ./volumes/minio/data).

  6. rclone bereinigen: Optional lässt sich die rclone-Konfiguration entfernen:

    rclone config delete source
    rclone config delete dest
    

Connection refused / Timeout

Sicherstellen, dass die S3-API-Ports freigegeben und nicht durch eine Firewall oder Netzwerktrennung blockiert sind. Die Verbindung testen:

curl http://localhost:8333  # Sollte einen S3-Fehler zurückgeben

Access denied / 401 / 403

Überprüfen, dass die Zugangsdaten korrekt sind und der Benutzer Zugriff auf den Bucket hat.


Fehlende Dateien nach der Migration

Die Überprüfung erneut ausführen:

rclone check source:relution dest:relution

Wenn Unterschiede gefunden werden, rclone copy erneut ausführen; es werden nur fehlende Dateien übertragen.

Wie hilfreich war dieser Artikel?