Speicher und Betrieb
Speicher, S3 und Sicherung
Alle Daten liegen in einem Verzeichnis. Mit einem S3-Speicher werden Dateien gespiegelt und die Datenbank laufend gesichert – der Container hält dann nichts Unersetzliches mehr.
9 Min. Lesezeit
Auf dieser Seite
Mehr zum Thema: Wiederherstellen · Verschlüsselung von Dateien und Sicherungen · Markdown-Export und Git
Was wo liegt
Pfad in /app/data | Inhalt |
|---|---|
flowplan.sqlite (+ -wal, -shm) | Alle Inhalte, Konten, Sitzungen, Einstellungen |
uploads/ | Hochgeladene Dateien |
web-push-keys.json | Push-Schlüssel, falls nicht per Umgebung gesetzt |
secrets.key | Schlüssel für gespeicherte Geheimnisse, nur ohne FLOWPLAN_ENCRYPTION_KEY und FLOWPLAN_SECRETS_KEY (Konfiguration) |
pre-restore-…, pre-move-… | Vorheriger Stand nach einer Wiederherstellung bzw. einem Umzug; nach ein paar Tagen löschen |
ocr/ | Sprachdaten der Texterkennung, werden bei Bedarf neu angelegt |
Wie Flowplan die SQLite-Datei nutzt Seit 0.11.0
Die Datenbank läuft im WAL-Modus mit synchronous=NORMAL – der Einstellung, die SQLite und Litestream für WAL empfehlen: Ein Speichern wartet nicht mehr auf die Platte, die Datei wird erst beim Zurückschreiben des Logs (Checkpoint) synchronisiert. Stürzt Flowplan ab oder wird der Container neu gestartet, geht nichts verloren. Fällt dagegen der Strom aus oder stürzt der ganze Rechner ab, können die letzten Änderungen vor dem Ausfall fehlen; die Datei selbst bleibt immer konsistent. Mit Litestream liegen ohnehin nur die Änderungen der letzten Sekunde noch nicht im Bucket.
Dazu nutzt Flowplan bis zu 64 MiB Arbeitsspeicher als Cache der Datenbank, liest sie über eine Speicherabbildung (bis 256 MiB, belegt Adressraum, keinen zusätzlichen Arbeitsspeicher) und hält Zwischenergebnisse im Speicher statt in Dateien. Für die Abfrageplanung sammelt PRAGMA optimize beim Start und alle sechs Stunden Statistiken. Einzustellen ist dabei nichts.
S3-Speicher einschalten
Mit S3_BUCKET und Zugangsdaten (siehe Konfiguration):
- Dateien: Jede hochgeladene Datei geht direkt nach dem Speichern in den Bucket, gelöschte Dateien wandern dort nach
<Präfix>/.deleted/uploads/und werden erst entfernt, wenn keine aufbewahrte geplante Sicherung im Bucket sie mehr braucht, frühestens nach einem Tag (verzögertes Löschen).uploads/bleibt Arbeitskopie – außer du hältst nur einen Teil der Dateien lokal. Fehlt dort eine Datei – neuer Host, verlorenes Volume –, holt Flowplan sie aus dem Bucket: beim Abruf sofort, alle übrigen im Hintergrund. - Datenbank: Litestream (öffnet in neuem Tab) überträgt Änderungen der SQLite-Datei etwa im Sekundentakt nach
<Präfix>/db. Startet der Container ohne Datenbank, stellt Litestream sie zuerst aus dem Bucket wieder her.
Beim ersten Start mit S3 lädt Flowplan alle vorhandenen Dateien hoch. Den Fortschritt zeigen Administration → Speicher & Sicherung (Karten Sicherungen und Belegung, dazu die Verbindung und die Verteilung lokal/S3) und – mit FLOWPLAN_METRICS_TOKEN oder als Admin angemeldet – /api/health unter objectStorage.pending.
Geeignet sind MinIO, Garage, SeaweedFS, AWS S3 und andere S3-kompatible Dienste.
Nur einen Teil der Dateien lokal halten Seit 0.11.0
Auf einem kleinen Server kann der Bucket die Dateien allein halten: Mit S3_LOCAL_CACHE=2GB (oder 500MB, 1.5GB; 1 GB = 1024 MB) wird uploads/ zu einem Zwischenspeicher dieser Größe.
- Wächst er über die Grenze, entfernt Flowplan die am längsten nicht benutzten Dateien lokal – beim Start, nach Uploads und alle fünf Minuten, bis er unter 80 % der Grenze liegt. Es gehen nur Dateien, die im Bucket bestätigt sind: hochgeladen, nichts mehr für sie zu tun, und das Objekt dort hat die richtige Größe. Dateien, die noch nicht (oder nicht mehr) im Bucket liegen, Dateien, die in den letzten zehn Minuten benutzt oder geschrieben wurden, und Dateien, die gerade gelesen werden, bleiben.
- Wird eine entfernte Datei gebraucht – ein Download, eine Vorschau, die Offline-Kopie, ein Export, die Texterkennung –, holt Flowplan sie aus dem Bucket. Absichtlich entfernte Dateien holt Flowplan nicht im Hintergrund zurück.
- Sicherungen funktionieren weiter: Die Instanzsicherung, das SFTP-Spiegeln und der Umzug lesen die Dateien, die nur im Bucket liegen, von dort, ohne den Zwischenspeicher wieder zu füllen.
- Die Grenze ist ein Ziel, keine harte Obergrenze: Viele Uploads in wenigen Minuten können sie kurz überschreiten. Lass dafür Platz auf der Platte.
- Administration → Speicher & Sicherung → Belegung zeigt Größe und Grenze des Zwischenspeichers und wie viele Dateien nur im Bucket liegen;
/api/healthnennt dasselbe unterobjectStorage.localCache.
Leer (Standard) bleibt alles wie bisher lokal. Ohne S3_BUCKET wird die Variable ignoriert (das Log sagt es). Die Datenbank ist nie betroffen. Im Cluster-Modus gilt derselbe Zwischenspeicher; S3_LOCAL_CACHE ersetzt dort FLOWPLAN_CACHE_MAX_MB. Bevor du mit Zwischenspeicher S3_BUCKET, S3_ENDPOINT oder S3_PREFIX änderst, kopiere die Objekte an den neuen Ort (z. B. mit rclone copy): Dateien, die nur im alten Bucket liegen, kann der Server nicht hochladen.
Leg die Datenbank nicht auf einen eingehängten Bucket. Ein per FUSE eingehängter Bucket (s3fs, rclone mount, goofys …) kennt keine echten Dateisperren – SQLite braucht sie, die Datenbank kann sonst beschädigt werden. Ein FUSE-Mount taugt höchstens für Dateien; S3_LOCAL_CACHE ist der unterstützte Weg, sie im Bucket zu halten. Der Datenbankordner bleibt auf einer lokalen Platte (oder nimm PostgreSQL); Litestream sichert ihn in den Bucket.
Garage
Garage legt weder Bucket noch Schlüssel selbst an:
garage status # Knoten-ID ablesen
garage layout assign -z dc1 -c 10G <Knoten-ID>
garage layout apply --version 1
garage bucket create flowplan
garage key create flowplan
garage bucket allow --read --write --owner flowplan --key flowplan
garage key info flowplan --show-secret # Key-ID und SecretS3_REGION muss dem Wert s3_region aus der garage.toml entsprechen.
SeaweedFS
Den S3-Dienst so starten, dass er auf allen Schnittstellen lauscht (-ip.bind=0.0.0.0), sonst ist er aus anderen Containern nicht erreichbar. Endpoint ist der S3-Port, standardmäßig 8333.
Warum standardmäßig kein Postgres und kein Redis? Flowplan arbeitet in einem Prozess direkt auf SQLite – für eine Instanz pro Organisation schneller und einfacher. Sitzungen, Präsenz und Live-Abgleich laufen über die Datenbank und den Prozess selbst; Redis hätte nichts zu tun. Für größere Teams gibt es PostgreSQL und den Cluster-Modus mit Redis.
Sicherungen
- Instanzsicherung in Flowplan (empfohlen): Administration → Speicher & Sicherung → Gesamte Instanz → Herunterladen lädt Datenbank und Dateien konsistent im laufenden Betrieb herunter.
- S3 mit Litestream: laufende Sicherung; ein früherer Zeitpunkt lässt sich wiederherstellen (unten).
- Geplante Sicherung: täglich oder stündlich eine konsistente Kopie der Datenbank, mit S3 in den Bucket unter
backups/, sonst in den Datenordner – mit Schlüssel verschlüsselt (Verschlüsselung). Zusätzlich auf einen eigenen Server per SFTP, auf Wunsch mit allen Dateien, oder über eine SMB- oder NFS-Freigabe. Vor dem ersten Konto entsteht keine geplante Sicherung (Demo-Konten und das Entwicklungskonto zählen nicht) – so legt eine neue Instanz keine leere Kopie neben die Sicherungen einer alten. - Volume-Backup des Hosts oder in Coolify. Für eine konsistente Kopie den Container vorher stoppen.
- Von Hand im laufenden Betrieb:
sqlite3 /app/data/flowplan.sqlite "VACUUM INTO '/backup/flowplan.sqlite'"Dazu uploads/ und web-push-keys.json mitsichern.
Mit PostgreSQL werden die geplanten Sicherungen und Jetzt sichern zu pg_dump-Archiven (flowplan-….dump), Litestream entfällt; Ziele, Verschlüsselung und Aufbewahrung bleiben gleich. Siehe Sicherungen mit pg_dump.
Das Inhaltsarchiv unter Einstellungen → Import & Export → Export → Arbeitsbereich als ZIP sichert einen Arbeitsbereich, ersetzt aber keine Instanzsicherung mit Konten und Rechten.
Sicherung per SFTP
Die geplante Sicherung kann zusätzlich auf einen eigenen Server gehen – ein NAS, einen Backup-Server oder einen gemieteten Speicher mit SSH-Zugang. Einrichten unter Administration → Speicher & Sicherung → SFTP-Ziel:
- Server, Port (22) und Benutzer, Anmeldung mit Passwort oder privatem Schlüssel (OpenSSH oder PEM, optional mit Passphrase). Passwort, Schlüssel und Passphrase speichert Flowplan nur verschlüsselt (gespeicherte Geheimnisse); die Oberfläche zeigt danach nur noch, dass eines gespeichert ist.
- Ordner auf dem Server: relativ zum Anmeldeordner oder absolut (
/srv/backups/flowplan);..ist nicht erlaubt. Fehlt er, legt Flowplan ihn an. - Aufbewahren: so viele Sicherungen bleiben im Ordner, ältere werden entfernt.
- Dateien mitsichern: spiegelt die hochgeladenen Dateien nach
uploads/im Ordner. Neue Dateien kommen bei jeder Sicherung dazu; Dateien, die in Flowplan endgültig gelöscht sind, wandern nach.deleted/uploads/(verzögertes Löschen). Dateien, die die Datenbank noch verzeichnet, werden dort nie weggeräumt. Fehlt der Ordneruploads/oder ist er leer, obwohl die Datenbank Dateien verzeichnet (etwa ein nicht eingehängtes Volume), lässt die Sicherung das Spiegeln mit einem Fehler aus; die Datenbank wird trotzdem übertragen. Dateien, die wegenS3_LOCAL_CACHEnur im Bucket liegen, zählen als vorhanden: Sie werden aus dem Bucket gelesen. - Mit
FLOWPLAN_ENCRYPTION_KEYist alles auf dem Server verschlüsselt – die Datenbank wie in S3 und im Datenordner (flowplan-….sqlite.enc), jede Datei einzeln (Verschlüsselung).
Hostschlüssel: Beim ersten Verbindung testen zeigt Flowplan den Fingerabdruck des Servers (SHA256:…), noch bevor es Zugangsdaten sendet. Vergleiche ihn auf dem Server mit ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub und bestätige ihn mit Schlüssel vertrauen. Meldet sich der Server später mit einem anderen Schlüssel (Neuinstallation – oder jemand schaltet sich dazwischen), stoppt jede Übertragung, und die Administration zeigt alten und neuen Fingerabdruck; erst nach Neuen Schlüssel annehmen geht es weiter. Ein anderer Server oder Port braucht immer eine neue Bestätigung.
Die SFTP-Sicherung läuft mit jeder geplanten Sicherung (täglich oder stündlich, Geplante Datenbanksicherung muss an sein); Jetzt sichern im SFTP-Ziel überträgt sofort. Letzte Übertragung und letzter Fehler stehen darunter und in der Statuszeile oben.
Auf dem Server reicht ein eingeschränkter Zugang, etwa mit OpenSSH:
Match User flowplan
ChrootDirectory /srv/sftp/flowplan
ForceCommand internal-sftp
AllowTcpForwarding noVerzögertes Löschen
Eine aufbewahrte Sicherung soll sich immer vollständig wiederherstellen lassen – auch mit den Dateien, die seitdem gelöscht wurden. Deshalb entfernt Flowplan gelöschte Dateien auf dem SFTP-Server (mit Dateien mitsichern) und im S3-Bucket nicht sofort:
- Sie wandern nach
.deleted/uploads/(SFTP: im Ordner, S3: unter<Präfix>/). Der Name bekommt den Zeitpunkt des Verschiebens angehängt (<Datei>.<Millisekunden seit 1970>), damit er auch nach dem Kopieren des Ordners oder auf einer anderen Instanz erhalten bleibt. - Endgültig entfernt werden sie bei einer späteren Sicherung, sobald sie vor der ältesten noch aufbewahrten Sicherung verschoben wurden – dann braucht sie keine mehr. Im Bucket zusätzlich frühestens nach einem Tag, so weit reicht der Verlauf von Litestream zurück. Mehr Aufbewahren heißt also auch: gelöschte Dateien bleiben länger.
- Taucht eine gelöschte Datei wieder auf (etwa nach einer Wiederherstellung), holt die SFTP-Sicherung sie aus
.deleted/uploads/zurück, statt sie neu zu übertragen. - Beim Wiederherstellen sucht Flowplan eine Datei, die in
uploads/fehlt, in.deleted/uploads/.
Ohne geplante Sicherung (Geplante Datenbanksicherung aus) löscht Flowplan im Bucket sofort – es gäbe keine Sicherung, die die Datei braucht.
SMB- oder NFS-Freigabe
SMB und NFS spricht Flowplan nicht selbst – dafür bräuchte der Container Mount-Rechte. Stattdessen hängt Docker die Freigabe als Volume ein, und die geplante Sicherung schreibt in den Ordner backups/ des Datenordners (das lokale Ziel, also ohne S3_BUCKET):
services:
flowplan:
volumes:
- flowplan-data:/app/data
# Die Freigabe über den Ordner der Sicherungen legen.
- nas-backups:/app/data/backups
volumes:
flowplan-data:
# SMB/CIFS (auf dem Docker-Host wird cifs-utils gebraucht)
nas-backups:
driver: local
driver_opts:
type: cifs
device: "//nas.example.lan/flowplan"
o: "username=flowplan,password=${NAS_PASSWORD},uid=1000,gid=1000,file_mode=0600,dir_mode=0700,vers=3.0"Für NFS stattdessen:
nas-backups:
driver: local
driver_opts:
type: nfs
o: "addr=nas.example.lan,nfsvers=4,rw"
device: ":/export/flowplan"uid=1000 ist der Benutzer node, unter dem Flowplan läuft; bei NFS muss der Export für diese UID beschreibbar sein. Das Passwort kommt aus einer .env-Datei neben der compose.yaml. In Panels wie 1Panel oder Portainer heißt das „Volume mit Treiber local und Optionen“ bzw. „CIFS/NFS-Volume“.
Nur den Ordner backups/ auf die Freigabe legen, nie den ganzen Datenordner: SQLite braucht zuverlässige Dateisperren, die SMB und NFS nicht garantieren. Die Freigabe erhält nur die Datenbank – für die Dateien die Instanzsicherung herunterladen oder das SFTP-Ziel mit Dateien mitsichern nutzen.
Kontingente
FLOWPLAN_WORKSPACE_QUOTA_MB oder Administration → Grenzen & Aufbewahrung legt ein Standard-Kontingent je Arbeitsbereich fest; unter Administration → Arbeitsbereiche lässt es sich je Arbeitsbereich überschreiben. Uploads, Kopien, Vorlagen und Importe über dem Kontingent werden abgelehnt.