Konfiguration: KI, Sprachnotizen und Push

#Sprachnotizen (Whisper)

Sprachnotizen im Editor werden immer als Audio gespeichert. Mit einem Whisper-Dienst im eigenen Netz macht Flowplan daraus zusätzlich Text; die Aufnahme verlässt dabei deinen Server nicht.

Beispiel mit speaches (öffnet in neuem Tab) (früher faster-whisper-server) im selben Compose-Projekt:

  whisper:
    image: ghcr.io/speaches-ai/speaches:latest-cpu
    volumes:
      - whisper-models:/home/ubuntu/.cache/huggingface/hub
    restart: unless-stopped

Bei Flowplan dann WHISPER_URL=http://whisper:8000 setzen. Neuere speaches-Versionen laden Modelle nicht selbst; einmalig herunterladen, etwa aus dem Flowplan-Container:

node -e "fetch('http://whisper:8000/v1/models/Systran/faster-whisper-small',{method:'POST'}).then(r=>console.log(r.status))"

small braucht rund 1 GB Arbeitsspeicher und transkribiert auf einer normalen CPU etwa in Echtzeit; base ist schneller und ungenauer, medium genauer und deutlich langsamer. Den Whisper-Dienst nicht öffentlich erreichbar machen – nur Flowplan spricht mit ihm.

whisper.cpp als Whisper-Dienst (schnell auf Apple Silicon oder mit GPU): whisper-server mit dem OpenAI-Pfad, mit Umwandlung der Aufnahmen (braucht ffmpeg auf dem Rechner des Dienstes, für WebM) und mit Stilleerkennung starten:

whisper-server -m models/ggml-large-v3-turbo.bin --host 0.0.0.0 --port 8080 \
  --inference-path /v1/audio/transcriptions --convert \
  --vad -vm models/ggml-silero-v5.1.2.bin -mc 0 -ml 400 -sow

--vad -vm … überspringt Stille (das Silero-Modell lädt das Skript models/download-vad-model.sh von whisper.cpp herunter), -mc 0 verhindert, dass sich Whisper an einer erfundenen Zeile festbeißt und sie wiederholt, -ml 400 -sow begrenzt die Länge der Segmente und trennt an Wortgrenzen – das gibt genauere Quellen-Chips. Bei Flowplan dann WHISPER_URL=http://whisper:8080 setzen. Bei faster-whisper/speaches erreichst du dasselbe mit WHISPER_VAD=on.

Lange Aufnahmen: whisper.cpp mit large-v3-turbo brauchte auf einem M2 rund 380 Sekunden für 8,4 MB; auf einer CPU dauert es deutlich länger. Flowplan wartet eine Minute pro MB; reicht das nicht, WHISPER_TIMEOUT_SECONDS erhöhen. Bricht eine Transkription ab, sehen Admins im Besprechungsblock die Ursache.

#KI

Alles optional; die Werte gelten, bis ein Admin unter Administration → KI speichert. Details: KI.

#Push-Benachrichtigungen

Die VAPID-Schlüssel dürfen sich nicht ändern, sonst verlieren alle Browser ihr Abonnement. Ausgehendes HTTPS zu den Push-Diensten von Apple, Google und Mozilla (Web-Push) und zum Push-Relay muss möglich sein.

#Push-Relay und Ende-zu-Ende-Verschlüsselung

Mitteilungen an die Apps gehen über das Flowplan-Push-Relay (push.flowplan.org). Nur das Relay hat die Zugangsdaten für Apple (APNs) und Google (Firebase); deine Instanz braucht keine eigenen – auch selbst gehostete Instanzen schicken so an die Apps aus dem App Store und Google Play.

• Ende-zu-Ende-verschlüsselt: Jede App-Installation erzeugt pro Instanz ein Schlüsselpaar (X25519) und gibt der Instanz nur den öffentlichen Schlüssel. Die Instanz verschlüsselt jede Mitteilung damit (HKDF-SHA256, AES-256-GCM, ein neuer Einmalschlüssel je Mitteilung); erst die App auf dem Gerät entschlüsselt sie. Relay, Apple und Google sehen nur Chiffretext – dazu die Art der Mitteilung, welche Knöpfe sie hat, die Zahl am App-Symbol und wann sie geschickt wurde. Lässt sich eine Mitteilung nicht entschlüsseln, zeigt die App „Neue Mitteilung“.
• Signiert: Die Instanz hat ein eigenes Signaturschlüsselpaar (Ed25519), das beim ersten Gebrauch entsteht. Der private Schlüssel liegt nur verschlüsselt in der Datenbank (wie gespeicherte Geheimnisse, siehe oben); den öffentlichen veröffentlicht die Instanz unter /.well-known/flowplan-push. Das Relay nimmt nur signierte Anfragen an und nur für Geräte, die sich für genau diese Instanz angemeldet haben. Dafür muss APP_URL die öffentliche HTTPS-Adresse sein, und /.well-known/flowplan-push muss von außen erreichbar sein.
• Was gespeichert wird: Pro App-Installation das Relay-Token (nur verschlüsselt) und der öffentliche Schlüssel. Beides verschwindet mit dem Abmelden, dem Entfernen unter Angemeldete Geräte oder wenn das Relay meldet, dass das Gerät nicht mehr erreichbar ist. Protokolliert werden weder Tokens noch Schlüssel noch Inhalte.
• Live-Aktivitäten (iPhone) für Zeiterfassung und Fokus aktualisiert die Instanz ebenfalls über das Relay, wenn sich der Zustand ändert. Ihren Inhalt zeichnet iOS selbst – er lässt sich nicht verschlüsseln. Deshalb enthält er standardmäßig nur Zeiten und die Phase, keine Titel (MOBILE_PUSH_CONTENT=on schickt den Titel mit).
• Ältere App-Versionen ohne Relay bekommen Mitteilungen weiter über den Push-Dienst von Expo (exp.host), standardmäßig ohne Text.
• Signaturschlüssel wechseln: node --import tsx scripts/push-relay-key.mjs rotate im Repository bzw. als Administrator POST /api/admin/operations mit {"action":"pushRelay.rotate"}. Der neue Schlüssel wird sofort veröffentlicht und signiert nach gut einer Stunde; der alte bleibt 7 Tage gelistet (--grace-days bzw. graceDays). Bei einem womöglich bekannt gewordenen Schlüssel --immediate bzw. "immediate": true: der neue signiert sofort, alle alten verschwinden. {"action":"pushRelay.keys"} listet die Schlüssel (nur IDs und Daten). Oder unter Administration → Push-Benachrichtigungen → Schlüssel wechseln ….
• Eigenes Relay: nur zusammen mit einer eigenen App-Version – siehe Eigenes Push-Relay betreiben.
• Prüfen: Einstellungen → Benachrichtigungen → Testbenachrichtigung senden schickt sofort über Relay, Expo und Web-Push an die eigenen Geräte und zeigt je Gerät das Ergebnis – etwa dass das Relay die Instanz nicht verifizieren konnte (/.well-known/flowplan-push nicht erreichbar) oder nicht erreichbar ist. Administratoren sehen dazu Relay-Adresse, ob /.well-known/flowplan-push aktiv ist, und die verwendete APP_URL. Siehe Testbenachrichtigung.
• Zustand in der Administration: Administration → Push-Benachrichtigungen zeigt das verwendete Relay (offiziell oder eigenes), ob es an ist und sonst warum, ob es gerade erreichbar ist (/healthz, mit Antwortzeit), ob die Instanz ihr /.well-known/flowplan-push unter APP_URL selbst abrufen kann, die Signaturschlüssel mit Schlüssel wechseln …, die Zustellungen der letzten 24 Stunden je Kanal und den letzten Fehler. Siehe Administration → Push-Benachrichtigungen.

Für die Datenschutzerklärung einer Instanz etwa: „Push-Mitteilungen an die Flowplan-Apps werden Ende-zu-Ende-verschlüsselt über den Push-Dienst von Flowplan (push.flowplan.org) und die Dienste von Apple (APNs) bzw. Google (Firebase Cloud Messaging) zugestellt. Diese Dienste erhalten ein Geräte-Token, die Adresse dieser Instanz, den Zeitpunkt und die Art der Mitteilung, nicht aber ihren Inhalt.“ – mit MOBILE_PUSH_CONTENT=on oder Mitteilungen über Expo entsprechend ergänzen.

#Eigenes Push-Relay betreiben

Das Relay ist Open Source (github.com/yannicschuller/flowplan-push (öffnet in neuem Tab)) und lässt sich selbst betreiben. Für die offiziellen Flowplan-Apps (iPhone und iPad aus dem App Store (öffnet in neuem Tab), Android von flowplan.org/download) brauchst du das nicht – sie nehmen nur Mitteilungen über push.flowplan.org an, denn Apple und Google stellen an diese Apps nur mit Flowplans Schlüsseln zu. Ein eigenes Relay ist sinnvoll, wenn du eine eigene App-Version baust (eigene Bundle-ID, eigenes Apple-Team) oder Instanzen im internen Netz erreichen willst.

Betrieb, Schlüsselwechsel, Sperren missbräuchlicher Instanzen (node dist/src/cli.js block <origin> im Container) und Sicherungen beschreibt die README des Relays.