Whisper lokal: Meeting-Protokolle 95% Genauigkeit + €0 Cloud-Kosten [DSGVO]

Warum jetzt?

Telefonate, Sprachnachrichten und Videos sind zentrale Informationsquellen – bleiben aber oft unstrukturiert. Moderne ASR‑, Übersetzungs‑ und Sprachsynthese‑Modelle (TTS) ermöglichen Echtzeit‑Transkription, Übersetzung und Antwortgenerierung – lokal betreibbar und damit DSGVO‑konform.

Reifegrad 2025

ASR: Whisper large‑v3 / distil‑whisper mit sehr guter de‑DE‑Qualität
NMT: NLLB‑200 / M2M‑100 / MarianMT, zusätzlich Qwen/Seamless für Streaming‑Szenarien
TTS: Piper/Coqui‑XTTSv2 für natürlich klingende deutsche Stimmen
Tool‑Use: Routing zu CRM/ERP/Service über strukturierte Ausgaben

Referenzarchitektur (Echtzeit)

ingest:
  rtp/sip: Asterisk/FreeSWITCH # Telefonie
  web: WebRTC/MediaSoup # Browser
  mobile: gRPC/WebSockets

pipeline:
  asr: faster-whisper (GPU) # 16 kHz stream, 200–500 ms Latenz
  nlu: LLM intent+slot # Klassifikation, Entity-Extraktion
  nmt: nllb-200 (de<->en/fr/it/pl)
  policy: pii-redaction + compliance rules
  actions: crm_api, ticket_api, email_api
  tts: piper-de or coqui-xtts (streamed)

platform:
  runtime: Ubuntu + Docker
  orchestrator: OpenWebUI tools / LangGraph
  llm-backend: Ollama (Qwen, Llama 3.1 Instruct)
  observability: Prometheus + Loki + Grafana
  identity: Keycloak/OIDC, RBAC

Kern‑Use‑Cases (DE)

Hotline‑Assistent (Inbound/Outbound)
- Live‑Transkription (deutsch), Intent‑Erkennung, strukturierte Ticketanlage
- Optionale Sofort‑Übersetzung für internationale Anrufer
Meeting‑Assistent
- Sprechertrennung, Kapitel/Entscheidungen, Action Items – auf Deutsch
Feldservice
- Sprachnotiz → Fehlercode/Seriennummer extrahieren → Ersatzteile vorschlagen
Training & E‑Learning
- Automatische Untertitel + Übersetzungen, TTS‑Vertonung in Deutsch

Modelle & Auswahl

ASR: Whisper large‑v3 (höchste Qualität), distil‑whisper (schneller), Vosk (CPU‑only)
NMT: NLLB‑200 (breite Sprachabdeckung), MarianMT (schnell, domänenspezifisch trainierbar)
TTS: Piper (leichtgewichtig, DE‑Stimmen), Coqui XTTSv2 (hochwertig, Mehrsprachigkeit)

Praxisregel: Für Hotline/Live Latenz < 800 ms anvisieren (Chunking + Streaming‑TTS).

DSGVO & Sicherheit

On‑Premises/Private Cloud (EU) betreiben; keine Audioframes an Dritte
PII‑Redaction (Name, IBAN, Telefonnummer) im Transkript vor Persistenz
Audit‑Trail (Art. 30 DSGVO), Löschkonzepte (z. B. 30/90 Tage), Zweckbindung
RBAC: Zugriff auf Roh‑Audio strikt beschränken; standardmäßig nur Textartefakte

Beispiel‑Pipeline (Python, offline‑Batch)

# Transkription (deutsch) + Übersetzung (de->en) + TTS (en)
from faster_whisper import WhisperModel
from transformers import pipeline
import soundfile as sf

# 1) ASR
audio_file = "call.wav"
model = WhisperModel("large-v3", device="cuda", compute_type="float16")
segments, info = model.transcribe(audio_file, language="de", vad_filter=True)
text_de = " ".join([seg.text for seg in segments]).strip()

# 2) NMT (de -> en)
translator = pipeline("translation", model="Helsinki-NLP/opus-mt-de-en")
text_en = translator(text_de, max_length=2048)[0]["translation_text"]

# 3) TTS (en)
# Beispiel mit Piper (CLI): piper --model en_US-amy-medium.onnx --text "{text_en}" --output out.wav
print({"de": text_de[:200], "en": text_en[:200]})

Latenz‑optimierte Echtzeit (Hinweise)

Streaming‑ASR (chunk 320 ms, 50% overlap), Partial Results ausgeben
Prompt‑Cache für NLU/LLM (Intent‑Erkennung)
Streaming‑TTS mit kleinen Audio‑Frames (40–80 ms)
GPU‑Tuning: FP16, Batch‑Größe, VAD aktivieren

Kosten & TCO (lokal)

Hardware‑Profil (Hotline 30 gleichzeitige Anrufe)
- 1× GPU (RTX 4090) für ASR/NMT/LLM klein → ~8.000 € CapEx
- Strom ~650 €/J, Wartung ~800 €/J → ~1.450 €/J OpEx
SaaS‑Äquivalent skaliert pro Minute/Zeichen – bei hohem Volumen meist teurer

KPIs

WER (Word Error Rate) deutsch < 10% (domänenspezifisch messen)
Intent‑Trefferquote > 85%
Median‑Latenz < 800 ms (Echtzeit), < 5 s (Batch)
Automatisierungsgrad (Tickets/Anliegen ohne Agent)

Implementierungsfahrplan (8–12 Wochen)

Woche 1–2: Telefonie‑Anbindung (SIP/RTMP), PoC mit 3–5 echten Anrufen
Woche 3–5: Intent‑Klassifikation, NMT‑Integration, DSGVO‑Redaction
Woche 6–8: CRM‑/Ticket‑Automatisierung, Monitoring, Alerting
Woche 9–12: UAT, Rollout, Schulung, kontinuierliches Tuning

Stolpersteine & Tipps

Audioqualität bestimmt Ergebnis: Headsets > Lautsprecher, Rauschunterdrückung einschalten
Dialekt & Fachjargon: domänenspezifische Korrekturwörterbücher nutzen
Übersetzung: juristische/medizinische Domänen separat evaluieren
Compliance: Consent‑Flows für Aufzeichnung (Ansage), Exportkontrollen

Fazit

Mit ASR + NMT + TTS entstehen mehrsprachige, automatisierte Voice‑Workflows, die Hotline‑Last reduzieren, Servicequalität heben und Daten im Unternehmen halten. Für den deutschen Mittelstand ist das der pragmatische Weg zu produktiver, DSGVO‑konformer Sprach‑KI – ohne Vendor‑Lock‑in.

FAQ

Welche Spracherkennungs-Software ist für Deutsch am besten?

Whisper (OpenAI) liefert die beste Deutsch-Erkennung (auch Dialekte), ist Open Source und selbst hostbar. Azure Speech ist Enterprise-ready mit niedrigerer Latenz. Für maximale DSGVO-Kontrolle: Whisper lokal auf eigenen Servern.

Wie genau ist KI-Übersetzung im Vergleich zu menschlichen Übersetzern?

Moderne NMT (Neural Machine Translation) erreicht 85-95% Qualität menschlicher Übersetzung bei Standardtexten. Bei Fachterminologie (Recht, Medizin) empfehlen wir domänenspezifisches Fine-Tuning oder hybride Workflows mit menschlicher Nachbearbeitung.

Kann ich Whisper DSGVO-konform selbst hosten?

Ja, Whisper ist Open Source und läuft vollständig lokal. Keine Daten verlassen Ihre Infrastruktur. Für Production empfehlen wir: GPU-Server (RTX 3080+), Docker-Container, und Faster-Whisper für 4x bessere Performance.

Was kostet eine On-Premise Spracherkennung im Vergleich zur Cloud?

Cloud (Azure/Google): €0,02-0,04 pro Minute transkribiertem Audio. On-Premise: Hardware einmalig €5.000-15.000, dann nahezu kostenlos. Break-Even bei ca. 100.000 Minuten/Jahr (ca. 55 Stunden/Tag).

Wie automatisiere ich Meeting-Protokolle mit Sprach-KI?

Stack: Whisper (Transkription) → LLM (Llama/GPT) (Zusammenfassung, Action Items) → Export (Confluence, SharePoint). Komplette Pipeline in 4-6 Wochen implementierbar, ROI bei 2+ Stunden Meetings/Tag sofort positiv.

Brauchen Sie Unterstützung bei einer on‑prem Sprach‑KI? Wir liefern Architektur, PoC und produktionsreife Implementierungen inklusive Security‑Hardening.