OpenWebUI + Azure OpenAI: Enterprise-Chat DSGVO

TL;DR

OpenWebUI lässt sich in unter 4 Stunden mit Azure OpenAI zu einem DSGVO-konformen Enterprise-Chat verbinden. Die Kombination bietet GPT-4o-Qualität mit voller Datenkontrolle, EU-Datenresidenz und Active-Directory-Integration. Die laufenden Kosten liegen bei €350-€600 pro Monat für 50 Nutzer, 68% günstiger als ChatGPT Enterprise. Diese Anleitung zeigt jeden Schritt von Docker-Setup bis Private Endpoint.

Warum OpenWebUI + Azure statt ChatGPT Enterprise

Deutsche Mittelständler stehen vor einem Dilemma: ChatGPT Enterprise bietet exzellente KI-Qualität, aber Daten fließen zu OpenAI in die USA. Lokale Open-Source-Modelle via Ollama sind DSGVO-konform, erreichen aber nicht GPT-4-Niveau für anspruchsvolle Unternehmensanwendungen.

Die Kombination aus OpenWebUI und Azure OpenAI löst dieses Dilemma:

Azure OpenAI verarbeitet Daten ausschließlich in der gewählten EU-Region (Frankfurt oder Amsterdam). Microsoft garantiert vertraglich, dass keine Prompts für Modelltraining verwendet werden. Zusammen mit dem Auftragsverarbeitungsvertrag (AVV) ergibt sich eine belastbare DSGVO-Grundlage.

Schritt-für-Schritt: OpenWebUI mit Azure OpenAI verbinden

Schritt 1: Azure OpenAI Ressource erstellen

# Azure CLI - OpenAI Ressource in Deutschland
az_befehle:
  ressource_erstellen:
    befehl: >
      az cognitiveservices account create
      --name "firma-openai"
      --resource-group "rg-ki-produktion"
      --kind "OpenAI"
      --sku "S0"
      --location "germanywestcentral"
      --custom-domain "firma-openai"

  modell_deployen:
    befehl: >
      az cognitiveservices account deployment create
      --name "firma-openai"
      --resource-group "rg-ki-produktion"
      --deployment-name "gpt-4o-prod"
      --model-name "gpt-4o"
      --model-version "2024-11-20"
      --model-format "OpenAI"
      --sku-capacity 80
      --sku-name "Standard"

  api_key_abrufen:
    befehl: >
      az cognitiveservices account keys list
      --name "firma-openai"
      --resource-group "rg-ki-produktion"
      --query "key1" -o tsv

  private_endpoint:
    befehl: >
      az network private-endpoint create
      --name "pe-openai-firma"
      --resource-group "rg-ki-produktion"
      --vnet-name "vnet-firma"
      --subnet "subnet-ki"
      --private-connection-resource-id "/subscriptions/.../firma-openai"
      --connection-name "openai-connection"

Entscheidend: Die Region germanywestcentral stellt sicher, dass alle Daten im Rechenzentrum Frankfurt verarbeitet werden. Der Private Endpoint verhindert, dass Daten über das öffentliche Internet übertragen werden.

Schritt 2: OpenWebUI deployen

# docker-compose.yml - OpenWebUI mit Azure OpenAI
version: "3.8"
services:
  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: openwebui
    environment:
      # Azure OpenAI Konfiguration
      - OPENAI_API_BASE_URL=https://firma-openai.openai.azure.com/
      - OPENAI_API_KEY=${AZURE_OPENAI_KEY}
      - OPENAI_API_TYPE=azure
      - OPENAI_API_VERSION=2024-10-21
      # SSO via Azure AD
      - ENABLE_OAUTH=true
      - OAUTH_PROVIDER_NAME=Microsoft
      - OAUTH_CLIENT_ID=${AZURE_AD_CLIENT_ID}
      - OAUTH_CLIENT_SECRET=${AZURE_AD_CLIENT_SECRET}
      - OPENID_PROVIDER_URL=https://login.microsoftonline.com/${TENANT_ID}/v2.0
      # Sicherheit
      - WEBUI_SECRET_KEY=${WEBUI_SECRET_KEY}
      - ENABLE_SIGNUP=false
    ports:
      - "3000:8080"
    volumes:
      - openwebui_data:/app/backend/data
    restart: unless-stopped

  postgres:
    image: postgres:16-alpine
    environment:
      POSTGRES_DB: openwebui
      POSTGRES_USER: ${DB_USER}
      POSTGRES_PASSWORD: ${DB_PASSWORD}
    volumes:
      - postgres_data:/var/lib/postgresql/data
    restart: unless-stopped

volumes:
  openwebui_data:
  postgres_data:

Nach docker compose up -d ist OpenWebUI unter http://localhost:3000 erreichbar. Die Azure-AD-Integration ermöglicht Login mit bestehenden Firmen-Accounts ohne separate Passwortverwaltung.

Schritt 3: HTTPS und Reverse Proxy

Für den produktiven Einsatz wird ein Reverse Proxy mit TLS-Terminierung benötigt. NGINX eignet sich für Mittelstandsumgebungen:

# nginx-konfiguration fuer openwebui
server:
  listen: "443 ssl http2"
  server_name: "chat.firma.de"
  ssl_certificate: "/etc/ssl/certs/firma.crt"
  ssl_certificate_key: "/etc/ssl/private/firma.key"
  ssl_protocols: "TLSv1.2 TLSv1.3"

  security_headers:
    strict_transport_security: "max-age=31536000"
    x_frame_options: "SAMEORIGIN"
    x_content_type_options: "nosniff"

  location:
    path: "/"
    proxy_pass: "http://openwebui:8080"
    websocket_support: true
    rate_limit: "10 requests/second burst 20"

Schritt 4: RAG mit Firmendokumenten

OpenWebUI unterstützt Document Upload direkt in der Oberfläche. Für größere Dokumentenmengen ist eine Vektor-Datenbank empfehlenswert:

1. Dokumente über "Workspace" > "Documents" hochladen (PDF, DOCX, TXT)
2. Automatische Vektorisierung mit Sentence-Transformers
3. Im Chat mit @Dokumentname auf spezifische Dokumente referenzieren
4. Das System retrieves relevante Passagen und übergibt sie als Kontext an GPT-4o

Für die Implementierung umfassender KI-Lösungen bieten wir einen separaten Leitfaden.

Kostenvergleich: 50-Nutzer-Szenario über 12 Monate

OpenWebUI + Azure OpenAI:

• Azure OpenAI API (GPT-4o, moderate Nutzung): €350/Monat
• Server (On-Premise oder Hetzner Cloud): €50/Monat
• Einmalige Einrichtung: €2.500
• Jahreskosten: €7.300

ChatGPT Enterprise:

• 50 Lizenzen: €1.250/Monat
• Jahreskosten: €15.000

Ersparnis mit OpenWebUI + Azure: €7.700 pro Jahr (51%). Bei 100 Nutzern steigt die Ersparnis auf €16.400 pro Jahr.

Eine detaillierte ROI-Berechnung für KI-Projekte hilft bei der internen Argumentation.

DSGVO-Compliance Checkliste

Die Kombination OpenWebUI + Azure OpenAI erfüllt die DSGVO-Anforderungen, wenn folgende Punkte umgesetzt sind:

• Azure-Region auf germanywestcentral oder westeurope gesetzt
• AVV (Auftragsverarbeitungsvertrag) mit Microsoft abgeschlossen
• Private Endpoint aktiviert (kein öffentlicher Internet-Zugriff)
• Opt-Out für Modelltraining bestätigt (Microsoft-Standard seit 2024)
• Verarbeitungsverzeichnis nach Art. 30 DSGVO aktualisiert
• Datenschutz-Folgenabschätzung bei Verarbeitung personenbezogener Daten durchgeführt
• Mitarbeiter über KI-Nutzung informiert und geschult
• Log-Retention auf maximal 30 Tage begrenzt
• Lösch- und Auskunftsprozesse für Chat-Historien definiert

Details zu KI-Budgetierung und Kostenplanung unterstützen die Projektfreigabe.

Praxisbeispiel: Mittelständischer Maschinenbauer

Ein Maschinenbauer mit 280 Mitarbeitern in Nordrhein-Westfalen implementierte OpenWebUI + Azure OpenAI für drei Anwendungsfälle:

1. Technische Dokumentation durchsuchen: 8.000 PDF-Handbücher über RAG zugänglich gemacht. Suchzeit von 45 Minuten auf 3 Minuten reduziert.
2. E-Mail-Entwürfe für den Vertrieb: Angebotstexte in Deutsch und Englisch in 2 Minuten statt 25 Minuten.
3. Onboarding neuer Mitarbeiter: FAQ-Bot beantwortet 80% der Standardfragen ohne Personalaufwand.

Ergebnis nach 6 Monaten: €52.000 Produktivitätsgewinn bei €5.400 laufenden Kosten. Kein einziger DSGVO-Vorfall.

Weiterführende Informationen zur Ollama-Konfiguration ergänzen das Setup für lokale Modelle als Fallback.

FAQ: Die 5 wichtigsten Fragen

1. Kann ich OpenWebUI gleichzeitig mit Azure OpenAI und lokalen Ollama-Modellen nutzen? Ja. OpenWebUI unterstützt mehrere Backends parallel. Nutzer können im Chat zwischen GPT-4o (Azure) und lokalen Modellen wie Llama 3.1 (Ollama) wechseln. Für vertrauliche Anfragen lässt sich ein Routing einrichten, das bestimmte Themen automatisch an das lokale Modell leitet.

2. Wie hoch sind die Azure-API-Kosten bei intensiver Nutzung? Bei 50 Nutzern mit durchschnittlich 20 Anfragen pro Tag (je 1.500 Tokens) liegen die Kosten bei €350-€500 pro Monat. Bei 100 Nutzern: €700-€1.000. Azure bietet Budget-Alerts und Hard-Limits über API Management.

3. Brauche ich einen dedizierten Server für OpenWebUI? Nein. OpenWebUI läuft in einem Docker-Container mit minimalen Anforderungen (2 CPU-Kerne, 4 GB RAM). Ein bestehender Linux-Server oder eine Hetzner-Cloud-Instanz für €15/Monat genügt. Die KI-Berechnung findet in Azure statt.

4. Wie sichere ich den Zugang für Mitarbeiter ab? Über Azure AD / Entra ID mit Single Sign-On (SSO). Mitarbeiter melden sich mit ihren bestehenden Windows-Credentials an. Multi-Faktor-Authentifizierung (MFA) ist über Azure AD ohne Zusatzkosten aktivierbar.

5. Was passiert, wenn Azure einen Ausfall hat? OpenWebUI speichert alle Chat-Historien lokal. Bei einem Azure-Ausfall können Nutzer auf ein konfiguriertes Ollama-Backend ausweichen. Die Chat-Funktion bleibt verfügbar, allerdings mit reduzierter Modellqualität.

Fazit und nächste Schritte

OpenWebUI + Azure OpenAI ist die pragmatischste Lösung für DSGVO-konformen Enterprise-Chat im deutschen Mittelstand. Die Kombination bietet GPT-4o-Qualität ohne Datenschutzrisiko und zu einem Bruchteil der ChatGPT-Enterprise-Kosten.

Starten Sie mit dem Docker-Setup auf einem Testserver und verbinden Sie 5 Pilotnutzer. Unser Komplett-Leitfaden für KI im Unternehmen bietet den strategischen Rahmen. Bei Fragen erreichen Sie uns unter kontakt@ki-mittelstand.eu.