KI-Plattform für den Mittelstand: Der offene Standard (LiteLLM, vLLM, eigene GPUs)

Kurzantwort: Der offene KI-Standard für den deutschen Mittelstand

2026 haben die meisten Unternehmen ab 100 Mitarbeitern KI-Wildwuchs: drei Chat-Tools, fünf Wissensdatenbanken, keine Governance, keiner weiß, wo die Daten landen. Der richtige Weg ist kein KI-Tool von der Stange — sondern eine KI-Plattform, ein offener Standard, den Sie besitzen. LiteLLM als Gateway (alle Modelle, Budgets, Routing), Open WebUI als Oberfläche, eigene GPUs oder EU-Cloud, Wissensbasis auf Ihren Daten, Governance am Gateway. Kosten: ab 0,02 bis 0,05 Euro pro Mitarbeiter und Tag mit Token statt 30 Euro Copilot-Lizenz.

Die ehrliche Rechnung für 500 Mitarbeiter über 3 Jahre:

Kernbotschaft: Copilot ist ein Werkzeug. Eine KI-Plattform ist ein Asset. Bei ~100 Nutzern sind die SaaS-Optionen rechnerisch günstiger. Der Kostengleichstand liegt bei etwa 200 Nutzern (Managed Service), im Eigenbetrieb schon bei ~100.

Der Markt: Windows, Klon, Linux — was ist Ihre KI?

Der Markt für Unternehmens-KI hat genau drei Schubladen. Diese Einordnung sortiert die Landschaft und zeigt, warum jeder dritte Pfad strukturell verliert:

Windows: Copilot und die geschlossenen Plattformen

Microsoft Copilot, Anthropic, OpenAI — die tiefste Integration, null Setup, das Ökosystem funktioniert einfach. Aber: Sitzpreis pro Nutzer, keine Modellwahl, Roadmap fremdbestimmt. Wer Copilot als Plattform wählt, kauft die Zukunft des Anbieters, nicht sein eigenes Asset.

Vorteile: sofort einsatzbereit, beste Integration in M365, keine Betriebsverantwortung Nachteile: ~30 EUR pro Nutzer/Monat, kein Exit, kein Modellwechsel, Daten verlassen das Unternehmen, Roadmap fremdbestimmt

Der Klon: KI-Tools von der Stange

Deutsche Anbieter wie Langdock oder vergleichbare KI-Tools versprechen Kontrolle, liefern aber weder die Integration von Windows (M365, Azure, Copilot Studio) noch die Kontrolle von Linux (Open Source, eigene GPUs, Code-Eigentum). Sitzpreis wie Windows, ohne die Integration; Betrieb wie SaaS, ohne die Kostenvorteile.

Vorteile: deutsche Ansprechpartner, DSGVO-Commitment Nachteile: weder Integration noch Kontrolle, Sitzpreis plus Betriebskosten, keine Modellfreiheit, Vendor-Lock-in

Der Satz an den CIO: "Entweder Sie nehmen Windows oder Sie nehmen Linux. Aber warum sollten Sie einen Klon von Windows nehmen?"

Linux: Der offene KI-Standard

Ein Open-Source-Gateway (LiteLLM), eine Wissensbasis auf den eigenen Daten, Governance durch das Gateway, jede Oberfläche davor (Web-Chat, Desktop-Agent, CLI). Gebaut aus etablierten Open-Source-Bausteinen, betrieben vom Unternehmen oder als Managed Service. Nicht Copilot, nicht Langdock — der offene Standard.

Vorteile: Kontrolle über Daten, Modelle, Kosten; Asset-Eigentum; exit-fähig; Kosten ab 0,02 EUR/Mitarbeiter/Tag; kein Vendor-Lock-in; Modellwechsel innerhalb von Stunden Nachteile: Betriebsverantwortung (0,1-0,25 FTE oder Managed Service), initialer Setup-Aufwand

Architektur: Eine KI-Plattform besteht aus vier Schichten

┌──────────────────────────────────────────────────────┐
│   Oberflächen: Web-Chat, Desktop-Agent, CLI          │
│         Open WebUI, Copilot, Codex, Claude Code      │
├──────────────────────────────────────────────────────┤
│   Gateway: LiteLLM — alle Modelle, alle Kosten,       │
│   alle Budgets, Guardrails, Datenklassifizierung      │
├──────────────────────────────────────────────────────┤
│   Wissensbasis: pgvector, Qdrant                      │
│   Eigene Daten, RAG, Embeddings, kein Drittanbieter   │
├──────────────────────────────────────────────────────┤
│   Inferenz: eigene GPUs (vLLM), Azure OpenAI, AWS     │
│   Model Shift ist Konfig, kein Projekt                │
└──────────────────────────────────────────────────────┘

Jede Schicht ist austauschbar. Jedes neue, bessere oder billigere Modell ist eine Konfigurationsänderung, kein Projekt. Das ist der Unterschied zwischen einer Plattform und einem Tool: bei der Plattform gehört Ihnen die Integration, die Wissensbasis, der Code.

Layer 1: Inferenz — Ihre GPUs, Ihre Kontrolle

Die Hardware-Ebene: KI-Server kaufen oder mieten. On-Premise mit eigenen GPUs — die tiefste Kontrolle, höchste Kosten bei hoher Auslastung. GPU-Server mieten — flexibel, skalierbar, mittlere Kosten. Self-Hosted vs. Cloud-KI — die Abwägung.

vLLM für Produktions-Durchsatz, Ollama für den Einstieg, LM Studio für lokale Desktops. GPU-Treiber & CUDA Setup zeigt die Installation. Gebrauchte GPUs senken die Hardware-Kosten um 40-60%.

Modell-Vergleich: KI-Modelle für On-Premise — Llama, Qwen, Mistral, DeepSeek, GLM für Ihre GPUs. DeepSeek V4 Flash — VRAM-Rechnung für 284B-Modelle. SOOFI selbst hosten — deutsches Open-Weight-Modell.

Layer 2: Wissensbasis — RAG auf Ihren Daten

RAG über eigene Daten: Vom PDF zur Wissensdatenbank. Eigene Dokumente, eigene Struktur, keine externen APIs. DSGVO-Dokumentenanalyse On-Premise — vertrauliche Daten bleiben im Haus. On-Premise-Vektorsuche für Banken — sensibelste Use-Cases. Cloud vs. On-Premise: Azure OpenAI vs. vLLM — TCO-Rechnung im Detail.

Rechnung: Bei einem ganzen Arbeitstag — Angebote erstellen, editieren, Recherche — kostet das Modell 1,3 Cent. Für den normalen Büronutzer sind 0,02-0,05 EUR pro Tag die realistische Größe.

Layer 3: Gateway — LiteLLM als Dreh- und Angelpunkt

LiteLLM als OpenAI-kompatible API-Schicht mit Fallback-Routing, Budget-Tracking, Datenklassifizierung. Der Dreh- und Angelpunkt: hier wird entschieden, welches Modell welche Daten sieht. LiteLLM vs. OpenRouter für die Gateway-Entscheidung.

Warum LiteLLM statt direkter API-Aufruf:

Layer 4: Oberfläche — Open WebUI, nicht Ihre Chat-UI

Open WebUI als Chat-Oberfläche, LM Studio vs. Ollama für Desktop-Nutzung. Die Oberfläche ist beliebig — das Gateway ist das Fundament. Dify vs. Open WebUI — die Oberflächen-Wahl.

Die Nutzer-Aufteilung (Beispiel 1.000 Mitarbeitende):

980 Leute brauchen keine 30-EUR-Lizenz, sie brauchen ein gutes günstiges Modell auf einer sauberen Oberfläche. Die 20, die wirklich Frontier-Leistung brauchen, bekommen sie — und selbst das ist Token-Spend, nicht Lizenz.

Souveränitätsstufen: Von Azure bis Air-Gapped

Eine KI-Plattform wächst mit den Anforderungen — immer dieselbe Architektur, nur andere Infrastruktur:

Der Stufenwechsel ist eine Betriebsfrage, keine Architekturfrage. Einmal entschieden, danach technisch durchgesetzt am Gateway: öffentlich → alle Wege; intern → EU-Cloud mit Zero-Data-Retention; vertraulich → nur eigenes Gateway mit Guardrails, keine US-Modelle; streng vertraulich → nur selbst gehostete Modelle.

Hardware-Einstieg: KI-Server konfigurieren — erste Schritte. KI-Server mit Docker — Containerisierung. KI-Server mit Kubernetes — Cluster-Betrieb.

TCO: Die Rechnung, die den CFO überzeugt

Die 3-Jahres-TCO für 500 Nutzer (Annahmen offengelegt):

Ehrlichkeits-Pflicht: Bei ~100 Nutzern sind die SaaS-Optionen rechnerisch günstiger. Der Kostengleichstand liegt bei etwa 200 Nutzern (Managed Service), im Eigenbetrieb schon bei ~100. Wer die Rechnung ohne diesen Satz vorträgt, verliert sie beim ersten kompetenten CFO.

Die Mathematik dahinter: Bei 1.000 Nutzern und 5.000 EUR Managed Service landet die gesamte Plattform bei rund 5 EUR pro Nutzer und Monat, inklusive Betrieb — bei 2.000 Nutzern bei 2,50 EUR, weil die Infrastruktur dieselbe bleibt.

Angebots- und Preisschnitt (Vorschlag)

Referenzwert: 600-Nutzer-Plattform, Aufbau 21-25 PT, Betrieb 3.000 EUR/Monat. Azure-Infrastruktur 200-500 EUR/Monat im Einstieg, 700-1.200 EUR/Monat bei HA/Kubernetes.

Der 90-Tage-Einstieg (statt Plattform-Großprojekt):

• Woche 1-4: Architektur und Gateway-Fundament plus Sicherheitskonzept mit der Kunden-IT
• Woche 4-10: Erster produktiver Use-Case mit echten Nutzern, messbar in Qualität, Kosten und Akzeptanz
• Woche 10-13: Entscheidungsvorlage auf Basis echter Messdaten statt Annahmen

Die 5 wichtigsten Einwände — und ihre Antworten

"Wir haben doch Copilot."

Copilot ist ein Werkzeug für Standardfälle im M365-Kontext, nehmen Sie es dort, wo es reicht. Für alles auf Ihren Fachdaten brauchen Sie zusätzlich Copilot Studio, für Orchestrierung Azure AI Foundry, für die Datenschicht Fabric. Der Sitzpreis ist ein Teileinkauf, kein Plattform-Einkauf. Und Modellwahl haben Sie dort keine.

"Wir haben keine technischen Leute für so etwas."

Kurzfristig stimmt das. Langfristig nicht: Sobald Sie Konnektoren, Agenten und Workflows wollen, muss ohnehin ein Entwickler ran — auf jeder Plattform. Bei Langdock zahlen Sie dann Support-Kosten und bleiben abhängig, bei uns entsteht ein Asset in Ihrem Repository. Und den Betrieb müssen Sie nicht selbst machen: 0,1-0,25 FTE oder Managed Service, jährlich umschaltbar.

"Wenn es nur eine Oberfläche ist, warum kostet sie 30 Euro?"

Genau das ist die Frage. Die Magie kommt aus Konnektoren, Harness, Workflows und Agenten — die bezahlen Sie in jedem Fall, unabhängig von der UI. Die Frage ist nur, ob Sie für die UI zusätzlich einen Sitzpreis zahlen und ob Ihnen das Ergebnis danach gehört.

"Plattform klingt nach 18-Monats-Projekt."

Man startet nicht mit der Plattform, sondern mit einem Use-Case, produktiv in 6-8 Wochen zum Festpreis. Das Fundament entsteht darunter, nicht davor. Der KI-Beratungs-Leitfaden zeigt den richtigen Einstieg.

"Welche GPUs brauche ich für die Plattform?"

Das hängt vom Modell ab. Der VRAM-Rechner zeigt, welche GPU zu welchem Modell passt. Ein KI-Server mit RTX 4090 ist der Einstiegspunkt. Gebrauchte GPUs senken die Kosten um 40-60%.

Monitoring, Backup, Sicherheit

Der Betrieb einer KI-Plattform erfordert Monitoring und Wartung:

• Monitoring mit Prometheus und Grafana — GPU-Metriken, Token-Kosten, Latenz
• Backup-Strategien — Vektordatenbanken, Modelle, Konfiguration
• Sicherheit & Hardening — Firewall, Updates, Zugangskontrolle
• KI-Server Wartung — monatliche Routinen, Updates, Treiber
• USV & Stromversorgung — Verfügbarkeit gewährleisten

Kosten im Überblick: Inference-Kosten pro Token — On-Premise vs. API im Detail. CPU vs. GPU-Inferenz — wo sich GPUs lohnen.

FAQ: Häufige Fragen

Was kostet eine eigene KI-Plattform?

Ab 24.500 EUR für das Setup plus 3.000-8.000 EUR/Monat Managed Service oder Eigenbetrieb mit 0,1-0,25 FTE. Bei 1.000 Nutzern landen Sie bei rund 5 EUR pro Nutzer und Monat inklusive Betrieb — bei 2.000 Nutzern bei 2,50 EUR.

Wie schnell ist eine KI-Plattform produktiv?

Erster Use-Case in 6-8 Wochen zum Festpreis. Die Plattform entsteht darunter, nicht davor. In 90 Tagen haben Sie einen produktiven Use-Case, gemessen in Qualität, Kosten und Akzeptanz.

Welche Modelle kann ich auf meiner Plattform nutzen?

Alle Open-Weight-Modelle: Llama, Qwen, Mistral, DeepSeek, GLM, SOOFI. Jedes neue, bessere oder billigere Modell ist eine Konfigurationsänderung, kein Projekt. Die Modell-Vergleichstabelle zeigt die Optionen.

Brauche ich eigene GPU-Server?

Nein — Stufe 1 läuft auf Azure EU-Tenant mit Zero-Data-Retention. Stufe 3 (eigene GPUs) ist die tiefste Kontrolle, nötig für KRITIS oder patientenrelevante Daten. Der Stufenwechsel ist eine Betriebsfrage, keine Architekturfrage. GPU-Server mieten oder eigene Hardware.

Ist das DSGVO-konform?

Die Wissensbasis und das Gateway bleiben im Unternehmen. Daten verlassen das Haus nicht, es gibt keinen Drittland-Transfer und keinen Anbieter-Vertrag für sensible Daten. Für Stage 1 (Azure EU) gelten Zero-Data-Retention und AVV nach Art. 28 DSGVO. DSGVO-Dokumentenanalyse On-Premise — vertrauliche Daten im eigenen Rechenzentrum.

Was ist der Unterschied zwischen KI-Plattform und KI-Tool?

Ein KI-Tool ist ein Werkzeug — Copilot, ChatGPT, eine Chat-UI. Eine KI-Plattform ist ein Asset: Gateway, Wissensbasis, Governance, Code gehört Ihnen. Bei der Plattform entscheiden Sie, welches Modell welche Daten sieht. Bei einem Tool entscheidet der Anbieter.

Was, wenn Anthropic die Preise verzehnfacht?

Bei einer KI-Plattform ist das irrelevant: Sie wechseln die Konfiguration in Minuten. Bei Copilot, Langdock oder jedem anderen Sitzpreis-Modell: Sie zahlen. Dieser Frame ist der entscheidende Unterschied.

Wie viele Mitarbeiter braucht man für den Betrieb?

0,1-0,25 FTE für Wartung und Monitoring oder Managed Service ab 3.000 EUR/Monat. Der Betrieb wird monatlich abgerechnet, jährlich umschaltbar. KI-Server konfigurieren zeigt den Setup-Prozess.

Fazit: Die Plattform, nicht das Tool

2026 ist die Frage nicht "welches KI-Tool?" sondern "welche KI-Plattform?". Copilot, Langdock und alle KI-Tools von der Stange lösen ein Problem — aber sie schaffen kein Asset. Eine KI-Plattform mit Open-Source-Gateway, eigener Wissensbasis und eigener Inferenz schafft beides: ein Asset, das Ihnen gehört, und die Kontrolle über Daten, Modelle und Kosten.

Der Einstieg ist einfach: erst das Gateway (LiteLLM), dann die Wissensbasis (pgvector, RAG), dann die Oberfläche (Open WebUI). Gateway, Wissensbasis, Governance — alles Open Source, alles in Ihrem Repository. In drei Monaten steht eine Plattform, die Ihnen gehört.

Erster Use-Case in 6-8 Wochen. Zum Festpreis.