KI-Gateway im Vergleich: Langdock, LiteLLM oder selbstgebaut?

KI-Gateway im Vergleich: Langdock, LiteLLM oder selbstgebaut?

Ein KI-Gateway ist die zentrale Schaltstelle zwischen Ihren Anwendungen und den Sprachmodellen — egal ob Cloud-API oder eigener GPU-Server. Es entscheidet, welches Modell welche Anfrage beantwortet, wo die Daten verarbeitet werden und was das kostet.

Die eigentliche Frage ist aber eine strategische: Sollen Sie ein fertiges SaaS kaufen (Langdock), eine Open-Source-Schicht betreiben (LiteLLM) oder selbst bauen? Die Antwort entscheidet über Datenhoheit, laufende Kosten und die Freiheit, Modelle zu wechseln — und sie ist 2026 für den Mittelstand relevanter denn je, weil sich die Modell-Landschaft alle paar Monate verschiebt.

Dieser Vergleich nimmt die Perspektive eines IT-Leiters im Mittelstand ein und zeigt die drei Wege nebeneinander, mit konkreten Preisen, Datenschutz-Einordnung und einer Entscheidungsmatrix. Wer den breiteren Tool-Vergleich sucht, findet ihn im LLM-Gateway-Vergleich: LiteLLM, Kong, Portkey, Azure. Dieser Beitrag beantwortet die strategische Frage: SaaS, Open Source oder Eigenbau?

Die drei Wege zum KI-Gateway

Weg 1: Langdock — die fertige SaaS-Plattform

Langdock ist eine kommerzielle KI-Plattform aus Deutschland, die ein Gateway mit Chat-Oberfläche, Wissensintegration und Administration bündelt. Mitarbeitende bekommen eine ChatGPT-ähnliche Oberfläche, die IT-Abteilung bekommt zentrale Verwaltung, und das Gateway routet auf verschiedene Modelle — je nach Plan auch auf eigene Modelle.

Typische Merkmale:

• Komplettlösung mit UI, Admin-Panel und Berechtigungen
• Verwaltete Modelle oder Anbindung eigener Endpunkte
• SaaS-Betrieb, Updates und Wartung inklusive
• Sitzplatz-Lizenz (Seat), keine Token-Abrechnung für Endnutzer

Am besten für: Unternehmen, die schnell eine sichere, verwaltete KI-Umgebung für Mitarbeitende wollen, ohne eigene Infrastruktur zu betreiben.

Weg 2: LiteLLM — die Open-Source-Gateway-Schicht

LiteLLM ist ein Open-Source-Proxy (unter MIT-Lizenz), der eine einheitliche OpenAI-kompatible API vor beliebig viele Modell-Anbieter schaltet: OpenAI, Anthropic, Mistral, aber auch selbst gehostete Modelle über Ollama oder vLLM. Es läuft als schlanker Container auf einem eigenen Server oder in Kubernetes.

Typische Merkmale:

• 100+ Modell-Anbieter hinter einer API
• Kosten-Kontrollen, Limits, Fallback-Routing und Caching
• Self-Hosting auf eigener Hardware, keine Lizenzkosten
• Integration über das OpenAI-API-Format, kein Umbau bestehender Anwendungen

Am besten für: Unternehmen, die Modelle flexibel wechseln und eigene Infrastruktur kontrollieren wollen — die häufigste Basis für ein Open-Source-Gateway im Mittelstand.

Weg 3: Selbstgebaut — der Eigenbau mit n8n, FastAPI oder eigenem Code

Der dritte Weg führt über eigene Orchestrierung: Eine selbst entwickelte Schicht, die Anfragen an Modelle weiterleitet, Logging, Limits und Berechtigungen selbst implementiert. Mit Workflow-Tools wie n8n lassen sich dabei auch Agenten und Automatisierungen direkt einbinden.

Typische Merkmale:

• Maximale Kontrolle über jede Funktion
• Entwicklungs- und Wartungsaufwand liegt vollständig im Haus
• Keine Abhängigkeit von Drittanbieter-Funktionen
• Beliebig erweiterbar (Monitoring, Guards, eigene Logik)

Am besten für: Unternehmen mit eigener Entwicklungskapazität und sehr spezifischen Anforderungen — etwa wenn MCP-Server intern betrieben oder n8n mit lokaler KI verknüpft werden soll.

Die Kosten im Vergleich 2026

Die Kosten unterscheiden sich fundamental: Langdock rechnet pro Nutzer, LiteLLM ist kostenlos (nur Infrastruktur), der Eigenbau kostet Entwicklungszeit.

Einordnung für 50 Nutzer: Langdock ist bei kleinen Teams und ohne eigene IT am günstigsten im Aufwand, aber die laufenden Seat-Kosten summieren sich. LiteLLM amortisiert sich durch die fehlenden Lizenzen. Der Eigenbau lohnt sich nur, wenn die Entwicklung ohnehin gebraucht wird oder sehr spezifische Anforderungen bestehen.

Die Modell-Kosten selbst sind bei allen drei Wegen ähnlich, wenn dieselben Cloud-Modelle genutzt werden — der Unterschied liegt in Lizenz und Betrieb. Wer Modelle auf eigener GPU betreibt, senkt die laufenden Token-Kosten zusätzlich.

Achtung Sackgassen: die drei klassischen Fehler

1. Vendor-Lock über die Seat-Lizenz. Ein SaaS-Gateway bindet die Nutzer an eine Plattform. Wechselt das Unternehmen den Anbieter, müssen Oberfläche, Berechtigungen und Workflows neu aufgebaut werden. LiteLLM und Eigenbau halten das Modell-Backend austauschbar — genau das ist der Zweck eines LLM-Routers ohne Vendor-Lock-in.

2. Der Eigenbau, der nie fertig wird. Ein Gateway selbst zu bauen klingt nach zwei Wochen — in der Praxis kommen Logging, Limits, Fehlerbehandlung, Berechtigungen und Monitoring dazu. Ohne realistische Aufwandschätzung wird der Eigenbau zum Dauerprojekt.

3. Kostenblindheit bei den Modellen. Ohne Gateway-Limits und -Monitoring explodieren Token-Kosten unbemerkt. Wer keine Kosten-Kontrolle pro Team und Modell einrichtet, zahlt am Monatsende überraschend hohe Rechnungen — unabhängig vom gewählten Weg.

DSGVO und Recht für deutsche Unternehmen

Hier trennt sich, ob der gewählte Weg produktiv gehen darf — gerade im Mittelstand mit sensiblen Kundendaten.

Langdock: Die Plattform ist ein Auftragsverarbeiter. Ein Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO muss vor der ersten Verarbeitung geschlossen sein. Werden US-Modelle angebunden, greifen die EU-Standardvertragsklauseln für den Transfer. Wichtig: Prüfen, welche Modelle standardmäßig verwendet werden und ob die Daten in der EU verarbeitet werden.

LiteLLM: Als reine Open-Source-Software, die Sie selbst betreiben, ist LiteLLM selbst kein Verarbeiter — die Datenhoheit liegt vollständig bei Ihnen. Entscheidend ist, welche Modell-Endpunkte Sie anbinden: Cloud-APIs (US-Transfer möglich) oder eigene Modelle auf dem eigenen Server. Im Eigenbetrieb lassen sich PII-Maskierung und Logging vollständig kontrollieren.

Selbstgebaut: Maximale Kontrolle, aber auch maximale Verantwortung. Jede Verarbeitung personenbezogener Daten muss dokumentiert werden, das Verarbeitungsverzeichnis nach Art. 30 DSGVO ist zu führen, und der Zugriff auf Logs muss geschützt sein.

Für Kanzleien und Heilberufe kommt §203 StGB hinzu: Wer Mandanten- oder Patientendaten an externe Anbieter gibt, braucht eine berufsrechtliche Verschwiegenheitsverpflichtung mit Belehrung über die strafrechtlichen Folgen. In der Praxis führt das oft zu einem Eigenbetrieb oder einer spezialisierten Lösung.

Use-Cases: Wann welcher Weg?

Großhandel: Anfragen und Produktdaten

Ein Großhändler mit 40 Mitarbeitenden im Innendienst will einen KI-Assistenten für Produktanfragen. Langdock liefert hier den schnellsten Weg: Oberfläche, Berechtigungen und Modell-Anbindung sind in Tagen einsatzbereit, die laufenden Kosten sind planbar. Wächst das Volumen, kann das Gateway später auf LiteLLM umziehen, ohne die Anwendungen zu ändern — die API bleibt gleich.

Fertigung: Kostenkontrolle und Datenhoheit

Ein Fertigungsunternehmen mit eigenen Konstruktionsdaten braucht volle Kontrolle: Cloud-Kosten senken, sensible Daten lokal halten. Hier ist LiteLLM vor eigenen GPUs der passende Weg — die Daten verlassen das Haus nicht, und das Fallback-Routing hält den Betrieb stabil, wenn ein Modell ausfällt.

IT-Dienstleister: Produkt statt Prototyp

Wer KI-Funktionen als Produkt verkauft, kommt am Eigenbau oder einer tief integrierten Open-Source-Lösung nicht vorbei — mit eigenem Monitoring, eigenen Limits und der Möglichkeit, Modelle nach Kundenwunsch zu wechseln. Die Entwicklung amortisiert sich über das Produkt.

Entscheidungsmatrix

Faustregel: Schnell starten mit einem verwalteten Gateway, sobald Datenhoheit oder Kosten wichtig werden auf LiteLLM wechseln (die API bleibt kompatibel), und nur bei Produkt- oder Spezialanforderungen selbst bauen.

Fazit: Der Weg hängt von Datenhoheit und Skalierung ab

Ein KI-Gateway ist 2026 kein Luxus, sondern die Voraussetzung für kontrollierte KI-Nutzung. Langdock ist der schnellste Einstieg für Teams ohne eigene Infrastruktur, LiteLLM die flexible Open-Source-Basis für Unternehmen, die Modelle wechseln und Daten kontrollieren wollen, und der Eigenbau die Lösung für Produkte und Spezialfälle.

Zwei Dinge entscheiden über Erfolg oder Fehlstart: die Datenhoheit (wer verarbeitet was wo?) und die Modell-Freiheit (können Sie wechseln, wenn ein Anbieter die Preise ändert oder ein Modell abschaltet?). Wer beide Fragen früh klärt, baut kein Gateway auf Sand.

Ihr wollt das Gateway nicht allein aufsetzen, sondern mit einem Partner, der den Weg von der Modellauswahl bis zum produktiven Betrieb kennt? Sprechen Sie uns an, und wir skizzieren gemeinsam den passenden Einstieg.

Häufige Fragen

Brauche ich überhaupt ein KI-Gateway?

Sobald mehr als eine Handvoll Mitarbeitende KI nutzen oder mehrere Modelle im Einsatz sind, ja. Ein Gateway bringt zentrale Kostenkontrolle, einheitliche API und die Möglichkeit, Modelle zu wechseln, ohne Anwendungen umzubauen.

Ist Langdock DSGVO-konform?

Langdock ist als Auftragsverarbeiter einsetzbar, sofern der AVV geschlossen und die Modell-Anbindung datenschutzkonform konfiguriert ist. Für Mandanten- oder Patientendaten (Kanzleien, Heilberufe) sind zusätzliche Anforderungen nach §203 StGB zu prüfen.

Was kostet LiteLLM?

Die Software selbst ist kostenlos (MIT-Lizenz). Kosten entstehen für den Serverbetrieb (ca. 50–200 EUR/Monat), das Setup und die Modell-Token. Bei 50 Nutzern liegt die 3-Jahres-Gesamtkostenrechnung bei 8.000–20.000 EUR — deutlich unter einer SaaS-Seat-Lizenz.

Kann ich Langdock und LiteLLM kombinieren?

Ja, das ist sogar eine sinnvolle Strategie: Langdock als Oberfläche und Verwaltung, LiteLLM als Gateway dahinter. So bekommt das Team eine fertige UI, während das Gateway offen bleibt.

Wie wechsle ich das Modell ohne Umbau?

Über das Gateway: Solange alle Anwendungen die OpenAI-kompatible API sprechen, ändert sich nur die Routing-Konfiguration — das Modell dahinter kann ausgetauscht werden, ohne Anwendungen anzufassen. Genau das beschreibt der LLM-Router-Leitfaden.