llama.cpp vs Ollama: Self-hosted Inference für deutsche Unternehmen 2026

TL;DR

Ollama und llama.cpp sind nicht dasselbe, auch wenn Ollama llama.cpp unter der Haube als Inference-Engine nutzt. llama.cpp ist das rohe C/C++-Backend — maximale Kontrolle, minimale Abstraktion. Ollama ist der komfortable Wrapper mit Model-Registry, CLI und REST-API. Beide sind Open Source (MIT), beide laufen on-premise. Welches Tool wann für deutsche Mittelständler die richtige Wahl ist, zeigt dieser Vergleich mit Kosten, DSGVO-Bewertung und Entscheidungsmatrix.

1. Die Architektur: Was llama.cpp wirklich ist

llama.cpp wurde 2023 von Georgi Gerganov als reine C/C++-Implementierung von LLaMA-Inference gestartet. Das Projekt definierte das GGUF-Format — heute das verbreitetste Format für quantisierte Modelle im lokalen Betrieb.

Kern-Eigenschaften:

• Keine externen Abhängigkeiten (weder Python noch PyTorch)
• Quantisierung von 8-Bit bis runter zu ~1,5 Bit pro Weight
• Hardware-Backends: CUDA, Metal, Vulkan, ROCm, SYCL, CPU (AVX2/AVX512)
• Eingebauter llama-server mit OpenAI-kompatiblem Endpoint
• Benchmark-Tool llama-bench direkt im Projekt

llama.cpp ist der Motor. Ollama ist das Auto, das den Motor einbaut und mit Komfort-Features umgibt.

2. Was Ollama draufsetzt

Ollama verwendet llama.cpp als Inference-Backend (auf den meisten Plattformen) und fügt hinzu:

• Model-Registry: ollama pull lädt Modelle in ein standardisiertes Verzeichnis (~/.ollama/models/)
• Modelfile: Eigene Modell-Konfigurationen per Textdatei (Prompt-Template, System-Prompt, Parameter)
• CLI + API: ollama run, ollama serve – alles aus einem Befehl
• Automatische Konfiguration: VRAM-Erkennung, GPU-Offload, Quantisierung passen sich der Hardware an

Der Preis: weniger Kontrolle. Wo llama.cpp jedes Flag offenlegt, entscheidet Ollama selbst, wie das Modell geladen wird.

3. Kosten-Tabelle: Beide Open Source, aber die GPU kostet

llama.cpp und Ollama sind kostenlos (MIT-Lizenz). Die Kosten entstehen durch die Hardware.

Fazit: Die Tools selbst verursachen keine Lizenzkosten. Der Unterschied liegt in der Einarbeitungszeit und der Flexibilität.

4. DSGVO-Block: Beide on-premise, aber mit Nuancen

Gemeinsam: Sowohl llama.cpp als auch Ollama laufen vollständig auf eigener Hardware. Es werden keine Daten an Dritte gesendet. Kein API-Call verlässt das Unternehmen. Beide erfüllen damit die Kern-Anforderung der DSGVO für die Verarbeitung personenbezogener Daten: Kontrolle über die Datenverarbeitung.

Unterschiede:

Praxistipp für DSGVO-konformen Betrieb: Für viele Mittelständler reicht Ollama. Wer in regulierten Umgebungen (Gesundheit, Finanzen, Behörden) arbeitet oder einen vollständig auditierbaren Build-Prozess braucht, nutzt llama.cpp direkt mit selbst kompilierten Binaries und eigenem Model-Management.

Hinweis: Der Beitrag ersetzt keine Rechtsberatung. Bei spezifischen DSGVO-Fragen zum KI-Einsatz empfehlen wir die Abstimmung mit dem Datenschutzbeauftragten.

5. Entscheidungsmatrix: Wann llama.cpp, wann Ollama?

Faustregel: Wer Kontrolle braucht, nimmt llama.cpp. Wer Zeit sparen will, nimmt Ollama. Wer beides will, baut einen Ollama-Server und tauscht bei Bedarf den llama.cpp-Build aus — das ist der Vorteil der offenen Architektur.

6. FAQ

Ist Ollama nicht einfach llama.cpp mit GUI?

Nein. Ollama ist ein eigener Dienst mit Model-Registry, CLI, REST-API und Modelfile-System. Die GUI kommt von Drittanbietern wie Open WebUI. Ollama verwendet llama.cpp als Inference-Engine, nicht als UI.

Ist llama.cpp schneller als Ollama?

Ja, in der Regel — aber der Unterschied ist für die meisten Anwendungen irrelevant. Bei identischem Modell, gleicher Quantisierung und GPU-Offload liegt llama.cpp 3–10 % vorn, weil es keinen Wrapper-Overhead hat. Der Größenunterschied zeigt sich erst bei vielen parallelen Anfragen.

Kann ich Ollama-Modelle in llama.cpp laden?

Ja. Ollama speichert Modelle als GGUF-Dateien unter ~/.ollama/models/blobs/. Du kannst diese Datei direkt mit llama.cpp laden: ./llama-cli -m ~/.ollama/models/blobs/<hash>.

Kann ich llama.cpp als Backend für Ollama austauschen?

Nicht ohne Weiteres. Ollama bringt ein eigenes, modifiziertes llama.cpp als Submodul mit. Du kannst zwar ein eigenes llama.cpp kompilieren und die Binary ersetzen, das wird aber nicht offiziell unterstützt und kann bei Updates brechen.

Brauche ich eine GPU für llama.cpp oder Ollama?

Nein. Beide laufen auch auf der CPU — aber deutlich langsamer. Für einen Chatbot im Produktivbetrieb sind 8–16 Token/s auf CPU oft zu wenig. Eine GPU mit 12–24 GB VRAM ist die sinnvolle Mindestausstattung. Mehr Details im VRAM-Rechner.

Sind llama.cpp und Ollama DSGVO-konform?

Ja, beide laufen on-premise und senden keine Daten nach außen — vorausgesetzt, der Zugriff ist durch einen Reverse-Proxy mit TLS gesichert und externe Modelldownloads sind dokumentiert. Siehe DSGVO-Block oben.

Welches Modell passt auf meine GPU?

Das hängt von Quantisierung und Kontextlänge ab. Der VRAM-Rechner hilft bei der Abschätzung. Eine Übersicht über GPUs und ihre VRAM-Ausstattung gibt es im GPU-Vergleich 16 GB vs 24 GB.

Öffnet Ollama eine Internetverbindung beim Start?

Ollama prüft beim ersten Start die Modell-Registry. Im laufenden Betrieb (bei bereits geladenem Modell) besteht keine aktive Verbindung. Für DSGVO-kritische Umgebungen empfiehlt sich ein Air-Gap-Setup mit lokaler Modell-Registry.

7. Quellen

Verwandte Themen

• vLLM vs Ollama: Durchsatz-Benchmark self-hosted 2026 — Performance-Vergleich der Serving-Systeme
• VRAM-Rechner: Welche GPU für welches KI-Modell? 2026 — VRAM-Bedarfsberechnung für lokale Modelle
• Lokale KI: GPU-Wahl zwischen 16 GB und 24 GB VRAM 2026 — GPU-Kaufberatung für Mittelständler