Gemma 4 mit Ollama lokal: Welches Modell passt zu Ihrer GPU?

TL;DR

Gemma 4 ist Googles Open-Weight-Familie von April 2026 (Apache 2.0) und läuft komplett über Ollama. Die entscheidende Frage ist nicht ob, sondern welche der fünf Varianten zu Ihrer Hardware passt: E2B und E4B laufen auf fast jedem Laptop, 12B braucht eine 12–16-GB-GPU, das 26B-MoE passt auf 16–24 GB und das 31B-Dense-Modell will 24 GB VRAM oder mehr. Wer die Modellgröße an die GPU koppelt, spart im Vergleich zu API-Betrieb bei 2.000 Anfragen pro Tag typischerweise 1.200–3.600 EUR pro Monat – bei voller Datenhoheit.

Warum ausgerechnet jetzt Gemma 4?

Seit April 2026 liefert Google mit Gemma 4 eine Modellfamilie, die erstmals auf dem Niveau kommerzieller Frontier-Modelle rangiert, aber als offene Gewichte (Apache 2.0) frei selbst gehostet werden darf. Die Benchmarks sprechen eine klare Sprache: Das 31B-Modell erreicht 85,2 % im MMLU Pro, 89,2 % bei AIME 2026 und ein Codeforces-ELO von 2150 – Werte, die vor einem Jahr noch 70B+-Modellen vorbehalten waren.

Gleichzeitig ist die Familie bewusst gestaffelt: von 2,3 Mrd. effektiven Parametern für den Laptop (E2B) bis 30,7 Mrd. für die Workstation (31B). Genau diese Staffelung ist der Knackpunkt für IT-Verantwortliche im Mittelstand: Welche Variante brauche ich für meinen Use-Case – und was kostet die passende Hardware wirklich?

Dieser Artikel beantwortet die Frage mit konkreten VRAM-Zahlen, EUR-Kosten und einer Entscheidungsmatrix – ohne Marketing-Versprechen.

Die fünf Wege: Gemma 4 in Ollama

Ollama stellt fünf Hauptvarianten bereit, die sich in Parameterzahl, Kontextfenster und Hardwarebedarf deutlich unterscheiden:

Das überraschende Detail: Das 26B-Modell ist ein Mixture-of-Experts (MoE) mit nur 3,8 Mrd. aktiven Parametern (8 von 128 Experten). Es liefert fast 31B-Qualität, arbeitet aber so schnell wie ein kleines Modell – und braucht wegen der 19-GB-Datei eine GPU mit 16–24 GB VRAM. Das 31B-Modell ist die Qualitätsspitze, kostet aber spürbar mehr Hardware.

Das „E" in E2B/E4B steht für Effective Parameters: Die Modelle sind MoE-Architekturen, die für Edge-Geräte (Notebooks, NUCs) optimiert sind. E2B läuft nach Community-Tests sogar auf Laptops mit 4-GB-GPU – langsam, aber funktional.

Achtung Sackgassen

1. Das 31B-Modell auf eine 16-GB-GPU quetschen. Reddit-Benchmarks zeigen: Es läuft mit 4-Bit-Quantisierung und KV-Cache-Optimierung auf 16 GB – aber nur mit stark reduziertem Kontext und spürbarer Latenz. Für Produktivbetrieb ist das keine Architektur, das ist ein Experiment. Wer 31B-Qualität will, plant 24 GB ein.

2. Den Sliding-Window-Cache unterschätzen. Gemma 4 nutzt Sliding Window Attention (512 Token bei E2B/E4B, 1024 bei 12B/26B/31B). Der KV-Cache frisst trotzdem VRAM – gerade bei langen Kontexten. Ein 256K-Kontextfenster ist keine Einladung, immer 200K Token zu verwenden. Faustregel: Kontext so kurz wie möglich, so lang wie nötig. Details dazu im Beitrag zum KV-Cache und VRAM.

3. Alle fünf Varianten parallel laden. Ollama hält geladene Modelle im VRAM. Fünf Gemma-Modelle à 7–20 GB sprengen jede Workstation. Laden Sie nur das Modell, das Sie wirklich nutzen, und entladen Sie es mit ollama stop.

4. Die Vision-Fähigkeiten ignorieren. Gemma 4 ist multimodal (Text + Bild, bei E2B/E4B auch Audio). Wer nur Text-Anwendungen plant, zahlt für den Vision-Encoder mit – bei der 31B-Variante sind das ~550M zusätzliche Parameter. Für reine Text-Workloads reicht oft das günstigere Modell eine Stufe darunter.

5. Ohne Quantisierungs-Wissen kaufen. Die Ollama-Downloadgrößen (7–20 GB) sind bereits 4-Bit-quantisiert. Wer die Rohgewichte in BF16 selbst hosten will, braucht laut Google das 3- bis 4-fache an VRAM: Das 12B-Modell benötigt dann 26,7 GB statt 6,7 GB. Die meisten Mittelständler bleiben bei den Ollama-Standardquanten – völlig ausreichend.

Schritt für Schritt: Gemma 4 in 6 Schritten

Voraussetzungen: Ubuntu 22.04+/Debian (oder Windows/macOS), Ollama installiert, optional NVIDIA-GPU mit CUDA-Treibern. Die Ollama-Installation auf Ubuntu ist in 15 Minuten erledigt.

Schritt 1: VRAM prüfen, bevor Sie kaufen

nvidia-smi --query-gpu=name,memory.total,memory.free --format=csv
# Beispiel-Ausgabe:
# NVIDIA GeForce RTX 5080, 16384 MiB, 15312 MiB

Ohne NVIDIA-GPU: free -h für den Arbeitsspeicher. E2B/E4B laufen auch CPU-only, wenn auch langsamer.

Schritt 2: Das passende Modell laden

# 8–12 GB VRAM (Standard für den Mittelstand):
ollama pull gemma4:e4b

# 16 GB VRAM (z. B. RTX 5080):
ollama pull gemma4:26b

# 24+ GB VRAM (maximale Qualität):
ollama pull gemma4:31b

Schritt 3: Ersten Test mit Thinking-Mode

Gemma 4 unterstützt natives Reasoning über ein Thinking-Token. Ollama übernimmt die Chat-Template-Logik automatisch – Sie müssen nichts konfigurieren:

ollama run gemma4:e4b "Fassen Sie diesen Liefervertrag in drei Sätzen zusammen: ..."

Schritt 4: OpenAI-kompatible API für Ihre Anwendungen

Ollama stellt eine OpenAI-kompatible API auf Port 11434 bereit – bestehende Integrationen (LangChain, n8n, eigene Tools) funktionieren ohne Umbau:

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4:e4b",
  "messages": [{"role": "user", "content": "Erkläre KV-Cache in einem Satz."}],
  "stream": false
}'

Schritt 5: Sampling stabilisieren

Google empfiehlt für Gemma 4 einheitlich temperature=1.0, top_p=0.95, top_k=64. Weichen Sie nur bei speziellen Use-Cases (z. B. Klassifikation) mit niedrigerer Temperatur ab – und dokumentieren Sie das, sonst sind Ergebnisse schwer reproduzierbar.

Schritt 6: Kontext-Länge bewusst wählen

# Kontext beim Start begrenzen (spart VRAM):
ollama run gemma4:12b --num-ctx 8192

Wer regelmäßig große Dokumente verarbeitet, testet zunächst mit 8K–32K Token. Das volle 256K-Fenster kostet erheblich VRAM – nur aktivieren, wenn der Use-Case es wirklich braucht.

Kosten: Hardware vs. API

Die zentrale Rechnung für IT-Entscheider: Selbsthosting amortisiert sich ab etwa 500 Anfragen pro Tag. Die Hardwarekosten sind einmalig, die API-Kosten laufen dauerhaft.

*API-Äquivalent geschätzt für ~2.000–8.000 Anfragen/Monat mit Frontier-Modell-Klasse; Stand September 2026, Richtwerte ohne Gewähr.

Die oft übersehene Position sind die Stromkosten: Eine RTX 4090 unter Last zieht ~350 W. Bei 10 Stunden Laufzeit pro Arbeitstag sind das ~100–150 EUR pro Monat zusätzlich. Wer das in die Rechnung einbezieht, entscheidet realistischer zwischen Cloud-GPU-Miete und Kauf – ein Vergleich, den wir in unserem Hardware-Guide für KI-Server detailliert führen.

DSGVO und Recht: Was für Selbsthosting spricht

Gemma 4 unter Apache-2.0-Lizenz darf uneingeschränkt im Unternehmen betrieben werden – auch für kommerzielle Zwecke. Das hebt es von geschlossenen Modellen ab, deren Nutzungsbedingungen sich jederzeit ändern können.

Der DSGVO-Vorteil ist strukturell: Bei lokalem Betrieb verlassen personenbezogene Daten das Unternehmensnetzwerk nie. Damit entfallen die klassischen Problemfelder: kein Drittlandtransfer (Art. 44 ff. DSGVO), keine Auftragsverarbeitung mit Cloud-Anbieter, keine unklare Datenverarbeitung für Modelltraining.

Wo Sie trotzdem aufpassen müssen:

• AVV-Pflicht bleibt intern: Wenn Ihr IT-Dienstleister den Server betreibt, brauchen Sie mit ihm einen Auftragsverarbeitungsvertrag (Art. 28 DSGVO) – unabhängig vom Modell.
• Kanzleien und § 203 StGB: Bei Berufsgeheimnisträgern (Anwälte, Ärzte, Steuerberater) muss der Betrieb so ausgestaltet sein, dass keine unbefugte Offenlegung von Mandantendaten möglich ist. Ein lokales Modell mit geschlossener Infrastruktur erfüllt diese Anforderung deutlich einfacher als eine Cloud-API. Lassen Sie die konkrete Ausgestaltung von Ihrer berufsrechtlichen Stelle prüfen.
• Dokumentationspflicht: Führen Sie ein Verzeichnis von Verarbeitungstätigkeiten (Art. 30 DSGVO), das KI-Systeme, eingesetzte Modelle und Zwecke auflistet. Das wirkt im Audit souverän.
• Data Residency: Wenn Sie sich gegen Selbsthosting entscheiden und eine Cloud nutzen, achten Sie auf EU-Rechenzentren. Zum Thema Cloud-Varianten und Datenhoheit haben wir einen eigenen Vergleich von Azure OpenAI und eigenem Stack.

Use-Cases aus zwei Branchen

Fertigung: Qualitätsdokumentation und Wissensabfragen

Ein Maschinenbauer mit 400 Mitarbeitern betreibt eine RTX 5080 (16 GB) mit gemma4:26b. Die Anwendung: Techniker fragen Wartungshandbücher und Fehlermeldungen ab (RAG über interne Dokumente), der KV-Cache bleibt bei 8K–16K Token. Ergebnis: Antworten in 2–4 Sekunden statt Warten auf die Cloud-API, keine kritischen Konstruktionsdaten verlassen das Netz, keine API-Kosten. Die 26B-MoE-Variante ist hier ideal, weil sie schnelle Antworten mit hoher Qualität kombiniert – genau das Profil, das das MoE-Prinzip verspricht.

Großhandel/Kanzlei: Vertrags- und Beleganalyse

Eine mittelständische Kanzlei (30 Anwälte) nutzt gemma4:31b auf einer Workstation mit 2x RTX 5090 für die Erstprüfung von Mandantenakten und Verträgen. Entscheidend ist hier nicht die Geschwindigkeit, sondern die Qualität des juristischen Verständnisses – dafür lohnt das 31B-Modell. Der Betrieb bleibt komplett intern (relevant für § 203 StGB), die Ergebnisse werden von Anwälten gegengeprüft. Für den Großhandel im selben Setup: Belegprüfung, Reklamations-Klassifikation und Angebotsentwürfe mit gemma4:12b auf einer 12-GB-GPU – hier ist Durchsatz wichtiger als Reasoning-Tiefe.

Entscheidungsmatrix

Die pragmatische Empfehlung: Starten Sie mit gemma4:e4b auf vorhandener Hardware, um den Use-Case zu validieren. Wenn die Qualität nicht reicht, gehen Sie gezielt eine Stufe hoch – nicht zwei. Die 26B-MoE-Variante ist für die meisten Mittelständler der Sweet Spot zwischen Preis und Leistung.

Fazit

Gemma 4 ist die erste Open-Weight-Familie, die Frontier-Qualität in fünf sauber gestaffelten Größen anbietet – und Ollama macht den Betrieb zum Ein-Befehl-Erlebnis. Der Erfolg hängt nicht am Modell, sondern an der ehrlichen Zuordnung von Use-Case zu Hardware: E2B/E4B fürs Edge, 12B für Standard-RAG, 26B-MoE als Preis-Leistungs-Sieger, 31B für Qualitätsansprüche mit entsprechendem Budget. Wer diese Zuordnung einmal sauber trifft, spart monatlich vierstellige API-Beträge und gewinnt gleichzeitig DSGVO-Sicherheit.

Sie wollen Gemma 4 in Ihrem Unternehmen einführen, sind aber unsicher bei der Hardware-Wahl? Wir unterstützen Sie bei der Bedarfsanalyse, dem Server-Design und der DSGVO-konformen Einführung.

Sprechen Sie uns an →

FAQ

Wie viel VRAM braucht Gemma 4 in Ollama?

Die quantisierten Ollama-Varianten benötigen: E2B ~7 GB, E4B ~9 GB, 12B ~8 GB, 26B ~19 GB, 31B ~20 GB (Dateigröße plus KV-Cache). In BF16-Rohform steigt der Bedarf laut Google auf 17,9 GB (E4B), 26,7 GB (12B), 57,7 GB (26B) bzw. 69,9 GB (31B). Für den Alltag zählt die Ollama-Größe.

Ist Gemma 4 wirklich kostenlos nutzbar?

Ja – die Gewichte stehen unter Apache 2.0, auch für kommerzielle Nutzung im Unternehmen. Es fallen keine Lizenzkosten an; Kosten entstehen nur für Hardware, Strom und Betrieb. Im Vergleich zu einer Frontier-API amortisiert sich Selbsthosting ab ca. 500 Anfragen pro Tag.

Was ist der Unterschied zwischen Gemma 4 26B und 31B?

Das 26B-Modell ist ein Mixture-of-Experts mit 3,8 Mrd. aktiven Parametern: fast 31B-Qualität (82,6 % vs. 85,2 % MMLU Pro) bei deutlich höherer Geschwindigkeit und weniger VRAM. Das 31B-Modell ist dense (alle 30,7 Mrd. Parameter aktiv) und die Qualitätsspitze der Familie.

Kann ich Gemma 4 auf einem Laptop ohne GPU betreiben?

Ja, die Edge-Varianten E2B und E4B laufen CPU-only – E2B sogar auf 4-GB-Geräten. Die Geschwindigkeit liegt dann bei wenigen Token pro Sekunde, was für interaktive Tests reicht, aber nicht für Produktiv-Workloads. Für 12B und größer ist eine GPU Pflicht.

Wie aktiviert man das Reasoning (Thinking-Mode) bei Gemma 4?

Ollama übernimmt das automatisch über das Chat-Template. Technisch steuert ein <|think|>-Token am Anfang des System-Prompts das Denken: enthalten = Reasoning aktiv, entfernt = deaktiviert. Empfohlene Sampling-Werte laut Google: temperature 1.0, top_p 0.95, top_k 64.

Ist lokales Hosting von Gemma 4 DSGVO-konformer als eine Cloud-API?

In der Regel ja: Personenbezogene Daten verlassen das Netzwerk nicht, es gibt keinen Drittlandtransfer und keine Verarbeitung durch den Anbieter. Trotzdem bleiben Pflichten bestehen: AVV bei externem Serverbetrieb, Verzeichnis der Verarbeitungstätigkeiten und – bei Kanzleien – die Vorgaben aus § 203 StGB.

Weiterführende Artikel:

• Ollama auf Ubuntu installieren – die Basis für jeden lokalen KI-Betrieb
• Eigener KI-Server: Hardware-Guide 2026 – GPU-Auswahl und Server-Design
• VRAM-Rechner für KI-Modelle – Bedarf präzise kalkulieren
• Gemma 2 27B auf dem eigenen Server – der Vorgänger im Praxistest