Ollama Gemma 4 lokal ausführen: Hardware, Kosten und DSGVO für den Mittelstand

Google hat mit Gemma 4 seine leistungsfähigste offene Modellfamilie veröffentlicht. Fünf Varianten von 2B bis 31B Parametern, alle unter der Apache-2.0-Lizenz und lauffähig über Ollama auf eigener Hardware. Für den deutschen Mittelstand besonders relevant: Die Modelle laufen lokal auf dem eigenen Server – keine Daten verlassen das Unternehmen, keine API-Kosten pro Token.

Dieser Artikel vergleicht alle Gemma-4-Varianten, zeigt die benötigte Hardware, rechnet die Kosten gegen Cloud-APIs und bewertet die DSGVO-Konformität.

Überblick: Die fünf Gemma-4-Varianten

Gemma 4 umfasst fünf Modelle, die sich in Größe, Architektur und Einsatzgebiet unterscheiden:

Quelle: Ollama – Gemma 4

Alle Varianten unterstützen Thinking-Mode (über das <|think|>-Token) und Tool Calling. Die Edge-Modelle E2B und E4B sind speziell für Geräte mit wenig VRAM optimiert – ideal für Mittelständler, die keine dedizierte GPU anschaffen wollen.

Hardware-Anforderungen: VRAM und GPU

Die entscheidende Frage für IT-Entscheider: Welche GPU brauche ich für welche Variante?

Tokens/s sind Richtwerte für reine Text-Inference. Bei Bild- oder Audio-Eingabe sinkt der Durchsatz.

Faustregel für den Mittelstand:

• Keine GPU vorhanden: Starten Sie mit gemma4:e2b oder :e4b – beide laufen flüssig auf einem Apple Silicon Mac (M1/M2/M3 mit 16 GB RAM) oder einer CPU mit 8 GB RAM.
• Einsteiger-GPU (8–12 GB VRAM): gemma4:12b liefert auf einer RTX 3090 gebraucht (ca. 700–900 €) bereits Frontier-Performance bei Coding und Reasoning.
• Dedizierter KI-Server (24 GB+ VRAM): gemma4:31b oder :26b – hier lohnt der Blick auf den KI-Server Hardware-Guide 2026.

Google Gemma 4 vs. Alternativen im Mittelstand

Wie schneidet Gemma 4 im Vergleich zu anderen lokalen Modellen ab?

Benchmarks: Ollama Gemma 4 Benchmark Results

Fazit: Gemma 4 31B liefert auf dem Niveau eines Llama 3.1 70B – bei halbem VRAM-Bedarf. Das bedeutet: Eine einzelne RTX 4090 (24 GB) reicht für das Spitzenmodell. Für Llama 3.1 70B bräuchten Sie zwei GPUs oder eine A100.

Kostenvergleich: Lokal vs. Cloud-API

Die laufenden Kosten für Gemma 4 im lokalen Betrieb vs. Cloud-Alternativen:

Die Rechnung ist einfach: Wer monatlich mehr als 5 Millionen Tokens verarbeitet (etwa 500–1.000 Support-Anfragen oder 20.000 Dokumentenseiten), fährt mit einer lokalen Gemma-4-Instanz günstiger – und hat volle Datenkontrolle.

DSGVO-Einordnung für Gemma 4 auf Ollama

Für IT-Entscheider im Mittelstand ist die DSGVO-Frage oft das entscheidende Kriterium:

Praktische Empfehlung: Installieren Sie Ollama auf einem dedizierten Server im eigenen Netz – die Ollama-Installation unter Ubuntu ist in 30 Minuten erledigt. Für sensible Daten (Personaldaten, Patientendaten, Kundenlisten) ist die lokale Variante die einzig DSGVO-sichere Wahl.

Entscheidungsmatrix: Welche Gemma-4-Variante für welches Szenario?

Installation und erste Schritte

Die Einrichtung von Gemma 4 via Ollama ist denkbar einfach:

# 1. Ollama installieren (falls nicht vorhanden)
curl -fsSL https://ollama.com/install.sh | sh

# 2. Gemma 4 herunterladen und starten (z. B. die 12B-Variante)
ollama run gemma4:12b

# 3. Alternative: Edge-Variante (läuft auf fast jedem Gerät)
ollama run gemma4:e4b

# 4. Thinking-Mode aktivieren (für komplexe Reasoning-Aufgaben)
ollama run gemma4:31b
# Im Prompt: "<|think|>Analysiere diesen Vertrag auf Risiken."

Für den produktiven Server-Betrieb empfiehlt sich die Einrichtung als Systemd-Dienst. Eine detaillierte Schritt-für-Schritt-Anleitung finden Sie in unserem Beitrag Ollama unter Ubuntu installieren.

FAQ – Häufige Fragen zu Gemma 4 mit Ollama

Ist Gemma 4 wirklich kostenlos?

Ja. Google veröffentlicht Gemma 4 unter der Apache-2.0-Lizenz. Es gibt keine Einschränkungen für kommerzielle Nutzung, kein Nutzungslimit und keine versteckten Kosten. Sie zahlen nur für Ihre Hardware und den Strom.

Welcher Gemma 4 ist der richtige für meinen Laptop?

Für einen aktuellen Laptop (Apple Silicon M2/M3 mit 16 GB RAM oder Windows-Laptop mit 8 GB VRAM) empfehlen wir gemma4:e4b. Sie erhalten ein leistungsfähiges Modell mit 128K Kontext – ohne dass der Lüfter durchdreht.

Brauche ich eine NVIDIA-GPU?

Nein. Ollama läuft auch auf Apple Silicon (Metal-Beschleunigung), AMD-GPUs (ROCm) und rein auf der CPU. Für die großen Varianten (26B, 31B) ist eine GPU mit mindestens 12 GB VRAM empfehlenswert – das kann auch eine gebrauchte RTX 3090 für ca. 800 € sein. Mehr Details im GPU-VRAM-Rechner.

Kann ich Gemma 4 mit meiner bestehenden Ollama-Installation nutzen?

Ja. ollama pull gemma4 lädt das Default-Modell (12B). Alle anderen Varianten werden mit ollama run gemma4:12b, ollama run gemma4:31b usw. gezogen. Bestehende Modelfiles und Konfigurationen bleiben unverändert.

Wie gut ist Gemma 4 auf Deutsch?

Gemma 4 wurde auf einem mehrsprachigen Korpus trainiert. In unseren Tests erreicht die 12B-Variante etwa 70–80 % der Deutsch-Qualität von Llama 3.1 – vollkommen ausreichend für interne Dokumentation, E-Mail-Entwürfe und Support-Klassifikation. Für hochspezifische deutsche Fachtexte (Juristendeutsch, technische Normen) empfehlen wir einen Abgleich mit spezialisierten deutschen Modellen.

Unterstützt Gemma 4 Bildverarbeitung?

Ja, alle Varianten ab 12B unterstützen Bild-Eingabe (Vision). Sie können Dokumente scannen, Diagramme analysieren oder Fotos beschreiben – alles lokal, ohne Daten in die Cloud zu senden. Die E2B- und E4B-Modelle unterstützen zusätzlich Audio.

Was ist der Unterschied zwischen 26B A4B (MoE) und 31B (Dense)?

Der 26B A4B ist ein Mixture-of-Experts-Modell: Es hat 25,2 Mrd. Parameter, aber pro Token werden nur 3,8 Mrd. aktiv. Das spart VRAM und beschleunigt die Inference – bei kaum messbarem Qualitätsverlust gegenüber dem 31B Dense. Der 31B Dense nutzt alle Parameter gleichzeitig und liefert die höchste Qualität, braucht aber ~18 GB VRAM. Für die meisten Mittelstands-Anwendungen ist der 26B MoE der bessere Kompromiss.

Fazit für IT-Entscheider

Gemma 4 ist der bisher stärkste Kandidat für lokale KI im Mittelstand:

• Beste Performance pro VRAM-GB – Das 31B-Modell erreicht Llama-3.1-70B-Niveau auf einer einzelnen RTX 4090.
• Apache 2.0 – Keine Lizenzfallen, keine Nutzungsbeschränkungen.
• Vollständige DSGVO-Konformität – Lokale Inferenz ohne Drittanbieter.
• Fünf Varianten – Vom Laptop bis zum Server findet sich die passende Größe.

Empfohlener Einstieg: Laden Sie Ollama, führen Sie ollama run gemma4:12b aus – das kostet nichts außer ein paar Minuten Zeit. Für die Produktion planen Sie einen dedizierten KI-Server ab ca. 2.500 € und konfigurieren die Inference über ein Modelfile.

Stand: November 2026. Preise und Verfügbarkeiten können abweichen.