Published on

Gemma 2 27B auf eigenem Server: Googles Open-Weight-Modell on-premise

Authors

Googles Gemma-2-Familie (2B, 9B, 27B) ist eine der besten Open-Weight-Kollektionen — insbesondere das 27B-Modell zeigt exzellente Sprach- und Code-Qualität.

Gemma 2 27B: Technische Daten

FeatureWert
Parameter27B
ArchitekturGQA (Grouped Query Attention)
Kontext8K Tokens
Training Data6T Tokens
LizenzGemma License (kommerziell erlaubt)
VRAM (q4)~16 GB
VRAM (q8)~32 GB

Hardware-Empfehlung

HardwareModellKostenLeistung
RTX 4060 Ti 16GBGemma2-27B (q4)~€450~15 tok/s
RTX 4090 24GBGemma2-27B (q3)~€1.900~25 tok/s

Gemma 2 27B vs. Qwen2.5 14B

VergleichGemma 2 27BQwen2.5 14B
VRAM (q4)~16 GB~9 GB
DeutschSehr gutHervorragend
EnglischExcellentExcellent
CodeExcellentHervorragend
Kontext8K32K
Hardware-Kosten~€450~€800

Gemma 2 27B ist die bessere Wahl für englisch-lastige Anwendungen und Code-Generierung. Qwen2.5 14B hat besseren Deutsch-Support und längeren Kontext.

Deployment

# Mit Ollama
ollama pull gemma2:27b

# Mit vLLM
pip install vllm
python -m vllm.entrypoints.openai.api_server \
  --model google/gemma-2-27b-it \
  --max-model-len 8192

Fazit

Gemma 2 27B ist ein exzellentes Open-Weight-Modell — besonders für Code-Generierung und englischsprachige Anwendungen. Für Deutsch ist Qwen2.5 oder Llama3.3 oft besser.

👉 Open-Source-LLM Guide: Alle Modelle verglichen 👉 Pexon Consulting: Private AI

Quellen & Weiterführende Links

📖 Verwandte Artikel

Weitere interessante Beiträge zu ähnlichen Themen