Gemma 2 27B auf eigenem Server: Googles Open-Weight-Modell on-premise

Googles Gemma-2-Familie (2B, 9B, 27B) ist eine der besten Open-Weight-Kollektionen — insbesondere das 27B-Modell zeigt exzellente Sprach- und Code-Qualität.

Gemma 2 27B: Technische Daten

|| Feature | Wert | ||---|---| || Parameter | 27B | || Architektur | GQA (Grouped Query Attention) | || Kontext | 8K Tokens | || Training Data | 6T Tokens | || Lizenz | Gemma License (kommerziell erlaubt) | || VRAM (q4) | ~16 GB | || VRAM (q8) | ~32 GB |

Hardware-Empfehlung

|| Hardware | Modell | Kosten | Leistung | ||---|---|---|---| || RTX 4060 Ti 16GB | Gemma2-27B (q4) | ~€450 | ~15 tok/s | || RTX 4090 24GB | Gemma2-27B (q3) | ~€1.900 | ~25 tok/s |

Gemma 2 27B vs. Qwen2.5 14B

|| Vergleich | Gemma 2 27B | Qwen2.5 14B | ||---|---|---| || VRAM (q4) | ~16 GB | ~9 GB | || Deutsch | Sehr gut | Hervorragend | || Englisch | Excellent | Excellent | || Code | Excellent | Hervorragend | || Kontext | 8K | 32K | || Hardware-Kosten | ~€450 | ~€800 |

Gemma 2 27B ist die bessere Wahl für englisch-lastige Anwendungen und Code-Generierung. Qwen2.5 14B hat besseren Deutsch-Support und längeren Kontext.

Deployment

# Mit Ollama
ollama pull gemma2:27b

# Mit vLLM
pip install vllm
python -m vllm.entrypoints.openai.api_server \
  --model google/gemma-2-27b-it \
  --max-model-len 8192

Fazit

Gemma 2 27B ist ein exzellentes Open-Weight-Modell — besonders für Code-Generierung und englischsprachige Anwendungen. Für Deutsch ist Qwen2.5 oder Llama3.3 oft besser.

👉 Open-Source-LLM Guide: Alle Modelle verglichen 👉 Pexon Consulting: Private AI