- Published on
VRAM-Rechner für KI-Modelle — welche GPU brauche ich?
- Authors
- Name
- Phillip Pham
- @ddppham
VRAM-Rechner für KI-Modelle: Welche GPU brauche ich?
Die Frage "Welche GPU brauche ich?" lässt sich mit dem VRAM-Bedarf des Modells beantworten. Je grösser das Modell, desto mehr VRAM wird benötigt. Dieser VRAM-Rechner hilft Ihnen, die passende GPU für Ihr KI-Projekt zu finden.
VRAM-Bedarf nach Modellgrösse
| Modell | GRÖSSE | VRAM (4-bit) | VRAM (8-bit) | Empfohlene GPU |
|---|---|---|---|---|
| Llama 3.1 8B | 8 Mrd | ~6 GB | ~12 GB | RTX 4060 Ti (16 GB) |
| Llama 3.1 13B | 13 Mrd | ~10 GB | ~20 GB | RTX 4090 (24 GB) |
| Llama 3.1 70B | 70 Mrd | ~40 GB | ~80 GB | RTX 6000 Ada (48 GB) oder A100 |
| Mistral Large | 123 Mrd | ~70 GB | ~140 GB | A100 80GB (mehrere GPUs) |
| Qwen 2.5 72B | 72 Mrd | ~41 GB | ~82 GB | A100 80GB |
Faustregel: 2 GB VRAM pro 1 Mrd. Parameter bei 8-bit-Quantisierung, 1 GB VRAM pro 1 Mrd. Parameter bei 4-bit-Quantisierung.
VRAM-Bedarf der beliebtesten Modelle
Llama-Modelle (Meta)
- Llama 3 8B: 6-12 GB VRAM → RTX 4060 Ti (16 GB)
- Llama 3 70B: 40-80 GB VRAM → A100 80 GB
Qwen-Modelle (Alibaba)
- Qwen 2.5 7B: 6-12 GB VRAM → RTX 4090 (24 GB)
- Qwen 2.5 72B: 41-82 GB VRAM → A100 80 GB
Mistral-Modelle (Frankreich)
- Mistral 7B: 6-12 GB VRAM → RTX 4090 (24 GB)
- Mistral Large: 70-140 GB VRAM → A100 80GB
GPU-Empfehlungen nach VRAM-Bedarf
| VRAM-Bedarf | Empfohlene GPU | Preis (2026) |
|---|---|---|
| Bis 16 GB | RTX 4060 Ti | ca. 400 EUR |
| Bis 24 GB | RTX 4090 | ca. 1.600–1.800 EUR |
| Bis 28 GB | RTX 5090 | ca. 2.000 EUR |
| Bis 48 GB | RTX 6000 Ada | ca. 12.000 EUR |
| Bis 80 GB | A100 80 GB | ca. 16.000–20.000 EUR |
Multi-GPU-Setups
Wenn ein einzelnes Modell nicht in eine GPU passt, können Sie mehrere GPUs im Verbund betreiben:
- 2x RTX 4090: 48 GB VRAM zusammen — für 30B-Modelle mit 4-bit
- 2x A100 80GB: 160 GB VRAM zusammen — für 100B+ Modelle
- 4x RTX 4090: 96 GB VRAM zusammen — für 70B-Modelle
Wichtig: Für Multi-GPU-Setups brauchen Sie NVLink oder schnelle PCIe-Anbindung. RTX 4090 unterstützt kein NVLink — hier sind A100s die bessere Wahl.
Fazit: VRAM ist der limitierende Faktor
Der VRAM-Speicher bestimmt, welches Modell Sie betreiben können. 24 GB VRAM reichen für 30B-Modelle, 80 GB VRAM für 70B-Modelle. Bei noch grösseren Modellen braucht es Multi-GPU-Setups oder Cloud-KI.
📖 Verwandte Artikel
Weitere interessante Beiträge zu ähnlichen Themen
Welche GPU für KI-Server im Mittelstand? Auswahl 2026
Welche GPU für KI-Server im Mittelstand? RTX 4090, RTX 5090, A100, L40S — Vergleich, VRAM, Kosten, Performance. Entscheidungshilfe für den Einstieg.
KI-Modelle für On-Premise: Der Vergleich 2026 (Llama, Qwen, Mistral, DeepSeek)
Die besten KI-Modelle für On-Premise 2026 im Vergleich: Llama, Qwen, Mistral, DeepSeek und GLM — Qualität, Deutsch, VRAM-Bedarf und Hardware-Empfehlung.
VRAM-Rechner für KI-Modelle: Welche GPU braucht welches Modell?
VRAM-Rechner für LLMs: Wie viel GPU-Speicher brauchen Llama, DeepSeek, Qwen & Co.? Formel, Tabellen für 7B bis 284B und die richtige GPU-Wahl 2026.
Bereit für KI im Mittelstand?
Nutzen Sie unsere 10 kostenlosen KI-Tools und Praxis-Guides – oder sprechen Sie direkt mit unseren Experten.
Pexon Consulting – KI-Beratung für den Mittelstand | Scaly Academy – Geförderte KI-Weiterbildung (KI-Spezialist, KI-Experte, Workflow-Automatisierung)