AMD-GPU für lokale KI: RX 9070 XT und ROCm

TL;DR

AMD ist 2026 für lokale Inferenz keine Notlösung mehr — unter Linux mit ROCm 7, Ollama und llama.cpp. Die RX 9070 XT (16 GB, oft um 500–600 €) trägt MoE und dichte Modelle bis grob 20B in Q4. Ein dichtes 27B in Q4 fällt über die 16-GB-Kante: Offload, einstellige Tokens/Sekunde. Wer 24 GB auf AMD will, kauft eher eine gebrauchte 7900 XTX, nicht die neue 16-GB-Karte. vLLM und Tooling bleiben CUDA-first. Windows: Vulkan, nicht ROCm als Default.

VRAM-Stufen: Lokale KI 2026: GPU-Wahl 16 GB vs. 24 GB.

Was 2026 anders ist als 2024

Lange brauchte Consumer-AMD HSA_OVERRIDE_GFX_VERSION und Community-Builds. RDNA 4 (gfx1201, 9070 XT) steht in aktuellen ROCm-Listen nativ. Ollama erkennt die Karte unter Linux, sobald der ROCm-Treiber sitzt — ohne Override.

Das ändert den Kauf, nicht den Speicher. 16 GB bleiben 16 GB. Die KI-Beschleuniger der 9070 XT helfen nur, wenn das Modell in den VRAM passt. Dokumentierte Tests mit Qwen-27B-Klasse Q4 auf dieser Karte enden im PCIe-Offload — unbrauchbar für Agents.

9070 XT oder 7900 XTX?

Für denselben Euro ist Speicher die klügere AMD-Wahl, nicht die neuere SKU. Genau analog zur NVIDIA-Seite: eine gebrauchte 24-GB-Karte schlägt eine neue 16-GB-Karte, sobald das Modell dicht ist.

16-GB-Klasse inkl. RTX 5080: 16 GB GPU 2026: 5080, 9070 XT, 4060 Ti.

Linux first, Windows nur mit Vulkan

• Linux: ROCm-Treiber, User in render/video, Ollama-ROCm-Image oder llama.cpp mit HIP. Das ist der Weg, den Sie betreiben können.
• Windows: ROCm für Consumer bleibt lückenhaft. llama.cpp Vulkan oder LM Studio über den Grafiktreiber. Nicht denselben Runbook wie unter Ubuntu erwarten.
• vLLM: Kernel-Support je Architektur prüfen. Ohne gfx1201-Kernels fällt die Engine auf langsame Pfade — dann ist llama.cpp die ehrlichere Runtime.

Runtime-Schnitt: llama.cpp vs. vLLM.

Wann NVIDIA die einfachere Karte bleibt

CUDA ist der Default in Anleitungen, Containern, vLLM, TensorRT. Ein Plattform-Team mit GPU-Server, Kubernetes und Multi-User-vLLM spart keine Lizenz mit AMD — es zahlt Integrationszeit. AMD lohnt, wenn Sie eine Workstation, Linux, Ollama/llama.cpp und den Euro pro GB VRAM optimieren.

Datacenter-NVIDIA (DGX/HGX/L40S) bleibt eine andere Liga: NVIDIA GPU-Server richtig wählen.

Häufige Fragen

Läuft Ollama auf der 9070 XT ohne Basteln?

Unter Linux mit aktuellem ROCm-Stack: ja, die Karte wird erkannt. Das Modell muss trotzdem in 16 GB passen. ollama ps zeigt, ob Schichten auf der CPU landen — dann ist das Quant zu groß, nicht der Treiber kaputt.

Ist AMD 30–40 % langsamer als eine 4090?

In vielen Stacks ja, sobald CUDA-optimierte Server-Engines zählen. Für Einzelplatz-llama.cpp ist die Lücke kleiner als 2024, der VRAM entscheidet trotzdem zuerst. Eine 4090 mit 24 GB gewinnt gegen 16 GB AMD bei dichten 27B-Modellen klar — durch Speicher, nicht durch Marke.

Soll ich für den Server AMD kaufen?

Nur wenn das Team ROCm betreiben will. Für 24/7-Inference mit vLLM, Monitoring und austauschbaren Nodes ist NVIDIA der kürzere Pfad. AMD ist die Preis-pro-VRAM-Karte am Schreibtisch.

Fazit und nächster Schritt

Die 9070 XT ist eine seriöse 16-GB-Einstiegskarte für MoE und 14B-Klasse, kein 27B-Server. 24 GB auf AMD heißt 7900 XTX (oder NVIDIA gebraucht). Software zuerst Linux/ROCm denken, Windows nicht schönreden.

Wenn Sie AMD gegen NVIDIA an Ihrer Last messen wollen — ein Modell, ein Quant, Tokens/Sekunde, nicht das Datenblatt: Sprechen Sie uns an.