Gpu

Ollama Qwen3 lokal: ollama run qwen3, Tags 0.6b bis 235b laut Bibliothek. Serve, Think-Modus und API /v1 stehen in der Qwen- und Ollama-Doku.

Lokale KI hängt an der Geräteklasse, nicht an der Marke. Ein Chip fragt nur, ein Mini-Rechner trägt kleine Modelle, der Server bleibt an.

Ab dem Home Server bleiben die Modelle an. Viel Speicher bei wenig Bandbreite erzeugt langsam. 24 Gigabyte mit viel Bandbreite drehen das um.

Der Treiber macht nvidia-smi auf dem Host. Erst das Container Toolkit reicht die GPU an Docker durch. Ohne nvidia-ctk sieht der Container keine Karte.

Ollama unter Windows: nativer GPU-Pfad und WSL2. Treiber laut Doku, Installer, Docker und Prüfung, ob die Karte wirklich arbeitet.