Deutschland

Drei Orte: Anthropic betreibt Schleife und Sandbox, nur die Schleife, oder Sie betreiben das Modell auf der eigenen GPU. Die Daten entscheiden.

Der Treiber macht nvidia-smi auf dem Host. Erst das Container Toolkit reicht die GPU an Docker durch. Ohne nvidia-ctk sieht der Container keine Karte.

Linux legt Ollama-Modelle unter /usr/share/ollama/.ollama/models. OLLAMA_MODELS zeigt auf die NVMe. Der Nutzer ollama braucht Schreibrecht auf dem Pfad.

Ollama unter Windows: nativer GPU-Pfad und WSL2. Treiber laut Doku, Installer, Docker und Prüfung, ob die Karte wirklich arbeitet.

Die RTX 4090 spricht PCIe 4.0 x16 und hat kein NVLink. Ob die zweite Karte auf x8 fällt, steht im Mainboard-Handbuch, nicht im GPU-Datenblatt.