Gpu

Die RTX 4090 spricht PCIe 4.0 x16 und hat kein NVLink. Ob die zweite Karte auf x8 fällt, steht im Mainboard-Handbuch, nicht im GPU-Datenblatt.

Passthrough gibt der VM die GPU. Der Host nutzt sie danach nicht mehr. Sinnvoll, wenn Proxmox schon läuft und die Karte allein in ihrer IOMMU-Gruppe sitzt.

VRAM ist der Engpass für lokale KI. Vier Wege zu mehr GPU-Speicher im Vergleich — und warum die verbreiteten BIOS-Tricks und Shared-Memory-Tipps für KI-Modelle nichts bringen.

Ollama lauscht auf Port 11434 – aber nur auf localhost. Port per OLLAMA_HOST ändern, im Firmennetz freigeben, hinter Docker oder Reverse Proxy absichern: Anleitung mit Configs, Kosten-Tabelle und DSGVO-Einordnung.

Gemma 4 in Ollama: E2B, E4B, 12B, 26B MoE oder 31B? VRAM-Bedarf, Kosten und Hardware-Empfehlung für den deutschen Mittelstand – inklusive DSGVO-Einordnung.