Deutschland

Lohnt sich eine gebrauchte RTX 3090 für lokale KI? Wir analysieren Preise ab 550€, die Leistung der 24GB VRAM und die TCO für den Mittelstand.

Rund 90 % der Modell-Lebenszeit ist Inference. Kosten, Strom und Latenz entscheiden über Hardware, Quantisierung und Middleware — der Leitfaden für den Mittelstand.

Modell allein reicht nicht. Fünf Schichten — Infrastruktur, Modell, Daten/RAG, Orchestrierung, Application — entscheiden über Qualität, Tempo, Kosten und Sicherheit.

Cursor mit lokalem LLM über Ollama: Setup, ngrok-Brücke, Verify-Falle — und warum VPN die bessere Private-AI-Variante ist als ein öffentlicher Tunnel.

GPUs in Containern brauchen CDI. Time-Slicing, MPS und MIG haben klare Trade-offs. DRA ersetzt starre Device-Plugins — der Deep-Dive für effizienten GPU-Betrieb.