All Posts

Eine gebrauchte RTX 3090 bietet 24 GB VRAM für lokale LLMs. Wir analysieren Preis-Leistung, Risiken und zeigen, für welche KI-Modelle sie sich 2026 lohnt.

Rund 90 % der Modell-Lebenszeit ist Inference. Kosten, Strom und Latenz entscheiden über Hardware, Quantisierung und Middleware — der Leitfaden für den Mittelstand.

Modell allein reicht nicht. Fünf Schichten — Infrastruktur, Modell, Daten/RAG, Orchestrierung, Application — entscheiden über Qualität, Tempo, Kosten und Sicherheit.

Cursor mit lokalem LLM über Ollama: Setup, ngrok-Brücke, Verify-Falle — und warum VPN die bessere Private-AI-Variante ist als ein öffentlicher Tunnel.

GPUs in Containern brauchen CDI. Time-Slicing, MPS und MIG haben klare Trade-offs. DRA ersetzt starre Device-Plugins — der Deep-Dive für effizienten GPU-Betrieb.