Self-hosted

Ollama serialisiert Anfragen pro Modell. Mehrere Instanzen hinter nginx mit least_conn: systemd-Units, Config und die Timeouts, die wirklich zählen.

RAG, Chat, OCR, Code oder Sichtprüfung — jede Anwendung braucht anderes Sizing. Fünf Faustformeln plus die KV-Cache-Rechnung, die 70B-Pläne killt.

KI-Server erklärt: Was ihn von einem normalen Server unterscheidet, welche drei Bauformen es gibt und wann die Cloud die bessere Wahl bleibt.

DeepSeek-v3 auf eigenem Server betreiben: Chinas Open-Source-LLM mit 671B Parametern — für deutsche Unternehmen mit Datenschutz-Bedenken.

Gemma 2 27B von Google auf dem eigenen Server: Open-Weight-Modell mit hervorragender Sprachqualität. Hardware, Performance und Deployment-Guide.