Inference

Ollama Context Length einstellen: Default-Werte pro VRAM-Stufe, OLLAMA_CONTEXT_LENGTH, Modelfile num_ctx, KV-Cache-Speicher und Entscheidungsmatrix für GPU-Wahl nach benötigter Kontextlänge.

Rund 90 % der Modell-Lebenszeit ist Inference. Kosten, Strom und Latenz entscheiden über Hardware, Quantisierung und Middleware — der Leitfaden für den Mittelstand.

AI-Modelle brauchen GPUs — Kubernetes verwaltet sie. Drei Schritte zur AI-Readiness und warum Partitionierung der größte Kostenhebel ist.

llama.cpp vs. vLLM: Quantisierung und GGUF auf kleiner Hardware gegen Paged Attention und Durchsatz auf dem GPU-Cluster — welcher Runtime-Pfad 2026.

LLM-D verteilt Inference intelligent über den Cluster: Prefill/Decode getrennt, Prefix-Cache, smarter Routing. Berichte: 3× bessere P90-Latenz, 57× schnelleres TTFT.