Published on6. September 2026KV-Cache: warum Kontext die GPU sprengtkv-cachevramgpukontextlokale-kiki-servermittelstanddeutschlandKV-Cache frisst VRAM mit jedem Token und jedem parallelen Nutzer. Warum eine 24-GB-Karte bei 8k reicht und bei 128k scheitert — und was Sie an der GPU-Wahl ändern.
Published on2. September 2026LLM-D: Verteilte Inference auf Kubernetes — schneller und günstigerllm-dinferencekuberneteskv-cachegpuvllmmittelstanddeutschlandLLM-D verteilt Inference intelligent über den Cluster: Prefill/Decode getrennt, Prefix-Cache, smarter Routing. Berichte: 3× bessere P90-Latenz, 57× schnelleres TTFT.