Vllm

Qwen3-Coder 30B-A3B auf DGX Spark: 73 tok/s NVFP4, mit EAGLE3 bis 139 tok/s beim Code-Edit. Speculation nur für Coding, nicht für Chat.

llama.cpp vs. vLLM: Quantisierung und GGUF auf kleiner Hardware gegen Paged Attention und Durchsatz auf dem GPU-Cluster — welcher Runtime-Pfad 2026.

LLM-D verteilt Inference intelligent über den Cluster: Prefill/Decode getrennt, Prefix-Cache, smarter Routing. Berichte: 3× bessere P90-Latenz, 57× schnelleres TTFT.

Wer mehrere DGX Spark (GB10) zu einem Cluster verbindet, steht vor einem Verwaltungsproblem: Deployment, Load-Balancing, Fine-Tuning und GPU-Telemetrie. Die NVIDIA-Community baut gerade Open-Source-Control-Planes wie DGX Manager — ein Web-Dashboard, das alles auf eigener Hardware erledigt. Was Mittelständler jetzt wissen müssen.

Die Community erzielt auf dem NVIDIA DGX Spark mit Qwen3.8-27B und NVFP4-Quantisierung 34–38 Tokens pro Sekunde — rund 30 % schneller als mit FP8 bei kleinerem Speicherbedarf. Was Mittelständler über NVFP4, SGLang und die Stolperfallen wissen müssen.