Cluster

Wer mehrere DGX Spark (GB10) zu einem Cluster verbindet, steht vor einem Verwaltungsproblem: Deployment, Load-Balancing, Fine-Tuning und GPU-Telemetrie. Die NVIDIA-Community baut gerade Open-Source-Control-Planes wie DGX Manager — ein Web-Dashboard, das alles auf eigener Hardware erledigt. Was Mittelständler jetzt wissen müssen.

DeepSeek V4 Flash offiziell (FP8) auf zwei DGX Spark im Cluster: TP=2, MTP, 200K Kontext. Das komplette Setup aus dem NVIDIA-Forum mit echten Messwerten, Gotchas und Kosten.

Ollama Cluster mit Load Balancing: 200+ Nutzer, automatisches Failover, horizontale Skalierung. Nginx-Setup für den Mittelstand.