DeepSeek V4 Flash auf eigener Hardware betreiben

TL;DR

DeepSeek V4 Flash hat 284 Milliarden Gesamtparameter bei rund 13 Milliarden aktiven je Token, ein Kontextfenster von einer Million Token und steht unter MIT-Lizenz. In 4-Bit-Quantisierung belegen allein die Gewichte rund 170 GB — realistisch vier Karten der 96-GB-Klasse, also etwa 48.000 Euro nur für GPUs.

Angaben geprüft am 4. August 2026 anhand der Herstellerangaben zur Fassung DeepSeek-V4-Flash-0731. Modelle in diesem Feld ändern sich schnell — prüfen Sie die Werte an der Modellkarte, bevor Sie eine Beschaffung darauf stützen.

Was das Modell ist

DeepSeek hat die Produktivfassung von V4-Flash Ende Juli 2026 unter MIT-Lizenz veröffentlicht, nachdem bereits im April eine erste Fassung zusammen mit dem deutlich größeren V4-Pro erschienen war. Beide sind Mixture-of-Experts-Modelle.

Die Eckdaten von V4 Flash:

Die MIT-Lizenz ist der Punkt, der das Modell für Unternehmen überhaupt interessant macht. Sie erlaubt kommerzielle Nutzung, Weiterverbreitung und Veränderung ohne gesonderte Vereinbarung — im Gegensatz zu manchen anderen Modellen mit offenen Gewichten, deren Lizenzen für den kommerziellen Einsatz einen Vertrag mit dem Anbieter verlangen.

Die Speicherrechnung

Das Verhältnis 284 zu 13 ist verlockend und führt regelmäßig zu einem Denkfehler: "Nur 13 Milliarden aktiv, das läuft doch auf einer Karte."

Nein. Der Router entscheidet für jedes Token neu, welche Experten er anspricht. Alle müssen im Speicher liegen. Die aktiven Parameter bestimmen die Geschwindigkeit, die Gesamtparameter den Speicherbedarf. Die vollständige Herleitung steht im Beitrag zum VRAM-Bedarf bei MoE-Modellen.

Bei etwa 0,6 Byte je Parameter in 4-Bit-Quantisierung — der realistische Wert, nicht die Faustformel 0,5:

Gewichte:     284 Mrd. × 0,6 Byte   ≈ 170 GB
KV-Cache:     abhängig vom Kontext, siehe unten
Overhead:     ca. 2 GB je Karte

Der KV-Cache ist bei diesem Modell der Posten, der die Auslegung bestimmt. Bei einem Kontextfenster von einer Million Token wird er bei voller Ausnutzung größer als die Gewichte. Deshalb: Setzen Sie die maximale Kontextlänge auf das, was Sie brauchen, nicht auf das, was das Modell kann. 32.000 Token decken RAG-Anwendungsfälle vollständig ab.

Mit vier Karten à 96 GB haben Sie 384 GB. Nach Abzug der Gewichte bleiben rund 200 GB für KV-Cache und Overhead — das trägt eine ordentliche Zahl paralleler Sitzungen.

Die Konfiguration

# Gewichte holen — rechnen Sie mit erheblichem Downloadvolumen
hf download deepseek-ai/DeepSeek-V4-Flash-0731 \
  --local-dir /models/deepseek-v4-flash

# Vier Karten, Tensor-Parallelität
vllm serve /models/deepseek-v4-flash \
  --served-model-name deepseek-flash \
  --tensor-parallel-size 4 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.92 \
  --max-num-seqs 32 \
  --port 8000

Vier Punkte, an denen Erstinstallationen scheitern:

--tensor-parallel-size muss zur Kartenzahl passen und die Modellarchitektur muss teilbar sein. Praktisch bedeutet das Zweierpotenzen. Drei Karten funktionieren bei den meisten Architekturen nicht, auch wenn der Speicher rechnerisch reichen würde.

Die Karten brauchen eine schnelle Verbindung untereinander. Bei Tensor-Parallelität wird nach jeder Schicht synchronisiert. Über PCIe statt NVLink verlieren Sie erheblich an Durchsatz — bei vier Karten deutlich spürbar. Prüfen Sie die Topologie mit nvidia-smi topo -m, bevor Sie Leistungswerte interpretieren.

Quantisierung ist eine eigene Entscheidung. Prüfen Sie, ob für Ihre Fassung geprüfte quantisierte Gewichte vorliegen oder ob Sie selbst quantisieren müssen. Bei sehr großen MoE-Modellen ist die Qualität quantisierter Fassungen nicht immer gleichwertig — testen Sie an Ihrem eigenen Fragensatz.

Der erste Start dauert lang. 170 GB Gewichte von der Platte in den Grafikspeicher zu laden, kostet je nach Speichersystem viele Minuten. Setzen Sie die Startprüfungen entsprechend großzügig, sonst startet die Orchestrierung den Dienst in einer Schleife neu.

Für wen sich das rechnet

Klar formuliert, weil die Investitionssumme das verlangt:

Nicht für ein Unternehmen, das eine interne Wissenssuche betreiben will. Dafür reicht ein Modell der 30B-Klasse auf einer Karte, und der Unterschied im Ergebnis ist kleiner als der Unterschied zwischen gutem und schlechtem Abruf. Diese Rechnung machen wir in fast jedem Sizing-Gespräch, und sie fällt fast immer so aus.

Möglicherweise für Häuser mit hoher Dauerlast über viele Anwendungsfälle, bei denen die Karten ohnehin ausgelastet wären.

Ja für Fälle, in denen die Daten die eigene Infrastruktur zwingend nicht verlassen dürfen und die Aufgabe tatsächlich ein Modell dieser Klasse verlangt — lange Dokumente in einem Durchgang, komplexe mehrstufige Aufgaben.

Bei rund 48.000 Euro netto für vier Karten plus 30 bis 50 Prozent für Server und Infrastruktur reden wir über eine Investition von 65.000 bis 75.000 Euro. Rechnen Sie das gegen die Miete bei einem europäischen Anbieter, bevor Sie bestellen — die Systematik steht im Beitrag zur GPU-Auswahl mit Kosten je Million Token.

Häufig gestellte Fragen

Wie viel VRAM braucht DeepSeek V4 Flash?

In 4-Bit-Quantisierung rund 170 GB allein für die Gewichte, bei 284 Milliarden Gesamtparametern und etwa 0,6 Byte je Parameter. Dazu kommen KV-Cache und Overhead. Praktisch bedeutet das mindestens vier Karten der 96-GB-Klasse, wobei die Kartenzahl wegen der Tensor-Parallelität eine Zweierpotenz sein sollte.

Darf DeepSeek V4 Flash kommerziell genutzt werden?

Ja. Die Gewichte stehen unter MIT-Lizenz, die kommerzielle Nutzung, Veränderung und Weiterverbreitung ohne gesonderte Vereinbarung erlaubt. Das unterscheidet das Modell von anderen mit offenen Gewichten, deren Lizenzen für den kommerziellen Einsatz einen Vertrag mit dem Anbieter voraussetzen.

Ist der Einsatz eines chinesischen Modells datenschutzkonform?

Beim Betrieb auf eigener Infrastruktur ja, weil keine Übermittlung in ein Drittland stattfindet — die rechtliche Bewertung folgt dem Verarbeitungsort, nicht der Herkunft der Gewichte. Die ausführliche Einordnung samt Dokumentationsanforderungen steht im Beitrag zu chinesischen Modellen und dem Hosting-Ort.

Warum reichen 13 Milliarden aktive Parameter nicht für eine kleine Karte?

Weil der Router pro Token neu auswählt, welche Experten er anspricht — welche das sein werden, ist vorher nicht bekannt. Deshalb müssen alle 284 Milliarden Parameter im Speicher liegen. Die aktiven Parameter bestimmen ausschließlich, wie schnell ein Token erzeugt wird, nicht wie viel Speicher belegt ist.

Lohnt sich dieses Modell für ein mittelständisches Unternehmen?

In den meisten Fällen nicht. Für interne Wissenssuche, Zusammenfassung und Textformulierung liefert ein Modell der 30B-Klasse auf einer einzelnen Karte vergleichbare Ergebnisse zu einem Bruchteil der Investition. Sinnvoll wird diese Klasse bei sehr langen Dokumenten in einem Durchgang, bei komplexen mehrstufigen Aufgaben oder bei hoher Dauerlast über viele Anwendungsfälle.

Der nächste Schritt

Testen Sie, bevor Sie kaufen: Mieten Sie für zwei Tage entsprechende GPU-Kapazität bei einem europäischen Anbieter und lassen Sie Ihre eigenen Fragen gegen das Modell laufen — im Vergleich zu einem 30B-Modell. Wenn der Unterschied Ihre Anwender nicht überzeugt, sparen Sie 70.000 Euro. Beim Aufbau des Vergleichs helfen wir gern.