Was eine Million Token auf eigener Hardware wirklich kostet

TL;DR

Die Vollkosten einer 96-GB-Karte liegen bei rund 6.500 Euro im Jahr. Ob sich der Eigenbetrieb rechnet, hängt an einer Zahl, die fast nie ehrlich eingesetzt wird: der Auslastung. Gegen ein vergleichbar großes Cloud-Modell liegt der Break-even bei etwa 30 Prozent — gegen ein Spitzenmodell schon bei wenigen Prozent. Wer beides verwechselt, rechnet sich reich.

Schritt 1: die Vollkosten einer Karte

Nicht der Kaufpreis. Die Jahreskosten.

NVIDIA listet die RTX PRO 6000 Blackwell mit 96 GB bei 13.250 US-Dollar (Stand August 2026) — im März 2025 startete dieselbe Karte bei 8.565 Dollar. Wer mit Preisen aus dem Vorjahr rechnet, rechnet 55 Prozent zu günstig.

Umgerechnet und netto rund 12.200 Euro. Daraus die Jahresrechnung:

Setzen Sie Ihre eigenen Werte ein — insbesondere Strompreis und Abschreibungsdauer schwanken erheblich. Bei fünf Jahren Nutzungsdauer statt drei fallen die Jahreskosten auf rund 4.900 Euro. Ob eine GPU fünf Jahre wirtschaftlich sinnvoll läuft, ist allerdings eine Wette darauf, dass die Modelle nicht schneller wachsen als die Karte alt wird — in den letzten drei Jahren wäre diese Wette verloren gegangen.

Schritt 2: der Durchsatz

Hier wird meistens geraten, und deshalb sind die meisten Wirtschaftlichkeitsrechnungen wertlos.

Der Durchsatz hängt an Modell, Quantisierung, Kontextlänge, Batchgröße und Inferenzserver. Fremde Benchmarkzahlen sind für Ihre Rechnung unbrauchbar. Messen Sie selbst — das dauert eine halbe Stunde:

# vLLM bringt ein Lastwerkzeug mit
python -m vllm.entrypoints.openai.api_server --model /models/... &

vllm bench serve \
  --model /models/qwen3-30b-a3b \
  --dataset-name random \
  --random-input-len 2048 \
  --random-output-len 512 \
  --max-concurrency 32 \
  --num-prompts 500

Interessant ist die Zeile Output token throughput bei realistischer Gleichzeitigkeit — nicht der Wert bei einer einzelnen Anfrage. Ein Modell der 30B-MoE-Klasse auf einer 96-GB-Karte liefert bei 32 parallelen Anfragen typischerweise einen aggregierten Ausgabedurchsatz im Bereich von etwa 1.000 bis 2.500 Token pro Sekunde; wir rechnen im Folgenden konservativ mit 1.200.

Schritt 3: die Auslastung — der ehrliche Teil

Jetzt der Punkt, an dem sich Wirtschaftlichkeitsrechnungen entscheiden und an dem am meisten geschummelt wird.

Eine Karte läuft nicht rund um die Uhr unter Volllast. In einem mittelständischen Unternehmen mit interner Nutzung sieht die Realität so aus: Anfragen kommen zwischen 8 und 18 Uhr, mit Spitzen am Vormittag. Nachts und am Wochenende passiert nichts.

Selbst bei guter Nutzung während der Arbeitszeit landen Sie über das Jahr gerechnet bei 5 bis 15 Prozent durchschnittlicher Auslastung. Wer 50 Prozent ansetzt, hat entweder Batch-Verarbeitung über Nacht oder rechnet sich das Ergebnis herbei.

Daraus die Jahresmenge:

Token/Jahr = 1.200 Token/s × 31.536.000 s/Jahr × Auslastung

Schritt 4: der Vergleich, den man richtig ziehen muss

Hier passiert der teuerste Fehler in Investitionsvorlagen.

Wer ein selbst betriebenes 30B-Modell gegen die Preise eines Cloud-Spitzenmodells rechnet, vergleicht Ungleiches. Ein Spitzenmodell in der Cloud kostet ein Vielfaches eines kleinen — und ein kleines Cloud-Modell liegt preislich in derselben Klasse wie das, was Sie selbst betreiben würden.

Der faire Vergleich für ein 30B-Modell ist ein kleines Cloud-Modell mit einem Ausgabepreis im Bereich von grob 0,50 bis 0,60 Euro je Million Token:

Break-even gegen ein vergleichbares kleines Cloud-Modell: etwa 30 Prozent Auslastung.

Der Vergleich gegen ein Spitzenmodell mit rund 9 Euro je Million Ausgabe-Token sieht anders aus:

Break-even gegen ein Spitzenmodell: bereits bei etwa 2 Prozent Auslastung.

Beide Zahlen sind richtig, und sie beantworten verschiedene Fragen. Die ehrliche Frage lautet: Reicht für meinen Anwendungsfall das kleine Modell? Wenn ja, ist der Eigenbetrieb erst ab hoher Auslastung günstiger. Wenn nein — wenn Sie tatsächlich Spitzenqualität brauchen —, dann müssen Sie auch lokal ein entsprechend großes Modell betreiben, und dann steigen Ihre Hardwarekosten um den Faktor vier bis acht.

Was in dieser Rechnung ohnehin fehlt und alles überlagert: die Personalkosten für den Betrieb. Bei 45.000 bis 63.000 Euro im Jahr sind sie in fast jeder mittelständischen Installation größer als GPU und Strom zusammen. Die vollständige Aufstellung steht in der Kostenrechnung für eine KI-Plattform.

Welche Karte für welche Modellgröße

Kartenzahl aufgerundet auf Zweierpotenzen, weil Tensor-Parallelität das verlangt. KV-Cache nicht enthalten — bei vielen parallelen Nutzern kann er die Gewichte übersteigen. Die Rechnung dafür steht im Beitrag zum VRAM-Bedarf.

Der Sprung von einer auf zwei Karten ist der teuerste in dieser Tabelle. Nicht wegen der zweiten Karte, sondern weil Sie ab da eine schnelle Verbindung zwischen den Karten brauchen und damit eine andere Serverklasse.

Häufig gestellte Fragen

Was kostet eine Million Token auf eigener Hardware?

Bei einer 96-GB-Karte mit rund 6.600 Euro Jahresvollkosten und einem 30B-MoE-Modell: etwa 3,50 Euro je Million Token bei 5 Prozent Auslastung, 1,75 Euro bei 10 Prozent und 0,35 Euro bei 50 Prozent. Die Auslastung ist der bestimmende Faktor — sie schwankt stärker als jede andere Größe in der Rechnung.

Ab wann lohnt sich der Kauf einer GPU gegenüber Cloud-APIs?

Gegen ein vergleichbar großes Cloud-Modell ab etwa 30 Prozent Auslastung. Gegen ein deutlich größeres Spitzenmodell schon ab wenigen Prozent — dann vergleichen Sie allerdings unterschiedliche Qualitätsstufen. Der ehrliche Vergleich setzt voraus, dass beide Seiten dieselbe Aufgabe in vergleichbarer Qualität lösen.

Wie messe ich den tatsächlichen Durchsatz meiner Hardware?

Mit dem Lastwerkzeug des Inferenzservers, bei realistischer Gleichzeitigkeit statt bei einer einzelnen Anfrage. Entscheidend ist der aggregierte Ausgabedurchsatz bei der Zahl paralleler Anfragen, die Sie im Betrieb erwarten. Werte aus fremden Benchmarks sind unbrauchbar, weil Modell, Quantisierung, Kontextlänge und Serverversion das Ergebnis stark verändern.

Welche durchschnittliche Auslastung ist realistisch?

In mittelständischen Installationen mit interner Nutzung über das Jahr gerechnet 5 bis 15 Prozent. Anfragen fallen während der Arbeitszeit an, nachts und am Wochenende steht die Karte still. Höhere Werte erreichen Sie nur durch zusätzliche Batch-Verarbeitung außerhalb der Kernzeit — etwa das nächtliche Neuberechnen von Einbettungen.

Sollte ich statt zu kaufen GPU-Kapazität mieten?

Bei niedriger oder unsicherer Auslastung ja. Die Miete bei einem europäischen Anbieter hält die Verarbeitung im europäischen Rechtsraum und vermeidet eine Investition, die sich bei 5 Prozent Auslastung nicht trägt. Der Kauf lohnt bei hoher gleichmäßiger Last oder wenn die Daten die eigene Infrastruktur zwingend nicht verlassen dürfen.

Der nächste Schritt

Messen Sie zwei Zahlen, bevor Sie eine Karte bestellen: den tatsächlichen Durchsatz Ihres Modells auf einer gemieteten Karte, und die Zahl der Anfragen, die Ihre Nutzer im Monat stellen. Aus beidem ergibt sich die Auslastung — und die entscheidet die Investitionsfrage, nicht der Kartenpreis. Bei der Rechnung schauen wir gern mit.