Inference-Kosten pro Token: On-Premise vs. API im Vergleich 2026

Kurzantwort: Was kostet Inference pro Token?

Die Inference-Kosten pro Token lassen sich mit einer einfachen Formel berechnen: GPU-Kosten pro Stunde ÷ Tokens pro Stunde. Ein eigener KI-Server mit RTX 4090 erzeugt für ein 8B-Modell etwa 0,000001 bis 0,000005 Euro pro Token (0,1-0,5 Cent pro 1.000 Tokens) — günstiger als fast jede API. Bei einem 70B-Modell auf teurer Hardware steigen die Kosten auf 0,002 bis 0,01 Cent pro Token. Die API-Preise der Hyperscaler liegen 2026 bei 0,15 bis 3,50 Euro pro 1 Million Tokens (Input) — On-Premise ist ab einer bestimmten Auslastung immer günstiger. Die Break-Even-Rechnung zeigt: Ab etwa 5-10 Millionen Tokens pro Tag lohnt sich eigene Hardware.

Dieser Beitrag zeigt die Formel, die Rechenbeispiele für die gängigsten Modellgrößen und die Entscheidung On-Premise vs. API mit konkreten Zahlen.

Die Formel: Inference-Kosten pro Token

Die Grundformel ist einfach:

Kosten pro Token = GPU-Kosten pro Stunde ÷ Tokens pro Stunde

GPU-Kosten pro Stunde (Abschreibung + Strom):

• RTX 4090: 2.000 EUR / 3 Jahre + 0,35 EUR Strom/h ≈ 0,43 EUR/h
• A6000: 5.000 EUR / 3 Jahre + 0,50 EUR Strom/h ≈ 0,80 EUR/h
• H100: 25.000 EUR / 3 Jahre + 1,50 EUR Strom/h ≈ 3,20 EUR/h

Tokens pro Stunde (Durchsatz, abhängig von Modell und Engine):

• 8B-Modell auf RTX 4090 mit vLLM: 300.000-600.000 Tokens/h
• 70B-Modell (INT4) auf 2x RTX 4090: 80.000-200.000 Tokens/h
• 70B-Modell auf H100: 400.000-800.000 Tokens/h

Die Engine-Wahl beeinflusst den Durchsatz massiv — der vLLM vs. Ollama Benchmark zeigt die Messwerte.

Kosten-Tabelle: On-Premise pro 1.000 Tokens

Zum Vergleich — API-Preise 2026 (pro 1.000 Tokens):

Kernerkenntnis: On-Premise ist bei den reinen Token-Kosten fast immer günstiger als kommerzielle APIs. Der Haken: On-Premise-Kosten entstehen auch im Leerlauf (Abschreibung, Strom), APIs nur bei Nutzung. Deshalb entscheidet die Auslastung.

Die Break-Even-Rechnung: Wann lohnt sich On-Premise?

Die entscheidende Frage ist nicht "wer ist pro Token günstiger", sondern "ab welcher Auslastung lohnt sich eigene Hardware".

Beispiel 70B-Modell:

• On-Premise (2x RTX 4090): 12.000 EUR Investition + 2.500 EUR/Jahr Betrieb = ca. 6.500 EUR/Jahr (3 Jahre)
• API (Claude-Klasse): 0,005 EUR/1.000 Tokens (gemischt)
• Break-Even: 6.500 EUR ÷ 0,005 EUR/1.000 = 1,3 Milliarden Tokens/Jahr = ~3,6 Mio Tokens/Tag

Beispiel 8B-Modell:

• On-Premise (1x RTX 4090): 5.000 EUR + 2.000 EUR/Jahr = ca. 3.700 EUR/Jahr
• API (GPT-5-mini-Klasse): 0,0015 EUR/1.000 Tokens
• Break-Even: 3.700 ÷ 0,0015 × 1.000 = 2,5 Mrd Tokens/Jahr = ~6,8 Mio Tokens/Tag

Faustregel: Ab etwa 3-7 Millionen Tokens pro Tag (je nach Modell und API-Preis) ist On-Premise günstiger. Darunter ist die API wirtschaftlicher — außer DSGVO oder Datenkontrolle erzwingen lokale Verarbeitung. Der Self-Hosted vs. Cloud-Vergleich vertieft die Entscheidung.

Die versteckten Kosten, die alle vergessen

Die reine Token-Rechnung reicht nicht. Vier Kostenblöcke entscheiden:

1. KV-Cache und Kontext: Lange Kontexte vervielfachen den VRAM- und Energiebedarf. Ein 128k-Kontext kostet mehr als das 4-fache eines 8k-Kontexts. Der VRAM-Rechner hilft bei der Planung.
2. Leerlauf-Kosten: On-Premise-Hardware kostet auch ohne Nutzung (Abschreibung, Strom im Idle). Bei weniger als 20% Auslastung ist die API fast immer günstiger.
3. Wartung und Betrieb: 5-15 Stunden/Monat Eigenaufwand oder externer Support. Die Wartungs-Routinen zeigen den Aufwand.
4. Batch vs. Echtzeit: Batch-Verarbeitung (nachts, asynchron) kann den Durchsatz verdoppeln und die Kosten pro Token halbieren. Die Batch-API-Strategien zeigen das Muster.

Kosten senken: Die 5 Hebel

1. Quantisierung: INT4 statt FP16 reduziert den VRAM-Bedarf um 75% — gleiche Hardware, größere Modelle. Details im VRAM-Rechner.
2. Prompt-Caching: Wiederkehrende System-Prompts und Dokumente cachen — bis zu 90% der Input-Kosten sparen. Die Caching-Strategie zeigt die Praxis.
3. Routing: Einfache Anfragen ans kleine Modell, komplexe ans große. LiteLLM mit Fallback-Routing automatisiert das.
4. Batch-Verarbeitung: Asynchrone Stapelverarbeitung nutzt die GPU besser aus.
5. Richtige Engine: vLLM erzielt 2-5x höheren Durchsatz als Ollama — gleiche Hardware, halbe Kosten. Der Benchmark belegt es.

Die Entscheidung: On-Premise, API oder Hybrid?

Die On-Premise-Option im Detail: KI on-premise mit eigenen GPUs. Die Cloud-Alternative: GPU-Server mieten. Die Hardware-Kosten: KI-Server kaufen.

FAQ

Was kostet Inference pro Token?

On-Premise kostet Inference 0,001 bis 0,03 Euro pro 1.000 Tokens, je nach Modellgröße und Hardware. APIs kosten 0,0001 bis 0,015 Euro pro 1.000 Tokens. Die Formel: GPU-Kosten pro Stunde ÷ Tokens pro Stunde.

Wie berechne ich die Token-Kosten meines KI-Servers?

GPU-Kosten pro Stunde (Abschreibung + Strom) durch Tokens pro Stunde teilen. Beispiel: RTX 4090 (0,43 EUR/h) mit 400.000 Tokens/h = 0,0011 EUR pro 1.000 Tokens. Den tatsächlichen Durchsatz mit vLLM oder Ollama messen.

Wann lohnt sich On-Premise gegenüber der API?

Ab etwa 3-7 Millionen Tokens pro Tag (je nach Modell und API-Preis). Darunter ist die API günstiger, außer DSGVO oder Datenkontrolle erzwingen lokale Verarbeitung. Die Break-Even-Rechnung im Artikel zeigt die Details.

Ist eigene Hardware immer günstiger?

Nein. On-Premise kostet auch im Leerlauf (Abschreibung, Strom). Bei unter 20% Auslastung ist die API fast immer günstiger. Erst ab hoher, konstanter Auslastung gewinnt eigene Hardware.

Wie senke ich die Inference-Kosten?

Quantisierung (INT4), Prompt-Caching, Modell-Routing (klein/groß), Batch-Verarbeitung und die richtige Engine (vLLM statt Ollama) senken die Kosten um 50-90%. Die Details stehen in den fünf Hebeln oben.

Was kostet ein 70B-Modell pro 1.000 Tokens on-premise?

Ein 70B-Modell in INT4 auf 2x RTX 4090 kostet etwa 0,006 Euro pro 1.000 Tokens. Auf einer H100 etwa 0,004 Euro. Zum Vergleich: Die API-Preise für 70B-Klasse liegen bei 0,001-0,005 Euro pro 1.000 Tokens.