AI-Inference: Die teure Betriebsphase der KI

TL;DR

Training lernt Beziehungen in Daten und speichert sie als Modellgewichte. Inference wendet diese Gewichte auf neue Daten an — in Echtzeit, millionenfach. Rund 90 % der Modell-Lebenszeit ist Inference. Deshalb dominieren Betriebskosten, Strom und Latenz die Hardware-Entscheidung — nicht der einmalige Trainingslauf.

Training vs. Inference

Beispiel Spam-Filter: Im Training lernt das Modell Keywords, Absender-Muster, Ausrufezeichen. In der Inference bewertet es jede neue Mail und liefert eine Wahrscheinlichkeit — die Business-Regel entscheidet (90 % → Spam-Ordner, 50 % → Flag für den Nutzer).

Warum Inference so teuer ist

Vier Treiber:

1. Skalierung: Training einmal, Inference milliardenfach über die Lebenszeit.
2. Geschwindigkeit: Echtzeit-Antworten brauchen energiehungrige Acceleratoren (GPUs).
3. Komplexität: Größere LLMs brauchen mehr Rechenarbeit pro Request.
4. Infrastruktur: Rechenzentren, Kühlung, Netz, Verschleiß — laufende Kosten statt CapEx allein.

Schätzungen sehen den Großteil des KI-CO₂-Fußabdrucks im Serving, nicht im Training. Für den Mittelstand heißt das: Wer Private AI plant, optimiert zuerst Inference — siehe Stromkosten von KI-Servern.

Der Stack entscheidet über Tempo und Kosten

Hardware: Spezielle AI-Acceleratoren sind auf Matrixmultiplikation ausgelegt — oft effizienter als allgemeine CPUs, teils effizienter als klassische GPUs für reine Inference.

Software: Modellkompression senkt Last.

• Pruning: überflüssige Gewichte entfernen
• Quantisierung: z. B. von FP32 auf INT8/FP8 — weniger Speicher, schnellere Rechnung

Middleware: Graph Fusion reduziert Roundtrips zwischen CPU und GPU. Parallelisierung zerlegt den Compute-Graph und verteilt Chunks über mehrere GPUs — relevant, wenn ein Modell mehr VRAM braucht als eine Karte hat (Beispiel aus dem Talk: ~150 GB für ein großes Modell vs. ~80 GB einer A100).

Was das für Hardware-Kauf heißt

• Kaufen Sie für Inference-Last, nicht für Trainings-Peak.
• Planen Sie Quantisierung und Serving-Engine (vLLM o. ä.) mit ein — sonst überdimensionieren Sie GPUs.
• Verteilte Inference und Cache (LLM-D) sparen oft mehr als die nächste Karte.
• Einstieg ohne sechsstelligen CapEx: Budget-GPU unter 1.000 Euro bzw. passende NVIDIA-Server-Familie.

Häufige Fragen

Ist Training immer teurer?

Pro Lauf oft ja. Über die Lebenszeit dominiert Inference — weil es permanent läuft.

Reicht eine Consumer-GPU?

Für kleine Modelle und Piloten ja. Für parallele Nutzer, große Kontexte und SLOs brauchen Sie Datacenter-GPUs oder klare Partitionierung auf Kubernetes.

Was bringt Quantisierung konkret?

Weniger VRAM und höhere Tokens/s — oft der erste Hebel, bevor Hardware nachgekauft wird. Orientierung: VRAM-Rechner.

Fazit

Inference ist die Phase, in der KI Wert liefert — und Geld verbraucht. Wer Hardware, Quantisierung und Middleware als einen Stack denkt, steuert Kosten und Latenz. Wer nur „eine große GPU" kauft, zahlt später für Leerlauf und Überdimensionierung.

Wir helfen, Inference-Last zu schätzen, den Stack zu dimensionieren und den Betrieb messbar zu machen.