Was ein KI-Server nach der Anschaffung wirklich kostet

TL;DR

Die laufenden Kosten eines KI-Servers liegen über 36 Monate bei rund 17.600 Euro — das Dreifache der Anschaffung. Größter Posten ist nicht der Strom (etwa 1.200 Euro), sondern Personal: sieben Personentage pro Jahr für Treiber, Patches und Monitoring, plus vier je Modellwechsel. Rein finanziell schlägt der eigene Server günstige Cloud-APIs erst jenseits von 400 Millionen Token pro Monat — eine Menge, die eine einzelne RTX 4090 gar nicht liefern kann.

Der Kaufpreis ist der einzige Posten, den jeder Anbieter freiwillig nennt. Was danach kommt, steht in keinem Angebot. Dieser Artikel ist die Rechnung für die 36 Monate nach der Lieferung — welche Konfiguration Sie überhaupt brauchen, steht im Hardware-Guide für KI-Server.

Als Rechenbeispiel dient durchgehend ein einzelner Inference-Server mit einer RTX 4090 (24 GB VRAM, 450 W TDP), wie ihn ein Mittelständler mit 30 bis 100 aktiven Nutzern typischerweise betreibt. Alle Annahmen stehen offen im Text. Wer andere Zahlen hat, setzt sie ein.

Strom: der Leerlauf frisst fast so viel wie die Arbeit

Fangen wir mit dem Posten an, den jeder zuerst nennt — und den fast jeder falsch rechnet, weil er nur die Volllast betrachtet.

Ein Inference-Server läuft rund um die Uhr, arbeitet aber nur einen Bruchteil der Zeit. Realistische Annahme für internen Betrieb: 250 Arbeitstage à 6 Stunden echte GPU-Last, macht 1.500 Laststunden im Jahr. Die verbleibenden 7.260 Stunden ist die Kiste an, aber idle.

Die Systemleistung im Leerlauf (GPU rund 25 W plus Board, CPU, Netzteilverluste) und unter Last (450 W GPU plus rund 100 W Restsystem) sind Erfahrungswerte, keine Messwerte aus Ihrem Rack. Detaillierte Verbrauchsprofile pro GPU-Modell finden Sie in unserer Aufschlüsselung der KI-Server-Stromkosten.

Der Preis pro Kilowattstunde: Gewerbestrom lag bei 10.000 kWh Jahresverbrauch im Februar 2026 bei 27,15 ct/kWh, günstige Neuabschlüsse liegen netto bei rund 25 ct/kWh (Stand Juli 2026). Kleine und mittlere Industriebetriebe mit entsprechendem Abnahmeprofil kommen laut BDEW-Strompreisanalyse vom April 2026 bei Neuverträgen auf 16,7 ct/kWh. Wir rechnen konservativ mit 0,27 EUR/kWh netto.

Damit: 1.478 kWh × 0,27 EUR = 399 EUR pro Jahr, über 36 Monate rund 1.200 EUR.

Jetzt die unbequeme Beobachtung. Der Leerlauf schluckt 44 Prozent des Jahresverbrauchs, obwohl in diesen 83 Prozent der Stunden niemand mit dem Server arbeitet. Das klingt nach einem Sparhebel, ist aber keiner: Der gesamte Leerlaufstrom kostet 653 kWh × 0,27 EUR = 176 EUR im Jahr. Selbst wer den Server konsequent nachts und am Wochenende abschaltet, erwischt davon höchstens zwei Drittel — rund 350 EUR über drei Jahre — und handelt sich dafür Bootzeiten, kalte Modell-Caches und Verfügbarkeitsdiskussionen ein. Unsere Empfehlung: Lassen Sie die Maschine laufen. Der Strom ist nicht Ihr Problem.

Kühlung und Stellplatz: der Posten, der die Stromrechnung schlägt

Wenn Sie einen klimatisierten Serverraum haben, überspringen Sie diesen Abschnitt. Wenn nicht, wird es hier teurer als beim Strom.

Ein KI-Server wandelt praktisch seine gesamte Leistungsaufnahme in Abwärme um. 1.478 kWh im Jahr landen als Wärme im Raum. Unter Last sind das dauerhaft 550 Watt — etwa so viel, wie ein kleiner Heizlüfter auf der untersten Stufe abgibt, nur eben ohne Thermostat und ohne Sommerpause. In einem 20-Quadratmeter-Technikraum ohne Abluft reicht das, um die Temperatur binnen weniger Stunden zweistellig anzuheben.

Ein Split-Klimagerät mit 3,5 kW Kühlleistung kostet inklusive fachgerechter Installation 1.800 bis 3.500 EUR. Installieren darf es in Deutschland wegen der Kältemittel nur ein zertifizierter Betrieb, Eigenbau scheidet aus. Bei einem SEER von 8,5 zieht das Gerät für unsere Abwärme rund 175 kWh im Jahr, also etwa 47 EUR. Eine gesetzliche Dichtheitsprüfung brauchen Sie bei dieser Größe übrigens nicht — die greift erst ab 5 Tonnen CO2-Äquivalent Kältemittelfüllung, und ein 3,5-kW-Splitgerät mit rund einem Kilogramm R32 liegt bei knapp 0,7 Tonnen. Eine freiwillige Wartung schlägt trotzdem mit 150 bis 200 EUR im Jahr zu Buche, und wer sie spart, merkt den schleichenden Kälteleistungsverlust erst im Hochsommer.

Über 36 Monate: 2.500 EUR Anschaffung, dreimal 200 EUR Wartung, dreimal 47 EUR Kühlstrom — rund 3.200 EUR. Zweieinhalbmal so viel wie der Strom des Servers selbst.

Der zweite Posten hier heißt Stellplatz. Ein Tower unter dem Schreibtisch des IT-Leiters ist kein Betriebskonzept. Sobald der Server produktive Prozesse trägt, brauchen Sie einen abschließbaren Raum, eine separate Absicherung im Verteiler (550 W Dauerlast gehören nicht auf denselben Büro-Stromkreis wie der Wasserkocher, der beim Einschalten kurz 2.000 W zieht) und im Zweifel eine Anpassung Ihrer ISO-27001- oder TISAX-Dokumentation. Das sind keine Hardwarekosten, aber es sind Kosten.

Wartung: rechnen Sie in Personentagen, nicht in Prozent

Der meistgefälschte Posten in jeder TCO-Rechnung ist "Wartung: 10 Prozent der Hardwarekosten". Bei einem 5.800-EUR-Server wären das 580 EUR im Jahr. Das ist Unsinn, weil Wartung an einem KI-Server keine Materialfrage ist, sondern eine Personalfrage.

Wer patcht den NVIDIA-Treiber, wenn CUDA 13 die alte Version fallen lässt? Wer prüft nach dem Kernel-Update, ob das DKMS-Modul noch baut? Wer ist erreichbar, wenn die Inferenz Freitag um 17 Uhr steht und der Vertrieb am Montag eine Angebotsstrecke fahren will?

Realistischer Jahresaufwand für einen einzelnen produktiven Inference-Server:

• Treiber-, CUDA- und Runtime-Updates: 4 × 0,5 Tage
• OS-Patches, Reboots, Kernel-Wechsel: 1 Tag
• Monitoring pflegen, Alerts nachverfolgen, Fehlalarme aufräumen: 2 Tage
• Störungen und Incidents: 2 Tage

Macht sieben Personentage pro Jahr — ohne Modellwechsel, der bekommt einen eigenen Abschnitt. Der Tagessatz dahinter ist eine offengelegte Rechnung, keine Marktzahl: Gehaltsportale weisen für Systemadministratoren 2026 im Schnitt zwischen 53.000 und 56.000 EUR brutto aus; wir nehmen 54.000 EUR. Mit Arbeitgeberanteilen von rund 21 Prozent sind das etwa 65.000 EUR Personalkosten, verteilt auf rund 215 produktive Tage nach Urlaub, Krankheit und Feiertagen — macht rund 300 EUR pro Personentag. Über 36 Monate: 21 Personentage, rund 6.300 EUR.

Kaufen Sie den Betrieb extern ein, ändert sich die Größenordnung deutlich. Der Freelancer-Kompass 2026 weist für IT-Freelancer einen mittleren Stundensatz von 95 EUR aus, klassische IT-Dienstleister liegen mit Vertragsbindung eher darüber. Bei 95 EUR und acht Stunden sind das 760 EUR am Tag; dieselben 21 Personentage kosten dann rund 16.000 EUR — zweieinhalbmal so viel wie die interne Variante und fast das Dreifache des Kaufpreises.

Klare Position: Wenn Sie niemanden im Haus haben, der Linux, NVIDIA-Treiber und Container beherrscht, ist ein eigener KI-Server die falsche Entscheidung. Nicht wegen der Technik, sondern wegen der Rechnung. Mieten Sie stattdessen Rechenleistung, etwa über GPU-Server bei Hetzner, und kaufen Sie sich den Betrieb dazu.

Ersatzteile und Ausfall: Garantie ist nicht Verfügbarkeit

Zahlen zuerst, mit ihren Grenzen. Für Consumer-GPUs im Handel gibt es keine belastbare öffentliche Statistik — Hersteller veröffentlichen ihre RMA-Quoten nicht, und die kursierenden Händlerauswertungen liegen im niedrigen einstelligen Prozentbereich pro Jahr. Für Rechenzentrums-GPUs ist die Lage klarer: Aus Metas Daten zum Llama-3-Training wird eine jährliche In-Service-Ausfallrate von rund 9 Prozent abgeleitet. In diesem Segment verhalten sich Karten eher wie Verbrauchsmaterial als wie Anlagevermögen.

Ein Inference-Server im Mittelstand liegt zwischen beiden Welten: Er steht weder 24/7 unter Volllast noch ist er ein Gaming-PC. Rechnen wir mit den 9 Prozent als Obergrenze, liegt die kumulierte Ausfallwahrscheinlichkeit über 36 Monate bei 1 − 0,91³, also rund 25 Prozent; mit 2 Prozent als Untergrenze bei knapp 6 Prozent. Beide Enden sind grobe Schätzungen, und das ist der ehrliche Stand. Wichtiger als die Punktzahl: Der Erwartungswert einer Ersatzkarte ist überschaubar — das Problem ist nicht der Preis, sondern die Zeit.

Board-Partner geben auf eine GeForce RTX 4090 in Deutschland üblicherweise drei Jahre Garantie, einzelne mit Registrierung länger. Das deckt unsere 36 Monate ab, heißt aber nur: Sie bekommen die Karte ersetzt. Nicht: Sie bekommen sie nächste Woche. RMA-Durchläufe über den Händler dauern regelmäßig zwei bis sechs Wochen, und ein Nachfolgemodell mit gleichem VRAM ist nicht garantiert. Der Aufpreis professioneller Karten wie der RTX 6000 Ada zahlt vor allem auf VRAM-Menge, ECC und Blower-Kühlung für den Rackbetrieb ein; die zusätzlichen Support- und Austauschoptionen sind ein Nebeneffekt, kein Hauptgrund. Die Leistungsunterschiede der Kartenklassen haben wir im GPU-Vergleich für LLM-Inferenz aufgeschlüsselt.

Drei Wochen ohne Inferenz sind kein Hardwareproblem, sondern ein Betriebsausfall. Deshalb gehören 1.500 EUR Rückstellung über 36 Monate in die Rechnung — entweder für eine Kaltreserve im Schrank oder als Budget für einen Cloud-Fallback, der einspringt, während die Karte unterwegs ist. Wir empfehlen den Fallback: billiger, und Sie testen dabei gleich, ob Ihre Anwendung überhaupt umschaltbar ist.

Netzteile, Lüfter und NVMe-SSDs fallen ebenfalls aus, sind aber lagerhaltbar und kosten dreistellig. Die stecken in der Rückstellung mit drin.

Modell-Updates: alle sechs bis zwölf Monate von vorne

Das ist der Posten, der in keiner Anschaffungsrechnung auftaucht und der die IT jedes Mal überrascht.

Alle sechs bis zwölf Monate erscheint ein neues Basismodell, das spürbar besser ist als das, was Sie fahren. Das ist gut — aber es ist Arbeit. Ein Modellwechsel bedeutet nicht ollama pull. Er bedeutet:

# Neues Modell laden und parallel zum alten betreiben
ollama pull qwen3:32b

# Regressionstest gegen den eigenen Fragenkatalog fahren
python eval/regression.py --model qwen3:32b --baseline qwen2.5:32b

# Erst bei bestandenem Test umschalten

Der Regressionstest ist der Punkt. Prompts, die im alten Modell zuverlässig JSON zurückgaben, tun das im neuen manchmal nicht mehr. Systemprompts müssen nachgezogen werden. Bei RAG-Anwendungen kommt hinzu: Wechselt das Embedding-Modell mit, muss die komplette Vektordatenbank neu berechnet werden — bei einigen hunderttausend Dokumenten läuft das über Nacht, und danach muss jemand die Trefferqualität stichprobenartig prüfen.

Rechnen Sie mit vier Personentagen pro Migration und drei Migrationen in 36 Monaten. Bei 300 EUR pro Tag sind das rund 3.600 EUR.

Wer diesen Posten streicht, trifft eine implizite Entscheidung: Der Server fährt in drei Jahren immer noch das Modell vom Anschaffungstag. Das ist eine legitime Option — dann aber bitte bewusst und mit dem Wissen, dass die Cloud-Konkurrenz in derselben Zeit zwei Modellgenerationen weiter ist.

USV, Backup und Monitoring: die Nebenkosten

Eine unterbrechungsfreie Stromversorgung ist bei einem Server mit 550 W Lastspitze keine Kür. Ein 1,5-kVA-Gerät reicht dafür mit Reserve — 3 kVA sind für einen Einzelserver überdimensioniert und kosten nur mehr Anschaffung und Leerlaufverluste. Online-USV-Geräte dieser Klasse im Rackformat liegen bei rund 1.100 EUR. Wichtig ist der Folgeposten: Die Bleiakkus haben bei 20 bis 25 Grad Umgebungstemperatur eine Auslegungslebensdauer von drei bis fünf Jahren, im warmen Technikraum weniger. Innerhalb der 36 Monate fällt der Tausch also nicht zwingend an, ein Termin steht aber am Horizont — wir stellen 200 EUR anteilig zurück.

Das Backup der Vektordatenbank wird regelmäßig vergessen, weil es "ja nur abgeleitete Daten" sind. Stimmt technisch. Praktisch bedeutet ein Verlust: Alle Dokumente neu einlesen, neu chunken, neu embedden. Das sind bei größeren Beständen Tage, nicht Stunden. Snapshots gehören in dieselbe Backup-Routine wie Ihre Fachanwendungen; für Zielkapazität und Aufbewahrung setzen wir 500 EUR über die drei Jahre an. Zusammen mit USV und Akkurücklage macht das 1.800 EUR.

Monitoring ist software-seitig kostenlos — Prometheus, Grafana und der NVIDIA DCGM-Exporter sind Open Source, die Einrichtung beschreiben wir im Leitfaden zum KI-Server-Monitoring. Der Aufwand für Pflege und Alert-Nachverfolgung steckt bereits in den sieben Personentagen oben. Wer kein Monitoring aufsetzt, spart diese Tage und zahlt sie beim ersten stillen GPU-Fehler mit Zinsen zurück.

Die 36-Monats-Rechnung — und wann sie gegen die Cloud kippt

Alles zusammen, für einen Server mit einer RTX 4090, 30 bis 100 Nutzern, internem Betrieb und ohne vorhandenen Serverraum:

Das sind rund 650 EUR pro Monat. Die laufenden Kosten sind das Dreifache der Anschaffung. Wer den Business Case nur auf den Kaufpreis stellt, rechnet mit einem Viertel der Wahrheit.

Jetzt die Gegenprobe. Was bekommen Sie für 650 EUR im Monat an Cloud-API? Bei einem Modell der Haiku-Klasse (1 USD pro Million Input-Token, 5 USD pro Million Output-Token, Stand Juli 2026) und einem für RAG realistischen Verhältnis von vier Input- zu einem Output-Token liegt der Mischpreis bei (4 × 1 + 5) / 5 = 1,80 USD pro Million Token. Bei einem Kurs von 1,11 USD je Euro — dem Mittel des Julis 2026 — sind 650 EUR rund 720 USD. Das reicht für 400 Millionen Token pro Monat.

Zur Einordnung: Das sind bei 22 Arbeitstagen gut 18 Millionen Token täglich. Ein Unternehmen mit 100 aktiven Nutzern müsste pro Nutzer und Tag rund 36 RAG-Anfragen mit je 5.000 Token Kontext fahren, um dort hinzukommen.

Und jetzt die Zahl, die den Business Case endgültig kippt: Ihr Server kann diese Menge gar nicht liefern. Eine RTX 4090 schafft mit einem 32B-Modell in 4-Bit-Quantisierung im Einzelstrang rund 30 Token pro Sekunde; mit vLLM und paralleler Batch-Verarbeitung sind unter guten Bedingungen 300 bis 400 Token pro Sekunde drin. Bei unseren angesetzten 1.500 Laststunden im Jahr — 125 Stunden im Monat — sind das im Optimalfall 400 × 3.600 × 125 = 180 Millionen Token. Um die 400 Millionen zu erreichen, müsste die Karte praktisch rund um die Uhr unter Volllast laufen. Dann steigen aber Strom, Kühlung und Ausfallrisiko, und die 650 EUR pro Monat stimmen nicht mehr.

Unsere Position, und sie ist unbequem: Gegen günstige Cloud-Modelle rechnet sich ein einzelner KI-Server für den Mittelstand rein finanziell praktisch nie. Der rechnerische Kipp-Punkt liegt bei rund 400 Millionen Token im Monat, und der physische Durchsatz einer Karte reicht dafür nicht. Wer den Preisvergleich gewinnen will, braucht mehrere GPUs — und verschiebt damit die Anschaffung nach oben, nicht die Rechnung nach unten.

Anders sieht es gegen ein Frontier-Modell der Sonnet- oder GPT-5-Klasse aus. Bei 3 USD pro Million Input- und 15 USD pro Million Output-Token liegt der Mischpreis im selben 4:1-Verhältnis bei 5,40 USD; 720 USD reichen dann nur noch für rund 130 Millionen Token — eine Menge, die der Server erreichen kann. Nur vergleichen Sie dann Ungleiches: Ein lokales 32B-Modell liefert nicht die Qualität eines Frontier-Modells. Den Vergleich ehrlich zu ziehen heißt, das lokale Modell gegen die günstige Cloud-Klasse zu stellen — und dort verliert es.

Der belastbare Grund für einen eigenen Server ist deshalb selten der Preis. Er heißt Datenhoheit, Vorhersagbarkeit der Kosten und Unabhängigkeit von Anbieter-Roadmaps. Wenn Ihre Konstruktionsdaten, Patientenakten oder Lieferantenverträge das Haus nicht verlassen dürfen, ist die TCO-Rechnung zweitrangig — dann geht es um die Frage, wie teuer Compliance sein darf. Die grundsätzliche Abwägung haben wir im Vergleich Self-Hosted gegen Cloud durchgespielt, die Amortisation über verschiedene Nutzungsprofile im ROI-Rechner für KI-Server.

FAQ

Was kostet ein KI-Server im laufenden Betrieb pro Jahr?

Für einen Einzelserver mit einer RTX 4090 im Mittelstandsbetrieb sind rund 5.900 EUR pro Jahr realistisch. Darin enthalten sind etwa 400 EUR Strom, rund 1.100 EUR Kühlung, sieben Personentage Wartung sowie anteilig Modellmigration, Ersatzteilrückstellung und USV-Nebenkosten. Der Personalanteil ist mit gut 55 Prozent der größte Block, nicht die Energie.

Sind die Stromkosten eines KI-Servers wirklich der größte laufende Posten?

Nein, das ist ein verbreiteter Irrtum. Bei einem Gewerbestrompreis von 0,27 EUR/kWh und rund 1.478 kWh Jahresverbrauch liegen die Stromkosten bei etwa 400 EUR jährlich. Der Personalaufwand für Treiberpflege, Patches, Monitoring und Modellwechsel kostet beim gleichen Server das Fünf- bis Achtfache.

Ab welcher Nutzung lohnt sich ein eigener KI-Server gegenüber Cloud-APIs?

Gegen günstige Modelle der Haiku- oder Mini-Klasse liegt der rechnerische Kipp-Punkt bei rund 400 Millionen Token pro Monat — eine Menge, die eine einzelne RTX 4090 bei realistischer Auslastung nicht produziert. Gegen ein Frontier-Modell zu 3 bis 15 USD pro Million Token kippt die Rechnung schon bei etwa 130 Millionen Token monatlich, dort vergleicht man aber ungleiche Modellqualität. Unterhalb dieser Schwellen ist die Cloud rein rechnerisch günstiger, und Self-Hosting rechtfertigt sich nur über Datenschutz oder Kostenvorhersagbarkeit.

Wie hoch ist die Ausfallwahrscheinlichkeit einer GPU über drei Jahre?

Belastbare Herstellerzahlen für Consumer-Karten gibt es nicht. Für Rechenzentrums-GPUs im Dauerlastbetrieb wird aus Metas Llama-3-Trainingsdaten eine jährliche Ausfallrate von rund 9 Prozent abgeleitet. Rechnet man das über drei Jahre hoch, landet man bei etwa 25 Prozent; mit den deutlich niedrigeren Raten aus dem Handelsumfeld eher bei 6 Prozent. Ein Mittelstands-Inference-Server liegt zwischen beiden Enden — die Spanne ist groß, weil die Datenlage dünn ist. Kritischer als der Ersatzpreis ist ohnehin die Wiederbeschaffungszeit: RMA-Durchläufe dauern regelmäßig zwei bis sechs Wochen.

Brauche ich einen klimatisierten Serverraum für einen KI-Server?

Für einen dauerhaft produktiven Server ja. Ein System mit 550 Watt Lastaufnahme gibt diese Leistung praktisch vollständig als Wärme ab. Ohne aktive Kühlung steigt die Raumtemperatur, die GPU drosselt ihren Takt und die Lebensdauer von Netzteil und USV-Akkus sinkt. Ein Split-Klimagerät kostet inklusive Fachinstallation 1.800 bis 3.500 EUR plus 150 bis 200 EUR freiwillige Wartung im Jahr. Eine gesetzliche Dichtheitsprüfung greift in dieser Leistungsklasse noch nicht.

Fazit und nächster Schritt

Die ehrliche Zusammenfassung: Ein KI-Server kostet über drei Jahre etwa das Vierfache seines Kaufpreises, und der teuerste Posten ist die Person, die ihn am Laufen hält. Über den Preis gewinnt er gegen günstige Cloud-Modelle nicht — dafür müsste er mehr Token produzieren, als eine einzelne Karte hergibt. Kaufen Sie ihn also nicht, weil Sie sparen wollen, sondern weil Ihre Daten das Haus nicht verlassen dürfen oder Sie planbare statt nutzungsabhängige Kosten brauchen. Wer diese Gründe nicht hat und niemanden im Haus, der die 21 Personentage leistet, kauft sich ein Betriebsproblem statt einer Lösung.

Rechnen Sie Ihren eigenen Fall durch, bevor Sie ein Angebot einholen: Der KI-Kosten-Kalkulator trennt einmalige Setup-Kosten sauber von den laufenden Betriebskosten und zeigt, wo Ihr Break-Even gegenüber der Cloud liegt.