Training statt Inferenz: warum der GPU-Server dafür anders aussieht

TL;DR

Trainings-Hardware braucht ein Vielfaches des VRAM von Inferenz-Hardware: Faustregel 16 Byte pro Parameter statt 0,5 Byte bei Q4-Inferenz. Eine RTX 4090 mit 24 GB betreibt ein 8B-Modell im Q4-Format mit weitem Puffer, scheitert aber am vollen Fine-Tuning genau dieses Modells. Wichtiger noch: Training läuft in Schüben — mieten schlägt kaufen fast immer.

Erst die unbequeme Frage: brauchen Sie überhaupt Training?

Wenn in einem Mittelstandsprojekt das Wort "KI-Training" fällt, ist in den allermeisten Fällen etwas anderes gemeint. Meistens Fine-Tuning. Manchmal nicht einmal das, sondern schlicht Retrieval Augmented Generation — also ein Basismodell, das zur Laufzeit in Ihren eigenen Dokumenten nachschlägt.

Der Unterschied ist keine Wortklauberei, er entscheidet über eine fünfstellige Investition.

Unsere Position dazu ist unbequem, aber sie hat sich in der Praxis gehalten: Wer noch kein sauberes RAG-Setup produktiv hat, sollte kein Trainingsbudget freigeben. RAG löst den Großteil der Fälle, die im Mittelstand als "Training" beantragt werden — Angebotstexte, Serviceanfragen, Wissensdatenbanken. Fine-Tuning bringt Stil und Format, nicht Fakten. Wenn Ihnen jemand verspricht, dass Fine-Tuning dem Modell Ihre Produktdaten "beibringt", verkauft er Ihnen die falsche Lösung.

Und wenn es am Ende nur um Inferenz geht: Dann brauchen Sie diesen Artikel nicht weiterzulesen, sondern die Konfigurationen aus unserem Hardware-Guide für KI-Server. Dort stehen die Budgetstufen für den reinen Betrieb von Modellen. Der Rest hier behandelt ausschließlich den Fall, dass wirklich Gewichte verändert werden.

Warum die RTX 4090 beim Training an eine Wand läuft

Für Inferenz ist die RTX 4090 nach wie vor die vernünftigste Karte am Markt. Für Training ist sie es oft nicht — und der Grund ist nicht die Rechenleistung, sondern der Speicher.

Bei der Inferenz liegt im VRAM nur das quantisierte Modell plus KV-Cache. Bei Q4 sind das rund 0,5 Byte pro Parameter. Beim Training kommen drei weitere Posten dazu, die alle größer sind als das Modell selbst:

# Grobe VRAM-Schätzung für volles Fine-Tuning
# (AdamW, Mixed Precision FP16 — Standard-Setup)
#
#   Gewichte           2 Byte / Parameter
#   Gradienten         2 Byte / Parameter
#   Optimizer-States  12 Byte / Parameter  (fp32-Kopie + Momentum + Varianz)
#   ------------------------------------
#   Summe             16 Byte / Parameter

params_mrd = 8                          # Llama 3.1 8B
zustand_gb = params_mrd * 16            # = 128 GB
aktivierungen_gb = 12                   # hängt an Batch-Size und Kontextlänge
print(zustand_gb + aktivierungen_gb)    # -> 140

140 GB für ein 8B-Modell, das bei der Inferenz in rund 6 GB passt (8 Mrd. × 0,5 Byte für Q4 plus KV-Cache). Faktor gut 20. Das ist der eigentliche Bruch zwischen den beiden Welten, und er erklärt, warum ein Server, der für Inferenz perfekt dimensioniert ist, beim ersten Trainingslauf mit CUDA out of memory aussteigt.

In der Praxis drückt man diese Zahl mit Gradient Checkpointing, 8-Bit-Optimizern und Sharding nach unten. Modal rechnet ein volles Fine-Tuning eines 7B-Modells mit 8-Bit-Optimizer auf rund 70 GB herunter — 14 GB Gewichte, 14 GB Gradienten, 42 GB Optimizer-States (Modal, VRAM für Fine-Tuning). Das bleibt das Dreifache dessen, was eine 24-GB-Karte hergibt.

Drei weitere Punkte, die bei Inferenz egal sind und beim Training weh tun:

Kein NVLink. NVIDIA hat den NVLink-Anschluss mit der Ada-Lovelace-Generation gestrichen — die RTX 4090 hat keinen mehr, die RTX 6000 Ada ebenfalls nicht. Zwei Karten reden also über PCIe 4.0 x16, also rund 32 GB/s je Richtung. Bei Inferenz mit Pipeline-Parallelismus fällt das kaum auf, weil pro Token nur wenige Megabyte über den Bus gehen. Beim Training werden nach jedem Schritt die kompletten Gradienten synchronisiert — bei einem 7B-Modell in FP16 sind das 14 GB pro Schritt und Karte. Über 32 GB/s dauert allein diese Synchronisation knapp eine halbe Sekunde. Der Bus wird zum Flaschenhals, und die zweite GPU skaliert deutlich schlechter als linear. Wie stark, hängt an Modellgröße, Batch-Size und Sharding-Strategie — messen Sie es, bevor Sie die zweite Karte kaufen.

Kein ECC. GeForce-Karten haben keine Fehlerkorrektur im Speicher. Bei einem Inferenz-Request bedeutet ein gekipptes Bit ein leicht falsches Token — ärgerlich, folgenlos. Bei einem 30-Stunden-Trainingslauf bedeutet es im schlechtesten Fall einen NaN-Wert im Gradienten, der den Lauf still vergiftet. Sie merken das erst an der Evaluation. Die Workstation- und Serverkarten (RTX 4000 SFF Ada, RTX 6000 Ada, RTX PRO 6000 Blackwell) haben ECC, die GeForce-Reihe nicht.

Die Lizenzfrage. Die GeForce-Treiberlizenz von NVIDIA (Fassung vom 25. Februar 2025, Abschnitt 2.8) formuliert es wörtlich so: GeForce- und Titan-Software "is licensed for use only on GeForce or Titan hardware products you own" und "is not licensed for datacenter deployment". Wie hart das gegen einen Mittelständler durchgesetzt wird, der zwei 4090 im eigenen Serverraum stehen hat, ist eine andere Frage — öffentlich dokumentierte Durchsetzungsfälle sind uns keine bekannt. Trotzdem: Wenn Sie den Server bei einem Colocation-Provider einstellen oder GPU-Kapazität an Kunden weitergeben, wird daraus ein Vertragsrisiko, das Ihre Rechtsabteilung nicht mögen wird. Ein technischer Vergleich der Karten steht in unserem GPU-Vergleich für LLM-Inferenz.

Drei Szenarien und was sie wirklich kosten

Die Hardware-Entscheidung fällt nicht am Modellnamen, sondern an der Trainingsmethode. Diese drei Fälle decken praktisch alles ab, was im Mittelstand tatsächlich vorkommt.

Szenario 1: LoRA-Fine-Tuning eines 7B/8B-Modells

Das ist der mit Abstand häufigste reale Fall. Statt aller Gewichte werden nur kleine Adaptermatrizen trainiert — der Speicherbedarf für Gradienten und Optimizer-States schrumpft entsprechend auf einen Bruchteil.

Modal setzt LoRA auf einem 7B-Modell in 16-Bit bei rund 15 GB an, QLoRA mit 4-Bit-Basismodell bei rund 5 GB. Rechnen Sie für Aktivierungen und einen realistischen Batch ein paar Gigabyte drauf — beides passt komfortabel auf eine 24-GB-Karte. Zur Qualität gibt es keine belastbare Prozentzahl, die man seriös zitieren könnte; die QLoRA-Autoren berichten, dass 4-Bit-QLoRA die Ergebnisse eines 16-Bit-Fine-Tunings auf ihren Benchmarks erreicht. Nehmen Sie das als Richtung, nicht als Garantie für Ihren Datensatz, und messen Sie gegen eine eigene Baseline.

Hardware-Konsequenz: Eine einzelne RTX 4090, RTX 5090 (32 GB) oder RTX 6000 Ada reicht. Wenn Sie schon eine Inferenz-Maschine haben, brauchen Sie für diesen Fall gar keinen neuen Server — Sie trainieren nachts auf der bestehenden. Das ist unsere Standardempfehlung für den Mittelstand: LoRA auf vorhandener Hardware, kein Beschaffungsantrag.

Szenario 2: Volles Fine-Tuning eines 13B-Modells

Rechnen Sie es einmal durch: 13 Milliarden Parameter × 16 Byte = 208 GB allein für Gewichte, Gradienten und Optimizer-States. Aktivierungen kommen obendrauf.

Das ist keine Workstation mehr. Das sind mindestens drei RTX PRO 6000 Blackwell mit je 96 GB, verbunden über FSDP oder DeepSpeed ZeRO-3, in einem Chassis mit passender Kühlung und PCIe-Anbindung. Die günstigste Listung der 96-GB-Karte liegt bei €9.599 für die PNY Workstation Edition, die NVIDIA-Variante bei €12.790 (Geizhals, Abruf 29.07.2026). Drei Karten sind damit €28.800 bis €38.400 — nur die GPUs. Server- und Netzwerkteil, Rack, Strom und Kühlung sind da noch nicht drin.

Unsere Empfehlung für diesen Fall: nicht kaufen. Wir haben noch kein Mittelstandsprojekt gesehen, bei dem volles Fine-Tuning eines 13B genug Mehrwert gegenüber LoRA lieferte, um diese Investition zu rechtfertigen. Machen Sie den Lauf auf gemieteter Hardware und vergleichen Sie das Ergebnis gegen Ihre LoRA-Baseline. Wenn der Unterschied Sie nicht überzeugt — und das ist die wahrscheinlichere Variante — haben Sie ein paar hundert Euro ausgegeben statt dreißigtausend.

Szenario 3: Training from scratch

Kurze Antwort: Kaufen Sie keinen Server. Mieten Sie.

Ein Modell von Null zu trainieren ist im deutschen Mittelstand fast nie die richtige Antwort, und wenn doch, dann für ein kleines Spezialmodell — Zeitreihen, Bildklassifikation in der Qualitätskontrolle, Anomalieerkennung. Für Sprachmodelle gilt: Der Rechenaufwand für ein brauchbares Basismodell liegt in Größenordnungen, die kein einzelner Mittelständler wirtschaftlich stemmt. Selbst für kleine Spezialmodelle ist die Anschaffung falsch, weil das Training ein einmaliges Projekt ist und der Server danach steht.

Interconnect, Netzteil, Kühlung, Stellplatz

Ab zwei GPUs hört die Hardware auf, ein Einkaufsproblem zu sein, und wird ein Gebäudeproblem.

Prüfen Sie zuerst, wie Ihre Karten tatsächlich verbunden sind. Auf dem Papier steht x16, elektrisch liefert der zweite Slot auf vielen Consumer-Boards nur x4:

# Wie sind die GPUs verbunden?
# PIX/PXB/SYS = über PCIe, NV# = über NVLink
nvidia-smi topo -m

# Echte Bandbreite und Latenz zwischen den Karten messen
# (aus den CUDA-Samples, Verzeichnis p2pBandwidthLatencyTest)
./p2pBandwidthLatencyTest

Steht dort überall SYS, laufen Ihre Gradienten über den Chipsatz und im Zweifel durch den CPU-Root-Complex. Das kostet bei jedem einzelnen Trainingsschritt.

Netzteil. Zwei RTX 4090 ziehen je 450 W. Plus CPU (170 W), plus Board, Lüfter und NVMe (rund 150 W) sind das 1.220 W Grundlast. Mit den üblichen 30 % Reserve für Lastspitzen landen Sie bei einem 1600-W-Netzteil. Sparen Sie hier nicht — unterdimensionierte Netzteile äußern sich in Abstürzen mitten im Trainingslauf, und die sind auf Anhieb kaum von einem Software-Fehler zu unterscheiden.

Strom und Wärme. 1.200 W elektrische Leistung sind 1.200 W Abwärme. Bei 0,30 €/kWh (deutscher Gewerbestrom, unsere Kalkulationsbasis) kostet ein 30-Stunden-Trainingslauf rund €11 an Strom (1,2 kW × 30 h × 0,30 €) — das ist der harmlose Teil. Der unangenehme Teil ist, dass diese Wärme in den Raum muss. Ein normales Büro mit 20 m² heizt sich unter Dauerlast innerhalb einer Stunde spürbar auf. Ohne Klimatisierung drosseln die Karten, und Ihr Trainingslauf dauert plötzlich 40 statt 30 Stunden. Die detaillierte Rechnung dazu steht in unserer Aufstellung zu Stromkosten und Verbrauch von KI-Servern.

Stellplatz und Lautstärke. Datacenter-Karten wie die L40S oder die RTX PRO 6000 Server Edition sind passiv gekühlt. Sie brauchen zwingend den Luftstrom eines Rack-Chassis. Ein 2-HE-Server unter Volllast ist nicht bürotauglich — das ist keine Geschmacksfrage, sondern eine Arbeitsschutzfrage. Planen Sie einen Technikraum ein oder nehmen Sie aktiv gekühlte Workstation-Karten im Tower.

Wer trotzdem selbst bauen will, findet die Komponentenauswahl in unserer Anleitung zum Selbstbau einer GPU-Workstation. Für Multi-GPU-Betrieb unter Last lohnt zusätzlich ein Blick auf Monitoring mit Prometheus, Grafana und DCGM — ohne Telemetrie merken Sie thermisches Throttling erst an der Rechnung.

Die wichtigste Zahl: 98 % Stillstand

Hier ist der Punkt, an dem die meisten Beschaffungsanträge scheitern sollten und es nicht tun.

Training ist kein Dauerbetrieb. Es ist ein Projekt mit Schüben. Ein realistischer Mittelstandsrhythmus sieht so aus: zwei Fine-Tuning-Zyklen im Monat, je vier bis sechs Stunden. Macht rund 12 Stunden GPU-Last pro Monat, also etwa 144 Stunden im Jahr. Von 8.760 Stunden. Die Auslastung liegt bei 1,6 %.

Rechnen wir das gegen. Annahmen offengelegt: gekaufter Server mit RTX 6000 Ada (48 GB ECC, günstigste Listung €7.106,88 bei Geizhals, Abruf 29.07.2026) plus rund €3.600 für Threadripper-Plattform, RAM, Netzteil und Gehäuse — zusammen etwa €10.700. Systemleistung unter Trainingslast angesetzt mit 450 W, im Leerlauf mit 100 W, Strompreis 0,30 €/kWh. Auf der Mietseite die Hetzner GEX131 mit RTX PRO 6000 Blackwell Max-Q, 96 GB ECC, zu €1,4247 pro Stunde ohne Setup-Gebühr.

Der Break-even auf die reine Anschaffung liegt bei rund 7.500 Trainingsstunden (€10.700 ÷ €1,4247). Zählt man den Idle-Strom des gekauften Servers mit, verschiebt er sich auf rund 8.900 Stunden. Um auch nur die 7.500 in drei Jahren zu erreichen, müssten Sie 48 Stunden pro Woche trainieren — durchgehend, drei Jahre lang. Kein Mittelständler, den wir kennen, tut das. Und die Mietkarte hat dabei doppelt so viel VRAM.

Das Gegenargument ist berechtigt, und ich führe es selbst an: Der gekaufte Server steht nicht nur herum, er macht in den restlichen 98,4 % der Zeit Inferenz. Genau so rechnet sich die Anschaffung auch — über den Inferenzbetrieb, nicht über das Training. Wenn Sie also einen GPU-Server anschaffen, dann als Inferenz-Server, der nebenbei LoRA-Läufe verkraftet. Nicht als Trainingsmaschine. Diese Umdeutung ändert die Konfiguration: Sie optimieren dann auf VRAM pro Euro und auf Effizienz im Dauerbetrieb, nicht auf Trainingsdurchsatz. Wie ein solcher Dauerbetrieb über mehrere Karten aussieht, zeigt unser Beitrag zum vLLM-Cluster mit Multi-GPU.

Für alles jenseits von LoRA gilt unsere klare Empfehlung: mieten. Die Preise sind transparent und niedrig genug, dass sich die Diskussion kaum lohnt. Hetzner führt aktuell die GEX131 mit RTX PRO 6000 Blackwell Max-Q (96 GB ECC) zu €889 im Monat beziehungsweise €1,4247 pro Stunde, ohne Setup-Gebühr. Die kleine GEX44 mit RTX 4000 SFF Ada (20 GB ECC) stand bei €184 im Monat plus €79 Setup, war bei unserem Abruf am 29.07.2026 aber nicht verfügbar; die GEX130 mit RTX 6000 Ada ist aus der Matrix verschwunden. Prüfen Sie die Verfügbarkeit also, bevor Sie damit planen. Bei internationalen Anbietern spannt sich der H100-Stundenpreis laut Spheron-Vergleich 2026 von rund 2 US-Dollar bei den spezialisierten GPU-Clouds bis 6,88 US-Dollar bei AWS und 12,29 US-Dollar bei Azure — für dieselbe Karte. Die Hyperscaler sind für reine Trainingsläufe der schlechteste verfügbare Einkauf, und zwar um den Faktor drei bis sechs. Europäische Optionen stehen in unserer Übersicht zu GPU-Servern mieten statt kaufen, die grundsätzliche Abwägung im Vergleich self-hosted gegen Cloud.

FAQ

Was kostet ein GPU-Server für KI-Training?

Das hängt an der Trainingsmethode, nicht am Modell. Für LoRA-Fine-Tuning von 7B- bis 8B-Modellen reicht eine einzelne 24-GB-Karte, ein kompletter Server liegt bei €4.000 bis €11.000. Für volles Fine-Tuning ab 13B brauchen Sie über 200 GB VRAM und damit drei Karten der 96-GB-Klasse — allein die GPUs kosten ab €28.800 (günstigste Geizhals-Listung, Abruf 29.07.2026). Gemietet kostet eine 96-GB-Karte bei Hetzner €1,4247 pro Stunde.

Reicht eine RTX 4090 für KI-Training?

Für LoRA- und QLoRA-Fine-Tuning von Modellen bis etwa 8 Milliarden Parametern ja, für volles Fine-Tuning nein. Volles Fine-Tuning braucht rund 16 Byte VRAM pro Parameter für Gewichte, Gradienten und Optimizer-States — bei 8B sind das etwa 128 GB gegenüber den 24 GB der Karte. Dazu fehlen der RTX 4090 NVLink und ECC-Speicher, und die GeForce-Treiberlizenz untersagt den Rechenzentrumsbetrieb.

Was ist der Unterschied zwischen einem Trainings- und einem Inferenz-Server?

Ein Inferenz-Server ist auf VRAM pro Euro und niedrige Latenz optimiert und läuft im Dauerbetrieb. Ein Trainings-Server braucht bei gleicher Modellgröße rund das Zwanzigfache an VRAM (16 Byte pro Parameter statt 0,5 Byte bei Q4-Inferenz), schnelle Verbindungen zwischen den GPUs sowie ECC-Speicher gegen Bitfehler in langen Läufen. Er läuft dafür nur in Schüben, was ihn als Kaufobjekt unwirtschaftlich macht.

Brauche ich NVLink für Multi-GPU-Training?

Für zwei GPUs geht es auch ohne, aber es kostet Durchsatz. Beim Training werden nach jedem Schritt alle Gradienten zwischen den Karten synchronisiert; über PCIe 4.0 x16 stehen dafür etwa 32 GB/s je Richtung zur Verfügung, über NVLink ein Vielfaches. Die RTX 4090 und die RTX 6000 Ada haben gar kein NVLink mehr — NVIDIA hat den Anschluss mit der Ada-Lovelace-Generation gestrichen.

Lohnt sich der Kauf eines Trainingsservers oder ist Mieten günstiger?

Bei einem realistischen Rhythmus von zwei Fine-Tuning-Zyklen im Monat kommen Sie auf etwa 144 GPU-Stunden im Jahr. Ein gekaufter Server für rund €10.700 amortisiert sich gegenüber €1,4247 Stundenmiete erst nach etwa 7.500 Stunden, also 48 Trainingsstunden pro Woche über drei Jahre. Kaufen lohnt sich deshalb nur, wenn der Server die übrige Zeit produktiv Inferenz macht — dann ist es aber ein Inferenz-Server mit Trainingsfähigkeit, kein Trainingsserver.

Fazit und nächster Schritt

Die Kaufentscheidung für einen GPU-Server sollte nie am Trainingsbedarf hängen, sondern am Inferenzbedarf. Training ist der schlechteste denkbare Grund, Hardware anzuschaffen: hoher Spitzenbedarf, minimale Auslastung, schnelle Alterung. Klären Sie zuerst, ob Sie RAG, LoRA oder wirklich volles Fine-Tuning brauchen — die Antwort verschiebt das Budget um eine Größenordnung. Rechnen Sie Ihren Fall anschließend mit dem ROI-Rechner für KI-Server und den tatsächlich erwarteten GPU-Stunden durch, nicht mit dem Wunschszenario.

Quellen (alle abgerufen am 29.07.2026): NVIDIA GeForce Driver License, Fassung 25.02.2025, Abschnitt 2.8 · Hetzner GPU-Server-Matrix · Geizhals: RTX 6000 Ada · Geizhals: PNY RTX PRO 6000 Blackwell · Spheron GPU Cloud Pricing 2026 · Modal: VRAM für Fine-Tuning · QLoRA-Paper (Dettmers et al., arXiv:2305.14314)