NVIDIA H100 im Mittelstand: Mieten vs. Kaufen – Die wahre TCO-Analyse

TL;DR

Die Entscheidung für oder gegen den Kauf einer NVIDIA H100 GPU-Infrastruktur hängt maßgeblich von der Auslastung ab. Branchenanalysen zeigen, dass sich ein Kauf eines 8x H100 Systems für den Mittelstand ab etwa 60% durchgehender Auslastung nach 18–22 Monaten amortisiert. Bei geringerer Nutzung sind Mietmodelle, die bis zu 40% der Gesamtkosten einsparen können, finanziell vorteilhafter. Die TCO für ein gekauftes System liegt über drei Jahre bei ca. 540.000–1.140.000 €, während Mieten 300.000–500.000 € kosten kann.

Viele mittelständische Unternehmen in Deutschland stehen vor der Herausforderung, ihre KI-Initiativen mit der nötigen Rechenleistung zu unterfüttern. Insbesondere wenn es um das Training großer Sprachmodelle (LLMs), komplexe Simulationen oder datenintensive Analysen geht, führt kaum ein Weg an High-End-GPUs wie der NVIDIA H100 vorbei. Doch die Frage, die sich IT-Leiter und Geschäftsführer gleichermaßen stellen, ist: Sollen wir diese leistungsstarke Hardware kaufen und On-Premise betreiben, oder ist die Miete in einer Cloud-Umgebung die wirtschaftlichere Option?

Wir beleuchten in diesem Beitrag die Total Cost of Ownership (TCO) beider Ansätze und geben Ihnen eine fundierte Entscheidungsgrundlage für Ihr Unternehmen.

Das Dilemma im Mittelstand: GPU-Power für KI – Wann On-Premise?

Die Transformation des deutschen Mittelstands durch Künstliche Intelligenz ist in vollem Gange. Ob in der Fertigung zur Qualitätskontrolle, im Großhandel zur Bestandsoptimierung oder im Maschinenbau für Predictive Maintenance – KI-Anwendungen versprechen erhebliche Effizienzsteigerungen. Doch diese Anwendungen benötigen eine leistungsstarke Infrastruktur. Insbesondere das Training und die Inferenz von Large Language Models (LLMs) auf eigenen Datenbeständen, oft hinter der Unternehmensfirewall, erfordert dedizierte GPU-Server.

Die Wahl zwischen Miete und Kauf ist hier nicht trivial. Sie beeinflusst nicht nur die kurzfristige Liquidität (CAPEX vs. OPEX), sondern auch langfristig die Flexibilität, Skalierbarkeit und nicht zuletzt die Datensouveränität. Gerade für deutsche Unternehmen ist der Aspekt der Datenhoheit oft ein entscheidendes Kriterium, das den Blick auf On-Premise-Lösungen lenkt.

NVIDIA H100: Kaufoption – Hohe Anfangsinvestition, langfristige Kontrolle

Der Erwerb einer oder mehrerer NVIDIA H100 GPU-Server ist eine erhebliche Investition. Ein einzelner Server mit acht H100 GPUs, einem Standard für ernsthafte LLM-Workloads, kann schnell Kosten im sechsstelligen Eurobereich verursachen. Doch diese anfänglichen Kapitalausgaben (CAPEX) sind nur ein Teil der Gleichung.

Was beim Kauf einer H100 zu berücksichtigen ist:

1. Hardware-Kosten: Der Kaufpreis der GPUs selbst sowie der zugehörigen Server-Hardware (CPUs, RAM, Speicher, Netzwerk). Aktuelle Branchenschätzungen beziffern die Kosten für einen 8x H100 Knoten auf etwa 150.000 – 300.000 €.
2. Betriebskosten (OPEX): Diese oft unterschätzten Kosten können über die Lebensdauer eines Systems 40–60% des ursprünglichen Kaufpreises ausmachen. Dazu gehören:
   • Stromverbrauch: H100-GPUs sind sehr energieeffizient pro TeraFLOPS, benötigen aber absolut gesehen viel Strom. Ein voll ausgelasteter 8x H100 Server kann leicht über 10 kW Leistung ziehen. Jährliche Stromkosten liegen schnell im Bereich von 20.000–50.000 €.
   • Kühlung: Die Abwärme der GPUs muss abgeführt werden, was zusätzliche Energiekosten für die Klimatechnik verursacht.
   • Rechenzentrumsfläche: Miete oder Amortisation der Fläche.
   • Wartung & Support: Hardware-Wartungsverträge, Ersatzteilhaltung.
   • Personal: IT-Experten für Installation, Konfiguration, Überwachung und Fehlerbehebung. Dies ist ein signifikanter Posten, der oft übersehen wird.
   • Software-Lizenzen: Betriebssysteme, Virtualisierung, Monitoring-Tools.
3. Abschreibung & Wertverlust: Hardware verliert schnell an Wert. GPUs entwickeln sich rasant weiter (siehe etwa den Vergleich NVIDIA Blackwell vs. Hopper).

Vorteile des Kaufs:

• Volle Kontrolle: Sie haben die vollständige Hoheit über Ihre Daten und die Hardware-Konfiguration. Dies ist für viele deutsche Mittelständler mit hohen Compliance-Anforderungen (z.B. in Finanzwesen oder Gesundheitswesen) unerlässlich.
• Keine wiederkehrenden Mietkosten: Nach der Amortisation fallen nur noch Betriebskosten an.
• Anpassung: Die Umgebung kann exakt auf Ihre spezifischen Workloads und Sicherheitsanforderungen zugeschnitten werden.
• Potenziell niedriger TCO bei hoher, konstanter Auslastung: Bei einer Auslastung von 80% oder mehr über Jahre hinweg kann der Kauf die günstigere Option sein.

Für Unternehmen, die eine dedizierte KI Hardware On-Premise Lösung suchen, ist der Kauf oft die erste Überlegung.

NVIDIA H100: Mietoption – Flexibilität und geringere Fixkosten

Die Miete von NVIDIA H100 GPUs über Cloud-Anbieter oder spezialisierte Hoster wird immer attraktiver. Hier zahlen Sie für die Nutzung pro Stunde, Minute oder sogar Sekunde.

Was beim Mieten einer H100 zu berücksichtigen ist:

1. Stunden-/Nutzungskosten: Die Preise variieren stark je nach Anbieter, Region und Leistungsstufe. Eine einzelne H100 kann pro Stunde zwischen 3 € und 10 € kosten. Für ein 8x H100 System summiert sich das schnell.
2. Datenübertragungskosten: Wenn Sie große Datenmengen in die Cloud laden oder aus der Cloud herunterladen müssen, können zusätzliche Kosten anfallen.
3. Speicherkosten: Speicher in der Cloud (Object Storage, Block Storage) wird ebenfalls pro GB abgerechnet.
4. Netzwerk-Overhead: Die Kommunikation zwischen Ihren lokalen Systemen und der Cloud kann Performance-Einbußen und zusätzliche Latenzen mit sich bringen.
5. Geringere CAPEX: Es fallen kaum Anfangsinvestitionen an, was die Liquidität schont und in die Betriebskosten (OPEX) verschiebt.

Vorteile der Miete:

• Maximale Flexibilität: Sie skalieren Ihre Rechenleistung nach Bedarf hoch und runter. Ideal für Projekte mit schwankendem Bedarf oder in der Experimentierphase.
• Keine Wartung: Der Cloud-Anbieter kümmert sich um Hardware-Wartung, Kühlung, Strom etc.
• Aktuelle Hardware: Zugang zu den neuesten GPU-Generationen, ohne selbst investieren zu müssen.
• Geringeres Risiko: Keine langfristige Bindung an teure Hardware, die schnell veraltet sein könnte.
• Schnelle Bereitstellung: Innerhalb von Minuten können Sie neue GPU-Instanzen starten.

Total Cost of Ownership (TCO): Mieten vs. Kaufen im direkten Vergleich

Um eine fundierte Entscheidung zu treffen, müssen alle Kosten über einen längeren Zeitraum (z.B. drei Jahre) berücksichtigt werden. Branchenanalysen und Praxiswerte für ein 8x H100 System im europäischen Raum liefern folgende grobe Schätzungen:

Hinweis: Diese Zahlen sind Schätzungen und können je nach Anbieter, Region, Infrastruktur und internen Kostenstrukturen stark variieren. Sie dienen als Orientierung für eine erste Bewertung im Mittelstand.

Die Tabelle verdeutlicht: Bei einer reinen Betrachtung der monetären Kosten kann die Mietoption über drei Jahre hinweg deutlich günstiger ausfallen, insbesondere wenn die Auslastung nicht durchgehend maximal ist.

Der Break-Even-Punkt: Wann sich was rechnet

Der entscheidende Faktor für die Entscheidung zwischen Mieten und Kaufen ist die Auslastungsrate. Branchenanalysen zeigen, dass der Break-Even-Punkt für den Kauf eines 8x H100-Knotens gegenüber der Miete bei rund 18–22 Monaten und einer durchgängigen Auslastung von mindestens 60% liegt.

• Unter 60% Auslastung: Mieten ist fast immer die kostengünstigere Option. Die Fixkosten eines gekauften Systems fressen die potenziellen Vorteile auf, wenn die Hardware ungenutzt bleibt.
• Über 60% Auslastung: Je höher die Auslastung und je länger der Nutzungszeitraum, desto attraktiver wird der Kauf. Bei einer Auslastung von 80% oder mehr über drei Jahre amortisiert sich die Investition nicht nur, sondern bietet langfristig Kostenvorteile gegenüber der Miete.

Diese Dynamik ist essenziell für die strategische Planung im Mittelstand. Wenn Ihr Unternehmen beispielsweise ein dediziertes Team für die Entwicklung und das Training von KI-Modellen hat, das die GPUs nahezu permanent nutzt, dann ist der Kauf eine Überlegung wert. Für sporadische Projekte, Proof-of-Concepts oder Workloads mit starken Spitzen, aber langen Leerlaufzeiten, bietet die Miete unschlagbare Flexibilität.

Datenhoheit und Compliance: Ein entscheidender Faktor für On-Premise-KI

Abseits der reinen Kostenbetrachtung spielt die Datensouveränität eine zentrale Rolle für Unternehmen in Deutschland und Europa. Sensible Kundendaten, Geschäftsgeheimnisse oder Daten, die der DSGVO unterliegen, dürfen oft nicht ohne Weiteres in die Public Cloud überführt werden – insbesondere wenn der Cloud-Anbieter Server außerhalb der EU betreibt oder den US Cloud Act anwendet.

On-Premise-Vorteile für Datensouveränität:

• Volle Kontrolle: Sie entscheiden, wo Ihre Daten gespeichert und verarbeitet werden.
• Compliance: Einhaltung strenger Datenschutzvorschriften (DSGVO, BaFin, MaRisk, DORA etc.) ist einfacher zu gewährleisten.
• Sicherheitsarchitektur: Integration in die bestehende, gehärtete Unternehmens-IT-Sicherheitsinfrastruktur.

Für bestimmte Branchen wie das Finanzwesen, das Gesundheitswesen oder Stadtwerke mit kritischen Infrastrukturen (KRITIS) ist der On-Premise-Betrieb der KI-Hardware oft die bevorzugte oder sogar vorgeschriebene Lösung. Selbst wenn die TCO für das Mieten auf den ersten Blick attraktiver erscheint, können die Risiken und potenziellen Bußgelder bei Nichteinhaltung der Compliance-Vorschriften die Kostenvorteile schnell zunichtemachen. In solchen Fällen ist eine lokale Installation mit einem Dashboard wie LiteLLM + OpenWebUI: LLM-Dashboard für On-Premise-KI von Vorteil.

Worauf Sie bei der Entscheidung achten sollten

Um die richtige Wahl für Ihr Unternehmen zu treffen, empfehlen wir folgende Schritte und Überlegungen:

1. Workload-Analyse: Ermitteln Sie den tatsächlichen und prognostizierten Bedarf an GPU-Rechenleistung. Wie hoch ist die erwartete Auslastung? Gibt es saisonale Spitzen?
2. Budget- und Liquiditätsplanung: Steht das CAPEX-Budget für einen Kauf zur Verfügung, oder präferieren Sie OPEX-Kosten, die laufend abgerechnet werden?
3. Technische Expertise: Verfügen Sie über das interne Know-how zur Installation, Wartung und Optimierung von GPU-Servern? Bedenken Sie, dass die Komplexität im Vergleich zu herkömmlichen Servern höher ist.
4. Datenschutz & Compliance: Welche regulatorischen Anforderungen müssen Sie erfüllen? Ist die Datensouveränität ein entscheidendes Kriterium?
5. Zukunftssicherheit: Wie schnell entwickeln sich Ihre KI-Anwendungen? Benötigen Sie in 12-18 Monaten möglicherweise schon die nächste GPU-Generation? Mieten bietet hier mehr Flexibilität.
6. Gesamtkostenrechnung (TCO): Erstellen Sie eine detaillierte TCO-Analyse, die über den reinen Hardware-Preis hinausgeht und alle Betriebs-, Personal- und Wartungskosten berücksichtigt.

Wir raten davon ab, die Entscheidung ausschließlich auf Basis des Listenpreises zu treffen. Die versteckten Kosten, insbesondere für Betrieb und Personal, sind oft der Game-Changer in der TCO-Analyse.

Häufig gestellte Fragen

Was sind die Hauptunterschiede zwischen CAPEX und OPEX bei NVIDIA H100?

CAPEX (Capital Expenditure) bezieht sich auf den Kauf der NVIDIA H100 Hardware als Investition, die über Jahre abgeschrieben wird. OPEX (Operational Expenditure) sind die laufenden Kosten für Miete, Strom, Kühlung und Wartung, die direkt als Betriebsausgaben verbucht werden. Ein Kauf ist CAPEX-lastig, eine Miete ist OPEX-lastig.

Ab welcher Auslastung lohnt sich der Kauf einer NVIDIA H100 On-Premise?

Branchenanalysen zeigen, dass der Kauf eines NVIDIA H100 GPU-Servers für den Mittelstand ab einer kontinuierlichen Auslastung von etwa 60% über einen Zeitraum von 18–22 Monaten rentabel wird. Bei geringerer oder stark schwankender Auslastung ist die Miete in der Regel die wirtschaftlichere Option.

Wie hoch sind die typischen jährlichen Betriebskosten für einen 8x H100 Server?

Die jährlichen Betriebskosten für einen On-Premise 8x H100 GPU-Server können im europäischen Mittelstand zwischen 110.000 € und 250.000 € liegen. Diese umfassen hauptsächlich Stromverbrauch, Kühlung, Wartung, Rechenzentrumsmiete und anteilige Personalkosten.

Bietet Mieten immer eine bessere Performance als On-Premise?

Nein, die Performance hängt von vielen Faktoren ab, nicht nur vom Bezugsmodell. On-Premise kann bei optimaler Konfiguration und direkter Anbindung an Ihre Daten sogar Vorteile bieten. Mieten ermöglicht jedoch schnelleren Zugang zu neuester Hardware und horizontaler Skalierung ohne eigene Investitionen.

Welche Rolle spielt Datensouveränität bei der Entscheidung?

Datensouveränität ist für viele deutsche Mittelständler ein entscheidendes Kriterium. Beim On-Premise-Betrieb behalten Sie die volle Kontrolle über Ihre Daten und können Compliance-Vorgaben (z.B. DSGVO) leichter einhalten. Bei Cloud-Lösungen müssen Sie genau prüfen, wo Ihre Daten gespeichert und verarbeitet werden und welche Gesetze dort gelten.

Fazit und nächster Schritt

Die Entscheidung, ob Sie NVIDIA H100 GPUs mieten oder kaufen, ist komplex und sollte auf einer fundierten TCO-Analyse basieren, die Ihre spezifische Auslastung, Ihre Compliance-Anforderungen und Ihre interne Expertise berücksichtigt. Für die meisten mittelständischen Unternehmen mit schwankendem oder noch nicht vollständig planbarem KI-Bedarf bietet die Miete eine hohe Flexibilität und eine geringere Kapitalbindung. Haben Sie hingegen einen hohen, kontinuierlichen Bedarf und legen Wert auf volle Datenhoheit, ist der Kauf mit einer Amortisationszeit von rund 18-22 Monaten eine strategisch sinnvolle Investition.

Gerne unterstützen wir Sie bei der Erstellung einer detaillierten TCO-Analyse für Ihre individuelle KI-Strategie. Kontaktieren Sie uns für eine unverbindliche Erstberatung, um den optimalen Weg für Ihr Unternehmen zu finden.