KI-Server erklärt: Was hinter dem Begriff wirklich steckt

TL;DR

Ein KI-Server ist ein Rechner, dessen Arbeit nicht die CPU macht, sondern eine oder mehrere GPUs. Er führt Sprachmodelle im eigenen Haus aus statt in einer fremden Cloud. Limitierender Faktor ist der Grafikspeicher: Er entscheidet, welche Modellgröße überhaupt läuft. Es gibt ihn als Workstation, Rackserver oder Mietmaschine.

Warum ein normaler Server das nicht kann

Der Unterschied lässt sich an einer Zahl festmachen: Speicherbandbreite. Aber sie wird fast überall falsch zitiert, also rechnen wir sie offen durch.

Ein normaler Applikationsserver mit zwei DDR5-Speicherkanälen schaufelt grob 80 bis 90 Gigabyte pro Sekunde zwischen RAM und Prozessor. Eine dicke Server-CPU ist deutlich besser: Ein AMD EPYC der Genoa-Generation hat zwölf DDR5-Kanäle und kommt rechnerisch auf rund 460 GB/s. Eine RTX 4090 hat 1.008 GB/s in ihrem eigenen Grafikspeicher. Zwischen CPU und GPU liegt also Faktor 2 bis 12 — je nachdem, womit Sie vergleichen. Die "hundertmal schneller"-Zahl aus Verkaufsfolien meint Rechenleistung in FLOPS, nicht Bandbreite, und die ist bei der Token-Generierung nicht der Engpass.

Denn wenn ein Sprachmodell ein Wort ausgibt, liest es dafür einmal seine kompletten Gewichte durch. Bei einem 8-Milliarden-Parameter-Modell in Q4-Quantisierung sind das etwa 5 GB — pro Token. Daraus fällt die theoretische Obergrenze direkt heraus: 90 GB/s geteilt durch 5 GB sind rund 18 Token pro Sekunde, in der Praxis eher 5 bis 10. 1.008 GB/s geteilt durch 5 GB sind rund 200 Token pro Sekunde, in der Praxis 60 bis 100.

Daraus folgt eine Konsequenz, die Hardware-Verkäufer ungern aussprechen: Ein kleines Modell für einen einzelnen Nutzer läuft auch ohne GPU erträglich. Zwingend wird die Grafikkarte erst, wenn das Modell größer wird oder mehrere Leute gleichzeitig fragen. Token-Generierung ist bandbreiten-, nicht rechenlimitiert — deshalb hilft auch eine dickere CPU kaum, solange die Speicherkanäle dieselben bleiben.

Die zweite Zahl, die zählt: VRAM. Der Grafikspeicher ist bei einem KI-Server das, was bei einem Datenbankserver die Plattengröße ist — die harte Obergrenze. Passt das Modell nicht komplett hinein, lagert die Inferenz-Software einzelne Schichten in den System-RAM aus. Die müssen dann bei jedem Token über PCIe nachgeladen werden — PCIe 4.0 x16 schafft rund 32 GB/s gegen 1.008 GB/s im VRAM. Schon ein paar ausgelagerte Prozent drücken den Durchsatz auf einen Bruchteil. Die Faustregel für quantisierte Modelle:

VRAM (GB) ≈ Parameter (in Mrd.) × 0,5 Byte × 1,2 (Overhead für KV-Cache)

Ein 8B-Modell braucht also rund 5 GB, ein 32B-Modell etwa 19 GB, ein 70B-Modell gut 42 GB. Wer wissen will, welche Karte welche Größe schafft, findet die Gegenüberstellung im GPU-Vergleich für LLM-Inferenz.

Inferenz oder Training — die Frage, die falsch beantwortet wird

Hier trennt sich Marketing von Realität. Ein KI-Server im Mittelstand macht in aller Regel ausschließlich Inferenz: Er lässt ein fertig trainiertes Modell antworten. Training — also ein Modell von Grund auf bauen — passiert in Rechenzentren mit hunderten H100-Karten und Budgets im achtstelligen Bereich. Dazwischen liegt Fine-Tuning, das den Speicherbedarf gegenüber reiner Inferenz noch einmal vervielfacht, weil Gradienten und Optimizer-Zustände mit in den VRAM müssen.

Wenn Ihnen jemand einen Server mit dem Argument verkauft, Sie könnten damit "Ihr eigenes Modell trainieren": Fragen Sie nach, mit welchen Daten und für welche Aufgabe. In den meisten Fällen lautet die ehrliche Antwort danach RAG, nicht Training. Das ist keine Schwäche — RAG ist für Firmenwissen fast immer der bessere Weg, und wir raten aktiv davon ab, Trainingsfähigkeit zum Kaufkriterium für eine Maschine zu machen, die am Ende Dokumente durchsucht.

Die drei Bauformen — und für wen sie gedacht sind

"KI-Server" beschreibt eine Funktion, keine Bauform. In der Praxis begegnen Ihnen drei sehr unterschiedliche Dinge unter demselben Namen.

Die Workstation unter dem Schreibtisch. Ein Tower-Gehäuse mit einer GPU, normale Schuko-Steckdose, Luftkühlung. Sie steht im Büro der IT oder in einer Abstellkammer, läuft unter Ubuntu und bedient über das Netzwerk eine Handvoll Nutzer. Kein Rack, keine Klimatisierung, keine Redundanz. Wer eine erste RAG-Anwendung für eine Fachabteilung produktiv bringen will, ist damit in zwei Wochen live. Details zum Aufbau stehen in unserem Selbstbau-Guide für GPU-Workstations.

Der Rackserver im Serverraum. 2 bis 4 Höheneinheiten, redundante Netzteile, passiv gekühlte GPUs im Luftstrom von Delta-Lüftern, ECC-Speicher, IPMI für die Fernwartung. Das ist die Bauform, die Ihre IT als "richtigen Server" akzeptiert — und die entsprechende Anforderungen mitbringt: 19-Zoll-Rack, ausreichend dimensionierte Zuleitung, funktionierende Klimatisierung. Und Lärm. Ein voll bestückter GPU-Rackserver ist kein Gerät, das neben jemandem stehen kann.

Der gemietete GPU-Server. Dedizierte Hardware in einem deutschen Rechenzentrum, monatlich kündbar, Sie bekommen Root-Zugriff. Hetzner listet den GEX44 mit einer RTX 4000 SFF Ada (20 GB GDDR6 ECC) und 64 GB RAM bei 184 EUR netto im Monat plus 79 EUR netto Einrichtung. Am oberen Ende steht der GEX131 mit einer RTX PRO 6000 Blackwell Max-Q, 96 GB GDDR7 und 256 GB RAM ab 889 EUR netto im Monat. Die Setup-Gebühr des GEX131 hat Hetzner seit Dezember 2025 mehrfach angepasst — die schauen Sie im Konfigurator nach, statt sich auf eine Zahl aus einem Blogartikel zu verlassen. Auch die Verfügbarkeit schwankt. Wichtig: Das ist kein On-Premise. Die Daten verlassen Ihr Haus, Sie brauchen einen Auftragsverarbeitungsvertrag. Der Unterschied zur US-Cloud-API ist der Gerichtsstand und die Tatsache, dass niemand außer Ihnen auf der Maschine rechnet.

Unsere Empfehlung, wenn Sie am Anfang stehen: Workstation oder Mietserver. Ein Rackserver ist die Antwort auf eine Frage nach Skalierung und Verfügbarkeit, die die meisten Mittelständler im ersten Jahr noch gar nicht stellen können — weil sie die Lastprofile noch nicht kennen. Wer erst kaufen und dann Anwendungsfälle suchen will, hat am Ende einen teuren Heizkörper im Rack. Die Mietvariante haben wir im Vergleich Hetzner GPU-Cloud vs. Kauf durchgerechnet.

Was so eine Maschine tatsächlich den ganzen Tag macht

Vier Dinge, in dieser Reihenfolge der Häufigkeit.

RAG über eigene Dokumente. Der mit Abstand häufigste Fall. Ihre 40.000 PDFs — Angebote, Prüfberichte, Wartungsprotokolle, Arbeitsanweisungen — werden in Textabschnitte zerlegt, in Zahlenvektoren übersetzt und in einer Vektordatenbank abgelegt. Stellt jemand eine Frage, sucht das System die zehn passendsten Abschnitte heraus und gibt sie dem Sprachmodell als Kontext mit. Die Antwort kommt mit Quellenangabe zurück. Wichtig zu verstehen: Das Modell "lernt" Ihre Firma dabei nicht. Es liest bei jeder Frage neu nach. Genau deshalb funktioniert es auch mit Dokumenten, die sich täglich ändern.

Der interne Chat-Assistent. Eine Weboberfläche, die aussieht wie ChatGPT, aber gegen das lokale Modell läuft. Für Textentwürfe, Zusammenfassungen, Übersetzungen, Recherche in internen Quellen. Der Betriebsrat freut sich, weil keine Prompts nach Kalifornien wandern.

Dokumentenextraktion und OCR. Lieferscheine, Eingangsrechnungen, Prüfzeugnisse einlesen und in strukturierte Felder überführen. Moderne Vision-Modelle lesen auch schlecht gescannte Formulare und handschriftliche Ergänzungen — deutlich besser als klassische OCR-Engines, wenn auch nicht fehlerfrei. Der Nutzen liegt hier nicht in "KI", sondern darin, dass jemand die Zahlen nicht mehr abtippt.

Code-Assistenz. Ein Coder-Modell hinter einer IDE-Erweiterung. Für Entwicklungsabteilungen, die ihren Quellcode nicht an einen externen Anbieter geben dürfen oder wollen.

Ob eine Maschine gerade wirklich arbeitet, sehen Sie in zwei Zeilen:

# Belegter Grafikspeicher und GPU-Auslastung
nvidia-smi --query-gpu=name,memory.used,memory.total,utilization.gpu --format=csv

# Welche Modelle hat Ollama gerade geladen?
ollama ps

Steht die GPU-Auslastung während einer Anfrage bei 0 % und die CPU-Last steigt, läuft das Modell nicht auf der Grafikkarte. Das ist der häufigste Fehler bei Erstinstallationen. Der Einstieg in die Software-Seite steht in der Ollama-Anleitung für Ubuntu; wer mehr als eine Handvoll paralleler Nutzer bedienen muss, ist mit vLLM besser aufgehoben.

Warum überhaupt selbst betreiben?

Laut der Bitkom-Studie "Künstliche Intelligenz in Deutschland" — Befragung Anfang 2026 — setzen 41 Prozent der deutschen Unternehmen ab 20 Beschäftigten KI ein; ein Jahr zuvor waren es 17 Prozent. Der Sprung ist real, und mit ihm kommt bei vielen die Frage nach der eigenen Maschine auf. Vier Gründe hören wir regelmäßig. Drei davon halten, einer nicht.

Datenschutz und Datenhoheit. Das ist das tragfähigste Argument. Wenn Konstruktionsdaten, Kalkulationen oder Personalakten durch das Modell laufen, ist die Frage nach dem Verarbeitungsort keine Formalie. Ein Server im eigenen Serverraum macht die Diskussion über Drittlandtransfers gegenstandslos.

Berufsgeheimnis. Für Kanzleien, Steuerberater, Arztpraxen und Krankenhäuser ist das schärfer als DSGVO. Seit der Reform von 2017 dürfen Berufsgeheimnisträger externe Dienstleister nach § 203 Abs. 3 Satz 2 StGB als "sonstige mitwirkende Personen" einbinden — vorausgesetzt, der Dienstleister ist zur Geheimhaltung verpflichtet. Wie diese Verpflichtung auszusehen hat, steht nicht im StGB, sondern im Berufsrecht: § 43e Abs. 3 BRAO verlangt für Anwälte einen Vertrag in Textform, in dem der Dienstleister zur Verschwiegenheit verpflichtet und auf die strafrechtlichen Folgen einer Verletzung hingewiesen wird; § 62a StBerG regelt es für Steuerberater parallel. Ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO allein deckt das nicht ab. Wer diesen Nachweis für einen US-Anbieter nicht führen kann, hat die Entscheidung faktisch schon getroffen.

Latenz und Verfügbarkeit. Relevant, wenn KI in einem Prozess steckt statt in einem Chatfenster: Wareneingangsprüfung, Sichtprüfung an der Linie, Dunkelverarbeitung im Posteingang. Eine API, deren Antwortzeit über den Tag schwankt und die unter Last Rate-Limits wirft, ist in einer Fertigungssteuerung ein Problem — nicht weil sie langsam wäre, sondern weil sie unvorhersagbar ist. Ein Chatbot für die Belegschaft übersteht dasselbe Verhalten problemlos. Prüfen Sie also nicht "wie schnell", sondern "wie schnell im schlechtesten Fall, und was passiert dann in meinem Prozess".

Kosten. Und hier wird es unangenehm.

Die Kostenrechnung, die niemand gern vorrechnet

Nehmen wir 50 Mitarbeiter, die je 20 Anfragen pro Arbeitstag stellen, 220 Arbeitstage — das sind 220.000 Anfragen im Jahr. Pro Anfrage 1.500 Token Eingabe und 500 Token Ausgabe. Wir rechnen mit 1 USD pro Million Input-Token und 8 USD pro Million Output-Token; die Listenpreise gängiger Cloud-Modelle liegen Stand Q3 2026 in dieser Größenordnung, je nach Modellklasse darunter oder darüber.

Ergebnis: 330 Millionen Input-Token (330 USD) plus 110 Millionen Output-Token (880 USD) — rund 1.200 US-Dollar im Jahr. Mit RAG und 8.000 Token Kontext pro Anfrage steigt die Rechnung auf etwa 2.600 USD.

Dagegen der eigene Server: eine gekaufte Maschine für rund 6.000 EUR, über drei Jahre abgeschrieben, macht 2.000 EUR im Jahr. Dazu Strom: 250 Watt Durchschnittslast im 24/7-Betrieb sind 2.190 kWh. Zum Gewerbestrompreis von 27,15 ct/kWh (BDEW-Strompreisanalyse, Stand Februar 2026, Abnahmefall 10.000 kWh im Jahr) sind das knapp 595 EUR. Zusammen rund 2.600 EUR jährlich — also praktisch dasselbe wie die Cloud-Rechnung mit RAG. Der gemietete Server mit großer GPU liegt bei 889 EUR im Monat, macht 10.668 EUR im Jahr.

Wichtig zur Einordnung: Die oft zitierten 16 bis 17 ct/kWh sind der BDEW-Wert für kleine und mittlere Industriebetriebe bei Neuverträgen. Wer im normalen Gewerbetarif einkauft, zahlt deutlich mehr. Rechnen Sie mit Ihrem eigenen Arbeitspreis, nicht mit dem aus der Pressemitteilung.

Was in keiner dieser Rechnungen steht: Arbeitszeit. Jemand muss Treiber aktualisieren, Modelle tauschen, Backups prüfen, Monitoring betreiben. Vier bis acht Stunden im Monat sind realistisch. Bei internen Vollkosten von 80 EUR pro Stunde landen Sie bei 3.800 bis 7.700 EUR im Jahr — mehr als die Hardware.

Damit ist die Position klar: Wer den eigenen KI-Server mit Kostenersparnis begründet, argumentiert bei normalem Bürobetrieb meistens falsch. Ohne Arbeitszeit ist die Rechnung bestenfalls ein Unentschieden; mit Arbeitszeit gewinnt die Cloud-API deutlich. Kippen tut das erst bei hohem, dauerhaftem Volumen — Massen-OCR über Millionen Seiten, permanente Batch-Verarbeitung, viele parallele Nutzer über den ganzen Tag. Wenn Sie Ihre Auslastung noch nicht kennen, spielen Sie beide Szenarien mit dem KI-Server-ROI-Rechner durch, bevor Sie eine Bestellung auslösen. Die ausführliche Gegenüberstellung steht im Vergleich Self-Hosted vs. Cloud.

Wann die Cloud die bessere Wahl bleibt

Ehrlich gesagt: häufiger, als es Anbieter eigener Hardware zugeben.

Nutzen Sie die Cloud-API, wenn Ihre Daten nicht besonders schützenswert sind, wenn Sie unregelmäßig oder in Schüben arbeiten, wenn Sie noch am Anfang stehen und die Anwendungsfälle erst herausfinden — und vor allem, wenn Sie keine IT-Kapazität haben, die einen Linux-Server mit NVIDIA-Treibern über Jahre pflegt. Für Modelle, die in EU-Regionen deployt sind, ist der Verarbeitungsort vertraglich zugesichert — Azure OpenAI bietet für EU-Data-Zone-Deployments unter anderem Sweden Central und Germany West Central. Achten Sie darauf, dass die gewählte Region wirklich in der EU liegt: UK South und Switzerland North stehen zwar in derselben Auswahlliste, gehören aber nicht dazu. Für viele Anwendungsfälle reicht das völlig aus.

Und selbst wenn Sie einen Server anschaffen: Hybrid ist selten falsch. Sensible Dokumente lokal, alles andere über die API.

Was kostet so ein Ding ungefähr?

Nur Größenordnungen, damit Sie wissen, in welchem Bereich Sie sich bewegen. Das ist ausdrücklich keine Einkaufsliste — die steht samt Komponenten und Straßenpreisen im Guide zu KI-Server-Konfigurationen.

GPU-Straßenpreise schwanken erheblich; behandeln Sie jede Zahl älter als ein Quartal als Schätzung. Nicht enthalten: Strom, USV, Netzwerk, Arbeitszeit. Die Stromseite steht im Detail unter KI-Server Stromkosten rechnen.

Ein Hinweis zum Budget, den viele überhören: Planen Sie nicht auf Kante. Wenn Ihr Anwendungsfall heute mit 20 GB VRAM auskommt, aber absehbar ein größeres Modell braucht, ist die nächstgrößere Karte beim Erstkauf fast immer günstiger als der Austausch in achtzehn Monaten.

FAQ

Was ist der Unterschied zwischen einem KI-Server und einem normalen Server?

Ein normaler Server rechnet auf der CPU und ist auf viele gleichzeitige, kleine Aufgaben ausgelegt. Ein KI-Server erledigt die eigentliche Arbeit auf einer oder mehreren GPUs mit zehntausenden Rechenkernen und deutlich höherer Speicherbandbreite — eine RTX 4090 liegt bei 1.008 GB/s, ein Server mit zwei DDR5-Kanälen bei 80 bis 90 GB/s. Entscheidend ist aber der Grafikspeicher: Er bestimmt, wie groß das Sprachmodell sein darf, das überhaupt läuft.

Was kostet ein KI-Server für ein mittelständisches Unternehmen?

Die Spanne ist groß und hängt vor allem an der Modellgröße, die laufen soll: Eine Einstiegs-Workstation für Modelle bis etwa 14 Milliarden Parameter beginnt bei rund 3.500 EUR, ein 70B-fähiger Rackserver liegt fünfstellig, ein gemieteter GPU-Server in einem deutschen Rechenzentrum startet bei 184 EUR netto im Monat. Der Anschaffungspreis ist dabei selten der entscheidende Posten — Strom, USV und vor allem Administrationszeit übersteigen bei kleinen Installationen oft die Hardwarekosten.

Eigener KI-Server oder Cloud-API — was ist besser?

Bei moderatem Bürobetrieb ist die Cloud-API meist günstiger und deutlich schneller einsatzbereit. Ein eigener Server lohnt sich, wenn schützenswerte Daten verarbeitet werden, ein Berufsgeheimnis greift, die Auslastung dauerhaft hoch ist oder die Latenz in einem Produktionsprozess zählt. Kostenersparnis allein trägt die Entscheidung selten.

Brauche ich für einen KI-Server einen Serverraum?

Nein. Eine GPU-Workstation läuft an einer normalen Steckdose und braucht weder Rack noch Klimaanlage — sie ist allerdings hörbar und gibt spürbar Wärme ab. Erst Rackserver mit passiv gekühlten GPUs setzen ein 19-Zoll-Rack, ausreichende Zuleitung und funktionierende Kühlung voraus. Für den Einstieg reicht ein abschließbarer Nebenraum.

Kann ich auf einem eigenen KI-Server ein Modell trainieren?

In der Praxis fast nie. Das Training großer Sprachmodelle findet in Rechenzentren mit hunderten Beschleunigerkarten statt. Auf einer einzelnen Maschine sind Inferenz und allenfalls schlankes Fine-Tuning per LoRA realistisch. Für Firmenwissen ist ohnehin RAG der bessere Weg, weil sich Dokumente ändern, ohne dass ein Modell neu gebaut werden muss.

Der nächste Schritt

Wenn Sie bis hierhin gelesen haben, steht die Frage vermutlich schon konkreter im Raum: nicht mehr "was ist das", sondern "was brauche ich". Beantworten Sie zuerst eine einzige Frage — welches Modell in welcher Größe soll laufen? Daraus ergibt sich der VRAM-Bedarf, daraus die GPU, daraus alles andere. Die konkreten Konfigurationen mit Komponenten und Preisen finden Sie im Guide zu KI-Server-Konfigurationen.