Lokale KI: Server an oder GPU mieten

TL;DR

Zwei Gründe für einen Home Server, nicht der Modellkatalog. Die Maschine bleibt an, und in der Regel sind Kapazität und Bandbreite höher. Viel Speicher bei kleiner Bandbreite fasst große Modelle und erzeugt langsam. Wenig Speicher bei großer Bandbreite erzeugt schnell und lässt die großen Modelle draußen. Beides zusammen ist bei Huang die gemietete Oberklasse, nicht der erste Kauf.

Die Klassen davor: Lokale KI: welche Hardware-Klasse.

Der Laptop geht zu

Ein zugeklappter Rechner beendet den Lauf, falls gerade ein Modell daran hing. Ein Server ist dafür gebaut, offen zu bleiben. Andere Geräte dürfen mitnutzen. Ein Chip, der selbst nichts fasst, zeigt dann nur den Satz. Das Modell liegt auf der Maschine, die an bleibt.

Ab dieser Größe komme keine neue Modellart dazu, sagt sie. Größer, besser, schneller. Sprache, Code, Bild, Musik, Video: dieselben Arten wie auf dem offenen Laptop, nicht ein neues Fach.

Auf einem Mac Studio mit 64 Gigabyte nennt sie große Sprachmodelle, die sie mit 27 bis 32 Milliarden angibt, dazu große Code-, Bild- und Musikmodelle. Video bleibt bei ihr auf mittlerer Stufe und ist langsam. Die RAM-Formel aus dem Laptop rechnet sie für diese 64 Gigabyte nicht vor. Was sie startet, nicht die Decke, ist der Satz, der zählt: Gleicher RAM.

Viel Speicher, wenig Bandbreite

Der AMD Ryzen AI Halo wirbt bei ihr mit 128 Gigabyte. Nutzbar rund 96, sagt sie. Damit laufen extra große Modelle um 70 Milliarden bequem, und was sie als Frontier-Spanne nennt, 100 bis 250 Milliarden. Genannt als Läufe, die gehen: Llama 3.3 70B und GPT-OSS 120B. Als Code-Modell DeepSeek Coder V2.

Der Nutzen, den sie am höchsten hängt: mehrere Modelle gleichzeitig geladen. Ein Coding-Agent, ein Sprachmodell, Bild und Video nebeneinander, weil der Speicher das hergibt. Der Vorbehalt im nächsten Satz: sehr große Kapazität, ziemlich kleine Bandbreite. Bild, Video und Musik kann die Klasse. Sie tut das sehr langsam.

Preise für Studio oder Halo nennt sie nicht. Eine Euro-Rechnung steht hier deshalb nicht.

Wenig Speicher, viel Bandbreite

An die Klassen davor steckt man keine diskrete GPU. Sie sind nicht so gebaut. Ein Rechner mit Steckplatz kann eine Karte aufnehmen und weitere. Huang hat keinen und kauft keinen. Um die Klasse zu zeigen, mietet sie eine RTX 4090 stundenweise.

Bild und Video sind dort wirklich schnell. Die Grenze sind 24 Gigabyte. Fast das Gegenteil des Halo: kleine Kapazität, große Bandbreite. Erzeugen geht. Sehr große Modelle passen nicht.

Was 16 gegen 24 Gigabyte auf einer Karte im Haus tragen, ohne Mietuhr: GPU-Wahl. Wann eine zweite Karte für 70 Milliarden nötig wird: zwei GPUs.

Beides erst ganz oben

Die letzte Stufe mietet sie: acht H100, 640 Gigabyte. Große Kapazität und große Bandbreite. Sie muss schnell sein, weil die Miete nach Minuten läuft. Beträge nennt sie nicht. Ultra-große Sprachmodelle, 700 Milliarden und mehr. Ultra-große Code-Modelle, 480 Milliarden und mehr. Video in Minuten, und schnell. Den Produktnamen des Videomodells lässt die Tonspur offen. Er steht hier nicht.

Sie beschreibt diesen Lauf als vergleichbar mit den Frontier-Modellen, für die man eine Cloud-Schnittstelle bezahlt. Einen Benchmark mit Latenz oder Preis pro Token legt sie nicht vor. Bis hierhin zwingt die Leiter, Kapazität oder Bandbreite zu wählen. Hier bekommt man beides. Eine Wunschklasse, sagt sie. Für einen Betrieb ist das der Vergleichspunkt, nicht die erste Bestellung.

Mieten, um die Klasse zu sehen oder eine Spitze abzufangen: GPU-Server mieten. Die Stundenpreise dieser Seite sind eine andere Quelle. Sie ersetzen nicht, was Huang offengelassen hat.

Fragen, die die Suche meint

Wann reicht der Server, wann brauche ich eine GPU?

Der Server, wenn mehrere Modelle resident bleiben sollen und der Lauf nicht mit dem Laptop sterben darf. Die diskrete GPU, wenn Bild, Video oder Musik schnell sein müssen. Wer beides will, ist bei ihr erst bei acht gemieteten H100.

Ist 128 Gigabyte gleich 128 Gigabyte Modell?

Nein. Beim Halo sagt sie, nutzbar seien rund 96. 70 Milliarden laufen bequem. Die Bandbreite bleibt der Engpass beim Erzeugen.

Ist die 4090 der große Server?

Bei ihr ist sie das Gegenteil. 24 Gigabyte, schnell erzeugen, große Modelle bleiben draußen. Acht H100 sind die Stufe, auf der Speicher und Bandbreite zusammen groß sind, und sie sind gemietet.