Lokale KI: welche Hardware-Klasse

TL;DR

Lokale KI sortiert sich nach der Geräteklasse, nicht nach dem Logo. Gleicher Arbeitsspeicher ist nicht dieselbe Maschine. Ein Betrieb kauft nicht bei acht gemieteten H100 ein. Erst die Klasse, dann Ollama, vLLM oder eine RAG-Pipeline.

Die Einordnung folgt dem Vortrag „Every Size Local AI In 24 Minutes“ von Tina Huang (28. September 2026). Was sie nicht vorgelesen hat, steht hier nicht. Ein Sponsorblock in der Mitte ist kein Befund über Hardware.

Fünf Klassen, dann die GPU

Ab dem Home Server kommen keine neuen Modellarten dazu. Es werden größere, bessere, schnellere Läufe, und die Maschine bleibt an.

Der Chip fragt, er rechnet nicht

Die unterste Klasse hat kein Betriebssystem und kein Dateisystem. Ein Modell wird nicht installiert. Es liegt auf der Platine, oder es passt nicht.

Ein Arduino Uno R4 mit 32 Kilobyte fasst kein Modell. Er bleibt sinnvoll, wenn er per WLAN die Maschine fragt, die an bleibt, und nur den Satz anzeigt. Das Modell liegt woanders. Das ist ein Sensor oder ein Display an der Stelle, kein zweiter Server.

Ein ESP32-S3 mit 8 Megabyte ist bei Huang die Grenze nach unten für ein eigenes Modell. Tiny Stories, einmal als 260K und einmal als 3 Megabyte beschrieben, sagen das nächste Wort und formen eine kurze Geschichte. Kein Gespräch, kein Bild, kein Ton. Mit Display hat sie das Board für etwa 20 Dollar, ohne Display rechnet sie mit 2 bis 5 Dollar. Das ist ihr Einkauf, keine Preisliste.

Acht Gigabyte sind zwei Maschinen

Ein Mini-Rechner hat ein System, Dateien und mehrere Programme, solange sie hineinpassen. Raspberry Pi 5 und iPhone 16 haben bei ihr beide 8 Gigabyte. Dieselbe Modellklasse tragen sie nicht.

Auf dem Pi verkettet sie Hören, eine kurze Antwort und Sprechen: Whisper, ein kleines Sprachmodell, Piper. Eine Webcam, Moondream beschreibt das Bild, Piper liest vor. Ein kleines Bildmodell passt in den Speicher und ist ohne GPU quälend langsam. Musik und Video nicht. Warum die Zahl täuscht, steht in Gleicher RAM ist nicht dieselbe lokale KI.

Zuklappen beendet den Lauf

Ein Laptop mit viel Speicher trägt Sprache, Code, Bild und Ton, solange er offen ist. Huang nutzt ein MacBook Pro mit 32 Gigabyte, weil sie Modelle testet, und sagt, dass das teuer ist. Für die üblichen 8 und 16 Gigabyte legt sie Folien auf, die sie nicht vorliest. Wer dazwischen liegt, soll ihre grobe Formel nehmen, nicht die Folie raten. Die Rechnung steht auf der RAM-Seite.

Für einen Betrieb ist der Laptop ein Versuch. Sobald jemand den Deckel schließt, ist das Modell weg, falls gerade ein Lauf daran hing.

An bleiben, oder schnell erzeugen

Der Home Server ist die Klasse, in der die Modelle resident bleiben und mehrere gleichzeitig geladen sein können. Mehr Speicher ohne Bandbreite fasst große Sprachmodelle und erzeugt Bild, Video und Musik langsam. Eine gemietete RTX 4090 mit 24 Gigabyte dreht das um. Acht H100 mit 640 Gigabyte sind bei ihr die gemietete Stufe, auf der beides zusammenkommt. Das ist nicht die erste Maschine. Die zwei Extreme: Server an oder GPU mieten.

Eine Kamera an der Linie ist keine dieser Chat-Klassen. Die Prüfung der Oberfläche bleibt optisch und am Band: Oberflächeninspektion.

Danach erst die Software

Die Klasse sagt, welche Laufzeit sich lohnt. Auf einem Pi ist eine Kette aus kleinen Modellen die ehrliche Form. Auf einem Server, der an bleibt, wird aus dem Versuch ein Dienst: vLLM oder Ollama, sobald mehrere Leute gleichzeitig fragen. Dokumente auf dieser Maschine, nicht in einem Chatfenster: RAG vom PDF.

Acht Gigabyte Grafikspeicher im Notebook sind eine andere Frage als acht Gigabyte Arbeitsspeicher: Laptop-GPU, 8 und 12 GB. Die Schichten darüber, Modell, Daten, Oberfläche: AI-Stack.

Fragen, die die Suche meint

Reicht die Gigabyte-Zahl auf dem Datenblatt?

Nein. Pi und Telefon haben bei Huang beide 8 Gigabyte. Bus, CPU, GPU und NPU entscheiden, und auf dem Telefon gibt das System einer App nur einen Teil davon.

Wann ist ein Server fällig, wann eine GPU?

Der Server, wenn der Lauf den zugeklappten Laptop nicht überleben darf. Die diskrete GPU, wenn Bild, Video oder Musik schnell sein müssen. Beides zusammen zeigt sie erst in der gemieteten Oberklasse.

Was kann das kleinste Gerät in der Halle?

Anzeigen und fragen. Ein eigenes Modell, das nur das nächste Wort einer kurzen Geschichte sagt, beginnt bei ein paar Megabyte. Die Kette aus Hören, Antworten und Sprechen beginnt beim Mini-Rechner.