Gleicher RAM ist nicht dieselbe lokale KI

TL;DR

Raspberry Pi 5 und iPhone 16 haben bei Tina Huang beide 8 Gigabyte. Der Pi hat eine CPU und einen schmalen Bus. Das Telefon hat CPU, GPU und NPU, und iOS gibt einer App auf diesem Gerät nur etwa 4 bis 5 Gigabyte. Ihre grobe Decke: angegebener RAM minus 25 Prozent, geteilt durch 0,6. Das ist keine Ausschreibung.

Die Leiter der Klassen steht in Lokale KI: welche Hardware-Klasse.

Zwei Geräte, eine Zahl

Mini-Rechner haben ein Betriebssystem, Dateien und mehrere Programme. Mehrere Modelle, solange sie hineinpassen. Dieselbe Gigabyte-Zahl sagt nicht, welche Modelle laufen und wie schnell.

Auf dem Pi 5 unter Linux verkettet Huang drei kleine Modelle. Whisper hört die Frage, ein Sprachmodell in der Größe 1,7 Milliarden antwortet, Piper sagt es über die Lautsprecher. Eine Webcam liefert ein Bild, Moondream beschreibt es, Piper liest die Beschreibung vor. Mikro bis kleine Sprachmodelle gehen leicht, dazu winzige Bild-Sprache, kleine Sprache zu Text, kleine Text zu Sprache. Mittlere Sprachmodelle kämpfen. Kleine Code-Modelle kaum.

Ein Bildmodell passt in den Speicher. Es scheitert nicht am Platz. Es gibt keine GPU, deshalb ist das Erzeugen quälend langsam. Musik und Video nicht. Diesen Satz nicht umdrehen: fehlender Platz und fehlendes Rechenwerk sind zwei Gründe.

Das iPhone 16 hat dieselben 8 Gigabyte und ist schneller, weil CPU, GPU und NPU da sind und der Bus breiter ist. Huang sagt für dieses Gerät, das System gebe einer App etwa 4 oder 5 Gigabyte. Deshalb lässt dieser Weg die mittleren Modelle von 7 bis 14 Milliarden nicht zu. Das ist ihre Angabe für dieses Telefon, keine vermessene Grenze jeder Apple-Generation. Installiert wird über eine App, nicht indem man Gewichte auflegt.

Was sie dort bequem nennt: kleine Bild-Sprache von 1 bis 4 Milliarden, rund 1,5 Gigabyte. Stable Diffusion 1.5 mit 2 Gigabyte. Whisper Large und Text zu Sprache. Dazu Erkennung über die App von Ultralytics, Modell YOLO 11 N: Objekte in der Szene, nicht ein Chat.

Warum der Bus entscheidet

Huang vergleicht das Gerät mit einer Küche. Der Speicher ist das Lager. Der Arbeitsspeicher ist die Platte, auf der das aktuelle Gericht liegt. Die CPU ist eine Person, die jedes Gericht kann. Die GPU ist eine Reihe, weniger vielseitig, dafür viele. Die NPU ist eine Maschine an der Wand, eine Aufgabe, schnell. Der Bus ist das Band zwischen Platte und Leuten.

Ein Sprachmodell stockt oft daran, wie schnell die Gewichte aus dem RAM zu CPU, GPU und NPU kommen. Auf dem Pi ist das Band schmal, und es gibt nur die eine CPU. Auf dem Telefon sind Reihe und Spezialmaschine da. Bild, Video und Musik sind rechenlastig. Nur CPUs reichen nicht, egal wie sehr sie arbeiten.

VRAM und Unified Memory lässt sie in diesem Vortrag weg. Eine Kaufberatung für Apple-Speicher ist dieser Text nicht. Was 8 und 12 Gigabyte Grafikspeicher im Notebook tragen, ist eine andere Achse: Laptop-GPU.

Die grobe Formel

Für Größen, die nicht auf ihrer Folie stehen, nennt sie eine Decke. Angegebener RAM minus 25 Prozent, das belegen andere Prozesse. Der Rest geteilt durch 0,6 ergibt eine Parameterzahl in Milliarden.

Ihr Beispiel, das sie vorrechnet: 32 Gigabyte auf dem MacBook Pro, minus ein Viertel, 24 Gigabyte nutzbar, 24 geteilt durch 0,6 ist 40. Bis etwa 40 Milliarden. Sie nennt das ausdrücklich ungenau. Alternativ, sagt sie, einen Chat fragen, was auf die Maschine passt. Beides ist eine Schätzung.

Auf diesem Pro lässt sie Qwen 3 in 14, 16 und 32 Milliarden in einem Agenten laufen, Qwen 3 Coder mit 30 Milliarden in einem Code-Werkzeug, Flux Dev für Bilder. Das sind Läufe, die sie benennt, keine Garantie für jedes 32-Gigabyte-Gerät.

Was die Formel nicht ersetzt

Auf dem Mac Studio mit 64 Gigabyte rechnet sie die Formel nicht vor. Später sagt sie, sie lasse dort große Modelle laufen, die sie mit 27 bis 32 Milliarden angibt. Die Decke und der Lauf sind zwei Sätze. Den zweiten nicht durch den ersten ersetzen.

Dieselbe Vorsicht gilt für die Karte im Server. 16 gegen 24 Gigabyte Grafikspeicher entscheidet, welches dichte Modell resident bleibt: GPU-Wahl 16 gegen 24 GB. Die Formel aus dem Arbeitsspeicher ersetzt diese Stufe nicht.

Fragen, die die Suche meint

Wie groß darf das Modell auf meinem Rechner sein?

Huang: angegebener RAM minus ein Viertel, geteilt durch 0,6, in Milliarden Parametern. 32 Gigabyte werden so zu etwa 40 Milliarden. Was sie wirklich startet, kann darunter liegen.

Warum ist das Telefon mit 8 Gigabyte schneller als der Pi?

Weil Bus, GPU und NPU da sind. Der Pi hat den Fassungsraum und ein schmales Band plus eine CPU. Bilder scheitern dort am Rechenwerk, nicht daran, dass ein kleines Modell nicht hineinpasst.

Gilt das App-Limit für jedes Apple-Gerät?

Nein. 4 bis 5 Gigabyte pro App ist ihre Angabe für das iPhone 16 in diesem Vortrag.