PCIe-Lanes: zweite GPU im KI-Server

TL;DR

Die GeForce RTX 4090 hängt an PCIe 4.0 und hat kein NVLink. Zwei Karten teilen sich keinen Speicher. Ob der zweite Slot mit x16 oder nur mit x8 angebunden ist, entscheidet das Mainboard, nicht die GPU. Für Inferenz laden die Gewichte einmal. Danach rechnet die Karte aus ihrem eigenen Speicher. Der Slot wird beim Modellstart wichtig, nicht bei jedem Token.

Wann eine Karte für 70B nicht reicht: 2 GPUs für 70B.

Was die Karte mitbringt

NVIDIA führt die RTX 4090 mit PCI Express Gen 4 und ohne NVLink. Eine Board-Spezifikation von PNY nennt den Bus PCI-Express 4.0 x16. Die Karte kann nicht auf Gen 5 hochschalten, nur weil der Slot Gen 5 kann. Sie bleibt bei Gen 4.

Ohne NVLink sieht jede Karte nur ihren eigenen Speicher. Zwei 24-GB-Karten sind nicht eine 48-GB-Karte. Das Modell muss auf beide passen oder auf einer laufen. Die Aufteilung steht im Beitrag zu zwei GPUs, nicht in der Lane-Zahl.

Was das Mainboard dazugibt

Ein Prozessor hat eine feste Zahl an Lanes. Das Board verteilt sie auf Slots und M.2. Steckt die zweite GPU, fällt der erste Slot auf vielen Boards von x16 auf x8, und der zweite bekommt x8. Manche Boards geben dem zweiten Slot nur x4, oder sie teilen die Lanes mit einer NVMe.

Das steht im Handbuch unter „PCIe bifurcation“ oder in der Slot-Tabelle, Zeile für Zeile, welche Belegung welche Breite lässt. Eine Produktseite mit „zwei x16-Slots“ meint oft die mechanische Länge des Steckplatzes, nicht die elektrische Breite.

Vor dem Kauf der zweiten Karte drei Zeilen aus dem Handbuch:

Inferenz und Training nutzen den Slot verschieden

Beim Serving liegen die Gewichte nach dem Laden auf der GPU. Die nächsten Tokens kommen aus diesem Speicher. Eine schmalere Anbindung verlängert den Ladevorgang. Sie ändert die Tokenrate danach wenig, solange nichts bei jedem Schritt über den Bus muss.

TechPowerUp hat an einer RTX 4090 Spiel-Bildraten über PCIe-Generationen gemessen. PCIe 3.0 x16 lag dort nah an PCIe 4.0 x16. Das ist kein Inferenz-Benchmark und keine Zahl für ein Sprachmodell. Es zeigt nur, dass die Karte im Dauerbetrieb selten am Bus hängt.

Training ist der andere Fall. Gradienten und Aktivierungen laufen zwischen den Karten. Ohne NVLink ist PCIe dann die Leitung. Wer trainieren will, kauft das Board nach der Slot-Tabelle. Wer nur bedienen will, kauft zuerst VRAM.

VRAM vor der zweiten Karte: VRAM-Rechner. 16 oder 24 GB als Einstieg: Lokale KI, GPU-Wahl.

Nach dem Einbau prüfen

nvidia-smi zeigt die Karte. Die ausgehandelte Breite zeigt erst lspci.

lspci -d 10de: -vv | grep -E 'LnkCap:|LnkSta:'

LnkCap ist, was der Slot kann. LnkSta ist, was gerade anliegt, zum Beispiel Width x8. Steht dort x8, obwohl das Handbuch x16 verspricht, ist meist ein M.2-Steckplatz oder die zweite Karte der Grund. Die Zeile im Handbuch gilt, nicht der Aufdruck auf dem Slot.

Wann die zweite Karte der falsche Kauf ist

Eine zweite GPU lohnt, wenn ein Modell nicht in 24 GB passt oder zwei Modelle gleichzeitig im Speicher liegen sollen. Sie lohnt nicht, weil ein Datenblatt „dual x16“ schreibt. Passt das Modell auf eine Karte, bleibt der Bus der kleinere Hebel. Dann zuerst Speicher, danach das Board.