CUDA-Moat 2026: KI-Inferenz ohne NVIDIA

TL;DR

Ende August 2026 hat Z.ai bestätigt: Das anonyme Modell Ox Alpha auf OpenRouter und OpenCode war GLM-5.3-Flash. Der gesamte Testverkehr lief laut Anbieter auf chinesischen KI-Chips, ohne NVIDIA. Z.ai spricht von einer Kapazität in der Größenordnung von 100 Billionen Token pro Tag und einer Encode-Prefill-Decode-Architektur über zehntausende Beschleuniger. Für den deutschen Mittelstand ändert das den Kauf nicht über Nacht. CUDA bleibt der kürzere Weg für vLLM, Ollama und den GPU-Server im Haus. Es ändert die Risikobewertung: Inferenz ist nicht mehr an NVIDIA gebunden. Training und der Mittelstands-Stack schon.

Die Chips dahinter: Ascend 950PR und MTT S5000. Das Modell selbst: GLM 5.3 Flash: Routing und Kosten.

Was der virale Test wirklich gezeigt hat

Jemand hat am 20. August 2026 ein namenloses Modell auf OpenRouter gelegt. Eine Woche später hat Z.ai den Deckel gehoben: Ox Alpha war GLM-5.3-Flash, 320 Milliarden Parameter gesamt, 18 Milliarden aktiv, MIT-Lizenz, nativ multimodal, Kontextfenster 1 Million Token. Die Gewichte liegen auf Hugging Face.

Die Hardware-Aussage ist die eigentliche Nachricht. Z.ai schreibt in der Modelldokumentation wörtlich, der gesamte Testverkehr sei auf chinesischen KI-Chips gelaufen. Der Serving-Stack sitzt auf SGLang, nicht auf TensorRT-LLM. Prefill, multimodales Encoding und Token-für-Token-Decode laufen als getrennte Worker-Pools (EPD). So skaliert man Cluster, deren einzelne Karten weniger Speicher und Bandbreite haben als eine H200.

Was Z.ai nicht als Datenblatt veröffentlicht: die genaue SKU-Mischung im Cluster. Sekundärquellen nennen Huawei, Hygon und Moore Threads. Das passt zu den Day-0-Ankündigungen der Hersteller, ist aber nicht die Primärquelle. Für die geopolitische Lesart reicht die Primärquelle: Frontier-Inferenz in Produktionslast ohne CUDA.

Die Token-Zahlen in der Berichterstattung schwanken. Z.ai und darauf aufbauende Berichte sprechen von einer Kapazität um 100 Billionen Token pro Tag. Andere Zählungen zu OpenRouter und OpenCode nennen Dutzende Billionen Token in fünf bis sechs Tagen. Für die Einordnung reicht beides: Das ist Last, die bisher als NVIDIA-Hyperscaler-Territorium galt.

Was der CUDA-Moat ist, und wo er reißt

CUDA ist kein Chip. Es ist die Software, die 20 Jahre lang den Wechsel teuer gemacht hat: Compiler, Kernel, cuDNN, cuBLAS, der Default-Pfad in PyTorch. Jensen Huang nennt NVIDIA deshalb eine Software-Firma. Der Graben war nie die FLOPS-Zahl auf dem Datenblatt, sondern die Kosten, denselben Stack auf einem anderen Beschleuniger neu zu schreiben.

Drei Dinge haben diesen Graben 2026 sichtbar gespalten.

Inferenz ist nicht Training. Training eines Frontier-Modells über tausende Knoten braucht denselben Kernel-Pfad, denselben All-Reduce, denselben Debugger. Inferenz einer fertigen MoE-Karte ist ein engerer Kernel-Satz: Attention, GEMM, Sampling. Den kann ein Labor mit SGLang, Quantisierung und Prefill-Decode-Split nachbauen. Microsoft betreibt Produktions-Inferenz auf AMD MI300X über ONNX Runtime, Google und Anthropic auf TPU und Trainium. Z.ai hat denselben Schnitt auf chinesischem Silizium gezeigt.

Der Engpass sitzt bei Speicher, nicht bei CUDA-Syntax. Z.ai schreibt offen, die eigenen Chips seien vor allem durch Kapazität und Bandbreite begrenzt, besonders bei 1-Million-Token-Kontext. Die Antwort war nicht „wir brauchen NVIDIA“, sondern W8A8, gemischter KV-Cache, Layer-Split und ein 3-facher Durchsatzgewinn gegenüber der eigenen Baseline. Architektur und Scheduling ersetzen fehlende Bandbreite. Genau das ist der Punkt, an dem der Moat für Inferenz bröckelt.

Kernel-Kosten fallen. Ein Labor, das Frontier-Modelle trainiert, kann sich ein Performance-Team leisten. LLMs schreiben und debuggen Kernel inzwischen mit. Das schließt CUDA nicht, aber es senkt die Schwelle, einen zweiten Stack zu halten. Für ein Mittelstands-IT-Team mit zwei Admins gilt das nicht.

Was das für den KI-Server im Mittelstand bedeutet

Die kurze Antwort: Nichts kaufen, was Sie nicht betreiben können.

Ein Maschinenbauer in NRW, der Qwen oder GLM auf einer Workstation oder einem 4-GPU-Server fährt, kauft 2026 weiterhin NVIDIA oder, mit Absicht, AMD. Der Stack heißt Ollama, llama.cpp oder vLLM. Container, Treiber, Monitoring und die nächste Modellkarte sind CUDA-first. Eine Huawei-Karte im deutschen Rack ist kein Souveränitätsgewinn, sie ist ein Support- und Sanktionsrisiko ohne EU-Ersatzteilweg.

Was sich ändert, ist die Beschaffungsfrage, nicht die Stückliste.

Drei konkrete Konsequenzen für den Einkauf:

1. Inferenz und Training trennen. Der 24-GB-Server für RAG und Agents ist ein anderes Gerät als ein Trainingscluster. Mieten schlägt Kaufen, sobald Gewichte wirklich trainiert werden: GPU-Server für KI-Training.
2. Einen zweiten Software-Pfad kennen. llama.cpp über Vulkan oder ROCm ist 2026 kein Hobby mehr, sondern die Absicherung, falls CUDA-Karten teuer oder lange nicht lieferbar sind: AMD-GPU für lokale KI, llama.cpp vs. vLLM.
3. Open Weights auf eigener Hardware bleiben der europäische Hebel, nicht chinesische NPUs. GLM-5.3-Flash ist MIT-lizenziert. Die Gewichte können auf einer L40S in Frankfurt laufen. Herkunft des Trainings ändert nicht den Betriebsort. Genau das ist Private AI: Open-Weight LLM auf eigenem Server.

Unabhängigkeit von den USA heißt im Mittelstand 2026: Modellgewichte und Serverstandort kontrollieren. Nicht: Ascend statt A100 bestellen.

Häufige Fragen

Läuft High-End-Inferenz wirklich ohne NVIDIA?

Ja, in Produktionslast. Z.ai hat GLM-5.3-Flash eine Woche lang als Ox Alpha auf chinesischen Chips ausgeliefert. Google, Amazon und Anthropic tun dasselbe auf TPU und Trainium. Das widerlegt nicht NVIDIAs Marktanteil, es widerlegt die Annahme, CUDA sei physikalisch nötig.

Soll ich für den nächsten KI-Server auf AMD oder Huawei gehen?

Für ein deutsches Unternehmen: AMD nur, wenn das Team ROCm betreiben will. Huawei und Moore Threads sind in der EU kein Standard-Beschaffungsweg, stehen auf US-Entity-Listen und bringen CANN oder MUSA statt des Stacks, den Ihre Leute kennen. NVIDIA bleibt der kürzere Betrieb.

Bröckelt der CUDA-Moat auch beim Fine-Tuning?

Kaum. LoRA auf einer 24-GB-Karte ist CUDA-first. Voller Trainingslauf über viele Knoten erst recht. Der Riss sitzt bei Serving, nicht beim Gradienten-Update.

Ändert das die Strom- und VRAM-Rechnung?

Nein. Token pro Watt und GB für KV-Cache bleiben die Kaufkriterien. Wer lange Kontexte fährt, kauft Speicher, nicht die geopolitische Story: KV-Cache und GPU-Wahl.

Fazit und nächster Schritt

Der CUDA-Moat ist 2026 kein Mythos mehr, der jede Inferenz bindet. Ein Labor hat Frontier-Last ohne NVIDIA-Software und -Chips ausgeliefert. Für den Mittelstand bleibt NVIDIA (oder bewusst AMD) die betreibbare Wahl. Die richtige Lehre ist eine andere: Kaufen Sie Inferenz-Hardware nach VRAM, Runtime und Lieferkette — und halten Sie die Modellgewichte so, dass ein Anbieterwechsel möglich bleibt.

Wenn Sie den nächsten GPU-Server gegen genau diese Kriterien auslegen wollen: VRAM-Stufe, Runtime, nicht das Datenblatt. NVIDIA-Familien: DGX, HGX, EGX, MGX.