Qwen 3.6 in Ollama: 35B-A3B und 27B lokal — VRAM, Modelle, Kosten

TL;DR

Qwen 3.6 ist Alibabas Open-Weight-Familie von April 2026 (Apache 2.0) und läuft direkt über Ollama. Zwei Größen sind für den Mittelstand relevant: Das 35B-A3B (MoE) braucht in Q4 rund 21 GB VRAM und passt auf eine 24-GB-GPU (RTX 3090/4090) — bei 35 Mrd. Gesamtparametern, aber nur 3 Mrd. aktiven. Das dichte 27B kommt mit ~17 GB (Q4) aus und läuft auch auf 16-GB-Karten knapp. Der 16.04./22.04.2026-Release schlägt in den Benchmarks die eigene Qwen-3.5-Generation klar — wer Qwen 3.5 heute betreibt, migriert ohne Hardwarewechsel. Bei 2.000 Anfragen pro Tag spart Selbsthosting gegenüber einer Frontier-API typischerweise 1.400–3.800 EUR pro Monat, bei voller Datenhoheit.

Warum Qwen 3.6 gerade jetzt

Qwen ist weltweit die am breitesten eingesetzte Open-Weight-Familie — der Vorgänger Qwen 3.5 auf dem eigenen Server läuft bereits bei vielen Mittelständlern. Mit Qwen 3.6 (Open Weights seit 16.04.2026 auf Hugging Face und ModelScope, 27B folgte am 22.04.) hat Alibaba zwei Dinge geliefert, die IT-Verantwortliche konkret interessieren:

1. Ein MoE-Flaggschiff mit 35B total / 3B aktiv, das 24-GB-GPUs voll ausnutzt, aber so schnell antwortet wie ein kleines Modell.
2. Ein dichtes 27B für die 16-GB-Klasse — die häufigste GPU im Mittelstand (RTX 5080, 5070 Ti, 4060 Ti 16 GB).

Dazu: hybrides Reasoning (Thinking-Mode an/aus), 256K-Kontext (bis 1M via YaRN), Bildverstehen (multimodal) und stark verbesserte Tool-Calling-Fähigkeiten für agentische Workflows. Die Lizenz ist Apache 2.0 — kommerzielle Nutzung ohne Lizenzgebühren, im Gegensatz zu den größeren Qwen-3.8-Flaggschiffen mit Custom-License.

Dieser Artikel liefert die konkreten VRAM-Zahlen je Quantisierung, die Kostenrechnung Hardware vs. API und eine Entscheidungsmatrix — ohne Marketing.

Die zwei Wege: Qwen 3.6 in Ollama

Das entscheidende Detail: Das 35B-Modell ist eine Mixture-of-Experts mit nur 3 Mrd. aktiven Parametern (von 8 Experten wird je Token einer aktiviert). Es erreicht fast die Qualität eines dichten 35B, arbeitet aber so schnell wie ein 3B-Modell — das erklärt, warum es auf Reddit als „INSANE even for VRAM-constrained systems" gefeiert wird. Wer das Prinzip verstehen will: Unser Beitrag MoE erklärt: warum 30B nicht 30B VRAM braucht.

Gegenüber Qwen 3.5 (35B-A3B: 19,6 GB Q4) ist der VRAM-Bedarf praktisch identisch (~21 GB) — jede GPU, die heute Qwen 3.5 läuft, läuft auch Qwen 3.6. Das macht die Migration zum reinen ollama pull-Upgrade.

VRAM-Bedarf je Quantisierung: die vollständige Tabelle

Quellen: Unsloth (Total-Memory-Angaben RAM+VRAM) und WillItRunAI (Q4_K_M: 27B ~16,8 GB, 35B-A3B ~21 GB); Werte inkl. KV-Cache-Puffer, Stand Oktober 2026.

Die Goldene Regel: Die Ollama-Downloadgröße ist bereits quantisiert (Q4). Wer mit ollama run qwen3.6:35b startet, bekommt die Q4-Version — das ist für die meisten Workloads die richtige Wahl. Höhere Quanten (Q6/Q8) lohnen nur bei QA-lastigen, reproduzierbaren Aufgaben wie Datenextraktion oder Klassifikation.

Ollama in der Praxis: Befehle und Stolperfallen

Installation (falls Ollama noch fehlt): Die Ollama-Installation auf Ubuntu ist in 15 Minuten erledigt.

# 24-GB-GPU (RTX 3090, 4090, 5090) — die MoE-Variante:
ollama pull qwen3.6:35b
ollama run qwen3.6:35b

# 16-GB-GPU (RTX 5080, 5070 Ti) — das dichte Modell:
ollama pull qwen3.6:27b
ollama run qwen3.6:27b

# Kontext bewusst begrenzen (spart VRAM):
ollama run qwen3.6:27b --num-ctx 8192

Der offizielle Ollama-Tag läuft nach Community-Berichten auf einer 24-GB-GPU mit ~24 Tokens/Sekunde (mit Teil-Offload auf System-RAM); über llama.cpp erreichen konfigurierte Setups beim 35B-A3B 80–100 tok/s bei 65K-Kontext. Wer maximale Geschwindigkeit will, nutzt die MTP-Variante (Multi-Token-Prediction, ~1,4–2,2× schneller, bis 220 tok/s laut Unsloth) oder auf Blackwell-GPUs die NVFP4-Quants (seit 10.07.2026, ~2,5× schneller) — beides über llama.cpp/vLLM statt des Standard-Ollama-Tags.

Drei klassische Fehler:

1. Das 35B auf eine 16-GB-GPU zwingen. Q4 braucht ~21 GB. Auf 16 GB wandern Schichten über PCIe in den RAM — einstellige Tokens/Sekunde. Auf 16 GB gehört das 27B (Q4, ~17 GB), nicht das 35B.

2. Das volle 256K-Fenster aktivieren. Der KV-Cache frisst VRAM — bei langen Kontexten schnell 4–8 GB zusätzlich. Faustregel: Kontext so kurz wie möglich, so lang wie nötig. 8K–32K decken die meisten Dokumenten-Workloads ab.

3. Den Vision-Encoder mitzahlen. Qwen 3.6 ist multimodal. Reine Text-Workloads (Chat, RAG, Klassifikation) zahlen die Bild-Encoder mit — bei knappem VRAM lieber das Text-Modell eine Stufe kleiner wählen.

OpenAI-kompatible API: Ollama stellt auf Port 11434 eine OpenAI-kompatible API bereit. Bestehende Integrationen (LangChain, n8n, RAG-Pipelines) funktionieren ohne Umbau:

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.6:27b",
  "messages": [{"role": "user", "content": "Fasse das Wartungshandbuch in drei Sätzen zusammen."}],
  "stream": false
}'

Für den Produktivbetrieb lohnt der Blick auf Ollama vs. vLLM vs. LM Studio — vLLM skaliert besser bei mehreren Nutzern, Ollama punktet mit Einfachheit.

Kosten: Hardware vs. API

Die zentrale Rechnung für IT-Entscheider: Selbsthosting amortisiert sich bei Qwen 3.6 ab etwa 2.000 Anfragen pro Tag — bei diesem Volumen läuft eine API-Abrechnung dauerhaft, die Hardware nur einmalig. (Richtwerte Q4-Betrieb, Stand Oktober 2026.)

*API-Äquivalent geschätzt für ~60.000–240.000 Anfragen/Monat mit einem Frontier-Modell der Qwen-3.6-Klasse; Richtwerte ohne Gewähr.

Die oft übersehene Position: Stromkosten. Eine RTX 4090 unter Last zieht ~350 W — bei 10 h/Tag rund 100–150 EUR/Monat. Wer das einrechnet, entscheidet realistischer zwischen Kauf und GPU-Server-Miete. Die vollständige Server-Kalkulation inklusive Umfeld (Speicher, Netz, USV) liefert unser KI-Server-Hardware-Guide 2026.

DSGVO und Recht: Was Selbsthosting bedeutet

Qwen 3.6 steht unter Apache 2.0 — uneingeschränkte kommerzielle Nutzung, auch im Unternehmen, ohne Lizenzgebühren. Das unterscheidet die 3.6-Familie von Alibabas größten Flaggschiffen (Qwen 3.8 Max: Custom-License ab 50 Mio. USD Umsatz).

Der DSGVO-Vorteil ist strukturell: Bei lokalem Betrieb verlassen personenbezogene Daten das Unternehmensnetzwerk nie. Kein Drittlandtransfer (Art. 44 ff. DSGVO), keine Auftragsverarbeitung mit Cloud-Anbieter, keine Nutzung von Eingaben zum Training.

Wo Sie trotzdem aufpassen müssen — Qwen ist ein chinesisches Modell, der Ort der Verarbeitung entscheidet:

• Hosting in Deutschland: Solange Modell und Daten auf eigener oder EU-Infrastruktur laufen (Hetzner, STACKIT, IONOS), gibt es keinen China-Bezug in der Datenverarbeitung. Die ausführliche Einordnung: Chinesische KI-Modelle und DSGVO: der Ort entscheidet.
• Updates und Support: Modell-Downloads kommen von Hugging Face/ModelScope. Ausländische Server sind beim Download berührt (keine personenbezogenen Daten), der Betrieb selbst bleibt lokal. Wer maximale Absicherung will, lädt einmalig und hält den Download-Host im Netzwerk-Whitelist-Bereich.
• AVV-Pflicht bleibt intern: Betreibt Ihr IT-Dienstleister den Server, brauchen Sie mit ihm einen Auftragsverarbeitungsvertrag (Art. 28 DSGVO) — unabhängig vom Modell.
• Verzeichnis von Verarbeitungstätigkeiten (Art. 30 DSGVO): KI-Systeme, Modelle und Zwecke dokumentieren — wirkt im Audit souverän.

Use-Case aus der Praxis: Maschinenbau

Ein Maschinenbauer mit 300 Mitarbeitern betreibt seit Qwen 3.5 eine RTX 3090 24 GB (gebraucht, ~750 EUR) mit RAG über Wartungshandbücher und Fehlermeldungen. Das Upgrade auf qwen3.6:35b war ein einziger Befehl — gleicher VRAM, spürbar bessere Antwortqualität bei komplexen Diagnosefragen, das Reasoning (Thinking-Mode) hilft bei mehrstufigen Fehleranalysen. Kontext bei 16K begrenzt, ~3–5 Sekunden Antwortzeit, keine kritischen Konstruktionsdaten verlassen das Netz. Die Ersparnis gegenüber einer vergleichbaren Cloud-API: über 2.000 EUR/Monat bei voller Datenhoheit.

Entscheidungsmatrix

Die pragmatische Empfehlung: Wer heute Qwen 3.5 betreibt, migriert sofort — es kostet nichts außer Downloadzeit. Wer neu startet und eine 24-GB-GPU hat, nimmt das 35B-A3B: beste Qualität pro VRAM, das MoE-Prinzip macht es schnell genug für den Alltag. Bei 16 GB bleibt das 27B die richtige Wahl. Nur wer beides nicht hat, mietet zuerst — ein GPU-Server-Vergleich hilft beim Einstieg ohne Investition.

Fazit

Qwen 3.6 ist die reifste Open-Weight-Familie für den Mittelstand: Apache 2.0, zwei sauber gestaffelte Größen, identischer VRAM-Bedarf wie der Vorgänger bei besserer Qualität, Thinking-Mode und Tool-Calling inklusive. Die Modellwahl hängt an einer einzigen Zahl — dem VRAM. 16 GB → 27B, 24 GB → 35B-A3B. Wer diese Zuordnung sauber trifft, spart monatlich vierstellige API-Beträge und gewinnt DSGVO-Sicherheit.

Sie wollen Qwen 3.6 einführen, sind aber unsicher bei Hardware-Wahl oder DSGVO-Ausgestaltung? Wir unterstützen Sie bei Bedarfsanalyse, Server-Design und DSGVO-konformer Einführung.

Sprechen Sie uns an →

FAQ

Wie viel VRAM braucht Qwen 3.6 in Ollama?

In der Standard-Quantisierung (Q4): das 27B ~17–18 GB, das 35B-A3B ~21–23 GB. Damit passt das 27B auf 16-GB-GPUs (RTX 5080, 5070 Ti), das 35B braucht 24 GB (RTX 3090/4090/5090). In Q8 steigt der Bedarf auf ~30 GB (27B) bzw. ~38 GB (35B); in BF16-Rohform auf ~55 bzw. ~70 GB.

Was ist der Unterschied zwischen Qwen 3.6 27B und 35B-A3B?

Das 35B-A3B ist eine Mixture-of-Experts mit 35 Mrd. Gesamt-, aber nur 3 Mrd. aktiven Parametern: fast Dense-35B-Qualität bei der Geschwindigkeit eines kleinen Modells — ideal für 24-GB-GPUs. Das 27B ist ein dichtes Modell (alle Parameter aktiv): etwas weniger Qualität, aber deutlich weniger VRAM und damit die Wahl für 16-GB-Karten.

Läuft Qwen 3.6 auch auf meiner Qwen-3.5-Hardware?

Ja. Der VRAM-Bedarf ist praktisch identisch (35B-A3B: 19,6 GB vs. ~21 GB in Q4; 27B laut Unsloth ~18 GB). Jede GPU, die Qwen 3.5 heute betreibt, läuft auch Qwen 3.6 — die Migration ist ein ollama pull und Test, kein Hardwareprojekt.

Ist Qwen 3.6 wirklich kostenlos nutzbar?

Ja — die Gewichte der 3.6-Familie stehen unter Apache 2.0, auch für kommerzielle Nutzung, ohne Lizenzgebühren. Kosten entstehen nur für Hardware, Strom und Betrieb. Die größten Qwen-Flaggschiffe (3.8 Max) nutzen dagegen eine Custom-License mit Umsatzschwelle.

Ist Qwen als chinesisches Modell DSGVO-konform?

Entscheidend ist der Ort der Verarbeitung: Bei lokalem Betrieb (eigene oder EU-Hardware) verlassen personenbezogene Daten das Netzwerk nicht — kein Drittlandtransfer, keine Auftragsverarbeitung. Pflichten bleiben: AVV bei externem Serverbetrieb, Verzeichnis der Verarbeitungstätigkeiten. Details: Chinesische KI-Modelle und DSGVO.

Wie viel schneller ist Qwen 3.6 mit MTP oder NVFP4?

MTP (Multi-Token-Prediction) beschleunigt die Generierung je nach Modell um 1,4–2,2× (35B-A3B bis ~220 tok/s laut Unsloth); die NVFP4-Quants auf Blackwell-GPUs (seit Juli 2026) erreichen ~2,5×. Beides läuft über llama.cpp/vLLM — der Standard-Ollama-Tag bleibt die einfache, aber nicht die schnellste Option.

Weiterführende Artikel:

• Qwen auf eigenem Server: der Basis-Guide — Architektur, Betrieb, Updates
• MoE erklärt: warum 30B nicht 30B VRAM braucht — das Prinzip hinter dem 35B-A3B
• KV-Cache: warum Kontext die GPU sprengt — die zweite VRAM-Stellschraube
• Lokale KI 2026: GPU-Wahl 16 GB vs. 24 GB — die Hardware-Entscheidung vor dem Modell
• Ollama vs. vLLM vs. LM Studio — das richtige Frontend für den Produktivbetrieb
• Chinesische KI-Modelle und DSGVO — der Ort entscheidet