Welches offene Sprachmodell schreibt brauchbares Deutsch?

TL;DR

Für produktive deutsche Texte ist heute Qwen3.5 35B-A3B die pragmatischste Wahl: Apache 2.0, offizieller Ollama-Tag, rund 24 GB nur für die Gewichte bei Q4_K_M — planen Sie 32 GB VRAM. Soofi S 30B-A3B liegt beim Deutsch-Aggregat nur knapp dahinter und gewinnt beide Code-Benchmarks, steckt aber in einer gated Closed Beta mit unfertiger Lizenz und einer Toolchain, die Sie selbst bauen. Llama 3.3 70B bleibt solide, kostet aber fast doppelt so viel Speicher.

Der Stand am 2. August 2026: Soofi S können Sie noch nicht einsetzen

Fangen wir mit der unbequemen Nachricht an, weil sie die Entscheidung sofort verändert.

Soofi S ist seit Mitte Juli 2026 draußen — aber nicht so, wie Pressemeldungen es klingen lassen. Die Modellkarten auf Hugging Face unter der Organisation Soofi-Project sind gated: einloggen, Kontaktdaten teilen, Bedingungen akzeptieren. Auf der Karte steht wörtlich, das Ding sei "a beta preview and a research artifact. It is not an open release." Die Lizenz ist als "Other" hinterlegt, nicht als Apache 2.0 oder MIT. Der Grund ist offengelegt: Rund 1,3 Prozent der Phase-1-Trainingsdaten stammen aus dem kommerziell lizenzierten Genios-Korpus, was die finale Lizenzierung nach europäischen Open-Data-Kriterien verkompliziert. Das Konsortium kündigt eine permissive Lizenz ohne Gating an — ein Datum dafür gibt es nicht.

Wir raten deshalb davon ab, Soofi S jetzt in eine produktive RAG-Pipeline zu heben. Als Evaluationskandidat auf einer Testmaschine: unbedingt. Als Modell, auf das Sie ein Kundenprojekt planen: noch nicht.

Was hinter dem Namen steckt

SOOFI steht für "Sovereign Open Source Foundation Models". Laut Partnerseite des Projekts besteht das Konsortium aus DFKI, Fraunhofer IAIS und IIS, TU Darmstadt, Universität Würzburg, Berliner Hochschule für Technik, dem L3S der Universität Hannover, dem Lamarr-Institut sowie den Unternehmen ellamind und Merantix Momentum. Koordiniert wird es vom KI Bundesverband, gefördert vom Bundesministerium für Wirtschaft und Energie.

Technisch ist Soofi S 30B-A3B kein gewöhnlicher Transformer, sondern ein hybrides Mamba-2/Mixture-of-Experts-Modell: 52 Schichten, davon 23 Mamba-2, 23 MoE-Schichten mit 128 gerouteten plus 2 geteilten Experten (6 aktiv pro Token) und 6 Grouped-Query-Attention-Schichten. 31,6 Milliarden Parameter insgesamt, 3,2 Milliarden aktiv pro Token. Trainiert vom 24. März bis 13. Mai 2026 auf bis zu 512 NVIDIA-B200-GPUs (64 DGX-B200-Knoten) — rund 253.000 GPU-Stunden auf der Industrial AI Cloud der Deutschen Telekom in München, auf 26,68 Billionen Token in drei Phasen mit bewusst höher gewichtetem Deutsch. Der Kontext wird in Phase drei auf 1.048.576 Token gezogen. Alle Angaben aus der Modellkarte und dem Technical Report.

Der Mamba-Anteil ist der für den Betrieb interessante Teil. Bei einem reinen Transformer wächst der KV-Cache linear mit der Kontextlänge — 40 parallele Nutzer mit langen Dokumenten sprengen den VRAM, bevor die Rechenleistung limitiert. Mamba-2-Schichten halten stattdessen einen Zustand fester Größe.

Wichtig ist dabei, was das nicht heißt: Der KV-Cache verschwindet nicht. Sechs der 52 Schichten sind weiterhin echte Attention, und die cachen. Nur eben sechs statt 52, was den kontextabhängigen Speicherbedarf grob um eine Größenordnung drückt statt auf null. Das Konsortium argumentiert damit auf Durchsatz bei langem Kontext und hoher Parallelität, nicht auf Spitzenqualität — für ein Vertragsarchiv mit 300-seitigen PDFs und einer gleichzeitig fragenden Fachabteilung die richtige Optimierungsrichtung. Nur ist es kein Alleinstellungsmerkmal mehr: Qwen3.5 setzt mit Gated Delta Networks auf denselben Trick, nur mit anderer Mathematik.

Die Benchmarks — und was sie Ihnen nicht sagen

Die Zahlen stammen aus dem Technical Report (arXiv 2607.09424), alle mit derselben Evaluationsmethodik erhoben. Andere Quellen haben wir bewusst nicht gemischt — Benchmark-Werte aus verschiedenen Harnesses sind nicht vergleichbar:

Zwei Dinge stehen da drin, die in den Pressemeldungen untergehen.

Erstens: Innerhalb der vollständig offenen Modelle — also solcher, bei denen nicht nur Gewichte, sondern auch Daten-Accounting, Hyperparameter und Code offenliegen — führt Soofi S klar, und beim Code ist es kein knappes Rennen. 84,2 auf MBPP-DE gegen 70,8 bei Olmo und 50,9 bei Apertus.

Zweitens: Das Gesamtfeld gewinnt Soofi S nicht. Qwen3.5 35B-A3B liegt auf Deutsch mit 87,6 gegen 85,3 vorn und auf Englisch mit 81,3 gegen 77,3. Bei Wettbewerbsmathematik ist der Abstand kein Rundungsfehler: Minerva MATH-DE 76,5 gegen 56,0. Umgekehrt gewinnt Soofi S beide Code-Benchmarks. Wer nur eine Zahl zitiert, kann sich hier jede Schlagzeile bauen, die er möchte — genau deshalb steht die ganze Tabelle da.

Jetzt der wichtigere Teil: Was beantwortet ein Deutsch-Aggregat von 85,3 über Ihren Anwendungsfall? Nichts.

Die deutschen Benchmarks dahinter — ARC-Challenge-DE, MMLU-Pro-DE, GSM8K-Platinum-DE, PIQA-DE — sind zu großen Teilen übersetzte englische Datensätze. Sie messen, ob ein Modell Weltwissen und Logik auch dann abruft, wenn die Frage auf Deutsch gestellt ist. Nicht, ob es einen Prüfbericht in verständliches Deutsch bringt, ob es "Abnahme" im Bauvertragskontext richtig versteht oder in einer Kunden-E-Mail den Konjunktiv trifft.

Dass genau das den Unterschied macht, sieht man am GRIPS-Benchmark von ellamind: 1.861 deutsche Aufgaben zu Wortspiel, Anagrammen, Idiomen und Rätsellogik über 96 Aufgabentypen — Dinge, die sich nicht über eine englische Übersetzung abkürzen lassen. GRIPS führt eine eigene "harte" Teilmenge, weil auf dem vollen Datensatz die Spitzenmodelle so dicht beieinander liegen, dass die Rangfolge nichts mehr aussagt. Konkrete Punktstände nennen wir hier nicht: Die Rangliste läuft gegen einen privaten Testsatz und ändert sich mit jedem Modell-Release, eine hier eingefrorene Zahl wäre in vier Wochen falsch. Der belastbare Befund ist der strukturelle: derselbe Modellvergleich, zwei Teilmengen, zwei verschiedene Sieger.

Unsere Position, und die ist unbequem für einen Artikel, der eine Benchmark-Tabelle enthält: Benchmarks taugen zur Vorauswahl von drei Kandidaten. Für die Entscheidung taugen sie nicht. Wer ein Modell allein wegen 87,6 gegen 85,3 auswählt, hat eine Kommastelle mit einer Geschäftsentscheidung verwechselt. Dafür brauchen Sie Ihre eigenen Dokumente — der Testaufbau dafür steht weiter unten.

Lizenz — hier fällt Llama für viele deutsche Firmen einfach aus

Das ist der Abschnitt, den technische Vergleiche gern überspringen, obwohl er die meisten Projekte entscheidet.

Bei Llama 4 müssen Sie die Lizenz selbst lesen, bevor Sie planen. Meta hat mit den multimodalen Modellen ab Llama 3.2 eine Einschränkung für die EU eingeführt: Für Personen mit Wohnsitz und Unternehmen mit Hauptsitz in der EU werden die Nutzungsrechte an den multimodalen Modellen nicht eingeräumt. Das ist kein gesetzliches Verbot, sondern eine Lizenzentscheidung von Meta — praktisch läuft es aufs Gleiche hinaus.

Eine Warnung zur Recherche: Die LICENSE-Datei im GitHub-Repository meta-llama/llama-models enthält diese Klausel nicht — weder für Llama 4 noch für Llama 3.2, wo sie unstrittig gilt. Wer dort nachschaut und nichts findet, hat nicht geprüft, sondern die falsche Quelle gelesen. Maßgeblich ist der Lizenztext auf Metas eigener Seite und die jeweilige Modellkarte. Lassen Sie das vor einem Llama-4-Projekt einmal von jemandem gegenlesen, der für die Antwort geradesteht.

Was bleibt, ist Llama 3.3 70B: reiner Text, EU-Klausel greift nicht, nutzbar. Die Community License erlaubt kommerzielle Nutzung bis 700 Millionen monatlich aktive Nutzer — für einen Mittelständler irrelevant. Ein weit verbreiteter Irrtum gehört hier ausgeräumt: Das Verbot, Llama-Ausgaben zum Training anderer Modelle zu verwenden, stammt aus Llama 2 und steht seit Llama 3.1 nicht mehr in der Lizenz. Erlaubt ist es seither, verlangt wird lediglich, dass ein so trainiertes und weitergegebenes Modell "Llama" im Namen führt und die Attribution mitliefert. Wer Synthetikdaten für ein eigenes Fine-Tuning erzeugen will, kann das also — nur nicht unter beliebigem Produktnamen veröffentlichen.

Qwen3.5 35B-A3B steht unter Apache 2.0. Keine Nutzerschwelle, keine Regionalklausel, keine Namenspflicht. Für die Compliance-Abteilung ist das die kürzeste Diskussion des Projekts.

Die Speicherzeile wird regelmäßig falsch verstanden, und zwar in beide Richtungen. Erstens: Bei einem MoE-Modell bestimmt die Gesamt-Parameterzahl den Speicherbedarf, nicht die aktive. Alle 31,6 respektive 36 Milliarden Parameter müssen im VRAM liegen, weil der Router pro Token andere Experten zieht. Die 3,2 Milliarden aktiven Parameter senken nur die Rechenlast pro Token, also die Geschwindigkeit — nicht den Speicher. "30B-A3B läuft wie ein 3B-Modell" ist in Bezug auf VRAM schlicht falsch.

Zweitens, und das ist die teure Konsequenz: Die Zahlen in der Tabelle sind nur die Gewichte. Dazu kommen ein bis drei GB Laufzeit-Overhead und der KV-Cache, der mit Kontextlänge und Anzahl gleichzeitiger Anfragen wächst. Qwen3.5 35B in Q4_K_M passt damit nicht sinnvoll auf eine 24-GB-Karte, auch wenn die Zahl 24 danach aussieht. Planen Sie 32 GB, oder gehen Sie eine Quantisierungsstufe runter und messen den Qualitätsverlust selbst. Welche Karte welche Größe schafft, steht im GPU-Vergleich für LLM-Inferenz.

Verfügbarkeit in der Praxis: was heute wirklich startet

Für Qwen3.5 und Llama 3.3 ist das eine Zeile:

ollama pull qwen3.5:35b
ollama pull llama3.3:70b

Beide Tags sind Q4_K_M und ziehen 24 respektive 43 GB. Ein qwen3.5:35b-a3b-...-Tag existiert nicht — in der Ollama-Bibliothek heißt die Variante schlicht qwen3.5:35b.

Bei Soofi S wird es umständlicher. Es gibt GGUF-Repositories — Soofi-Project/Soofi-S-Instruct-Preview-GGUF sowie die Reasoning-Varianten Isar und Rhine mit expliziten Denkspuren. Angeboten werden laut Modellkarte Q8_0 (ca. 33,6 GB), Q5_K_M (ca. 26 GB) und Q4_K_M (ca. 21 GB).

Ein Q6_K fehlt, und der Grund erklärt gleich die auffällig hohen Dateigrößen: Die K-Quantisierungen von llama.cpp arbeiten in Superblöcken von 256 Werten, und die Tensor-Spaltendimensionen dieser Architektur (2688, 1856, 3712) sind nicht durch 256 teilbar. Betroffene Tensoren fallen deshalb auf gröbere Formate zurück. Bei Q6_K liefe das faktisch auf q8_0 hinaus — gleiche Größe, kein Gewinn. Deshalb liegt Q5_K_M hier bei 26 GB statt der rechnerisch erwartbaren gut 22 GB.

Drei Stolpersteine stehen auf den Modellkarten, bevor Sie einen Nachmittag verlieren:

1. llama.cpp muss die Architektur kennen. Die Hybrid-Mamba-2/MoE-Struktur ist eine Eigenentwicklung mit eigenem Modeling-Code. Die Karte weist ausdrücklich darauf hin, dass die GGUF-Konvertierung einen Build voraussetzt, der sie versteht — und dass man das gegen den echten Checkpoint prüfen soll.
2. Ollama wendet das mitgelieferte Chat-Template nicht an. Es nutzt Go-Templates und ignoriert das im GGUF eingebettete Jinja-Template. Ohne selbst geschriebenes Modelfile hat das Modell keine saubere Rollenstruktur. Das vom Projekt vorgeschlagene Go-Template lässt Tool-Calling bewusst weg und schließt den Denkblock direkt mit <think></think>, damit die Antwort nicht in der Reasoning-Spur landet.
3. Für Function Calling brauchen Sie llama-server mit --jinja oder gleich vLLM, für das eine FP8-Quantisierung bereitsteht.

Ab einer Handvoll paralleler Nutzer ist vLLM ohnehin der richtige Weg — die Einrichtung steht in der vLLM-Anleitung für den Mittelstand. Für den Einzelplatz-Test reicht Ollama unter Ubuntu.

Der Zehn-Aufgaben-Test mit Ihren eigenen Dokumenten

Ein halber Tag Arbeit, und Sie brauchen für diese Entscheidung nie wieder ein fremdes Benchmark-Ranking. Nehmen Sie zehn Aufgaben aus dem echten Alltag — nicht ausgedacht, sondern kopiert aus dem, was Ihre Leute diese Woche gemacht haben:

1. Sechsseitiges Angebot auf fünf Sätze zusammenfassen, Preise korrekt.
2. Absatz aus einer technischen Doku für einen Einkäufer erklären.
3. Absage an einen Lieferanten formulieren, höflich, ohne Rechtsrisiko.
4. Aus einem Wartungsprotokoll die drei relevanten Auffälligkeiten ziehen.
5. Englischen Herstellertext eindeutschen, Fachbegriffe erhalten.
6. Kunden-E-Mail mit zwei Fragen und einer Beschwerde beantworten.
7. Aus einer Tabelle als Text eine Auswertung in drei Sätzen.
8. Arbeitsanweisung in einfaches Deutsch für die Produktion bringen.
9. Prüfzeugnis gegen eine Checkliste auf Vollständigkeit prüfen.
10. Serienbrief-Entwurf, Anrede und Konjunktiv korrekt.

Jede Aufgabe geht identisch an alle drei Modelle. Temperatur fest auf 0,2, fester Seed, gleiche Reihenfolge — sonst vergleichen Sie Zufall. ollama run hat keinen Temperatur-Schalter, deshalb geht das Skript über die HTTP-API; gebraucht werden curl und jq.

# Jede Aufgabe liegt als eigene Datei in prompts/ (aufgabe-01.txt ... aufgabe-10.txt)
mkdir -p ergebnisse
i=0
for m in qwen3.5:35b llama3.3:70b soofi-s-instruct; do
  i=$((i+1))
  echo "modell-$i = $m" >> zuordnung-erst-nach-der-bewertung-oeffnen.txt
  for f in prompts/aufgabe-*.txt; do
    n=$(basename "$f" .txt)
    jq -Rs --arg model "$m" '{model:$model,prompt:.,stream:false,options:{temperature:0.2,seed:42}}' "$f" \
      | curl -s http://localhost:11434/api/generate -d @- \
      | jq -r '.response' > "ergebnisse/modell-${i}_${n}.md"
  done
done

Die Ergebnisdateien heißen modell-1 bis modell-3, nicht nach dem Modell. Das ist kein Detail, sondern der Grund, warum der Test etwas wert ist — dazu gleich mehr.

Bewertet wird nach vier Kriterien mit je 0 bis 2 Punkten: sachliche Richtigkeit, Vollständigkeit gegenüber der Quelle, sprachliche Angemessenheit für den Empfänger, Nacharbeitsaufwand. Maximal 80 Punkte pro Modell.

Zwei Regeln, ohne die der Test nichts wert ist. Erstens: Bewerten dürfen die Leute, die diese Texte sonst schreiben — nicht die IT. Zweitens: blind. Deshalb die Zuordnungsdatei, die erst nach der Bewertung geöffnet wird. Sonst gewinnt das Modell, über das der Prüfer vorher am meisten gelesen hat, und Sie haben einen halben Tag lang eine Erwartungshaltung gemessen.

In der Praxis fällt die Entscheidung meist bei Aufgabe 3, 6 und 10 — dort, wo es um Register und Höflichkeitsform geht und aggregierte Benchmarks blind sind.

Unsere Empfehlung nach Anwendungsfall

Interner Chat-Assistent und RAG über deutsche Dokumente, produktiv, heute: Qwen3.5 35B-A3B. Apache 2.0, offizieller Tag, die höchsten Deutsch-Mittelwerte im Vergleichsfeld. Das ist ausdrücklich keine Begeisterung für das bessere Modell, sondern für die kürzere Lieferkette: Sie ziehen einen Tag und sind in zehn Minuten produktiv, statt einen llama.cpp-Build zu betreuen. Wer politische Bedenken bei einem chinesischen Modell hat: Die Gewichte laufen bei Ihnen im Haus, es telefoniert niemand nach Hangzhou. Dieselbe Frage haben wir für DeepSeek V3 on-premise einmal komplett durchdekliniert.

Sehr lange Dokumente, viele gleichzeitige Nutzer: Soofi S auf einer Testmaschine evaluieren, mit dem Zehn-Aufgaben-Test. Der Mamba-Anteil ist genau für dieses Profil gebaut — und wenn die finale Lizenz kommt, wollen Sie die Messwerte schon haben.

Fine-Tuning auf eigene Fachsprache: Llama 3.3 70B. Nicht weil das Modell besser wäre, sondern weil das Ökosystem an Trainings-Rezepten und LoRA-Adaptern um Llama herum immer noch das größte ist. Rechnen Sie die 43 GB und den Strom vorher durch — die laufende Kostenrechnung für KI-Server zeigt, wie schnell sich ein dichtes 70B-Modell im Betrieb bemerkbar macht.

Sie brauchen es diesen Monat und haben keine GPU: Dann ist die Modellwahl nicht Ihr Engpass. Der Vergleich self-hosted gegen Cloud ist die Frage, die vorher drankommt.

Wo Soofi S als junges Modell Risiken trägt

Die Toolchain ist nicht fertig. Eine Eigenarchitektur bedeutet, dass jedes Update von llama.cpp, vLLM oder Ollama etwas kaputt machen kann, was bei Llama- und Qwen-Architekturen längst in der Regressionsprüfung steckt. Wer niemanden hat, der einen llama.cpp-Build selbst zieht, sollte warten.

Die Community ist klein. Für Qwen und Llama finden Sie zu fast jedem Fehler einen GitHub-Issue. Für Soofi S finden Sie das Paper.

Die Faktenkapazität ist begrenzt. 3,2 Milliarden aktive Parameter tragen weniger Weltwissen als ein dichtes 27B-Modell. Für RAG ist das kaum relevant — dort kommt das Wissen aus Ihren Dokumenten. Beim freien Fragen ohne Kontext merkt man es.

Und der Langzeit-Support hängt an einer Förderung. Öffentliche Fördermittel haben ein Ende, und was mit größeren Soofi-Modellen passiert, wenn die Förderperiode ausläuft, steht öffentlich nirgends. Kein Argument gegen eine Evaluation — aber eines dagegen, eine Fünfjahresarchitektur darauf zu bauen.

Trotzdem, und hier beziehen wir klar Position: Dass ein deutsches Konsortium ein Modell auf bis zu 512 B200 in München trainiert und dabei das Daten-Accounting bis auf 1,3 Prozent kommerzielles Korpus offenlegt, ist substanzieller als alles, was europäische Souveränitätsprojekte bisher geliefert haben. Der bisherige europäische Vorzeigekandidat Apertus 70B liegt bei mehr als doppelter Größe in beiden Sprachaggregaten hinter Soofi S und beim Code (30,2 auf HumanEval) faktisch außer Konkurrenz. Wer "europäisches Modell" sagt und Apertus meint, ist nicht auf dem Stand. Wir behalten Soofi S im Auge — und würden die Einschätzung sofort revidieren, wenn die versprochene permissive Lizenz bis Jahresende nicht kommt.

FAQ

Was kostet der Betrieb eines deutschen LLM im eigenen Haus?

Der wesentliche Posten ist die GPU: 24 GB reichen für ein 30B-MoE in Q4 gerade so, für Qwen3.5 35B planen Sie 32 GB. Preise nennen wir hier bewusst nicht, weil sie 2026 stark schwanken und ein Teil des Angebots über den Gebrauchtmarkt läuft — welche Karte welche Klasse abdeckt, steht im KI-Server-Hardwareguide. Der Strom lässt sich dagegen offen rechnen: 300 Watt Dauerlast × 8.760 Stunden = 2.628 kWh im Jahr, bei 0,27 EUR/kWh rund 710 EUR. Ein dichtes 70B-Modell verdoppelt Karte und Verbrauch.

Ist Soofi S besser im Deutschen als Qwen3.5?

Nach den Zahlen des Soofi-Technical-Reports nicht ganz: Qwen3.5 35B-A3B hält mit 87,6 gegenüber 85,3 das höhere deutsche Aggregat und liegt bei Mathematik deutlich vorn (Minerva MATH-DE 76,5 gegen 56,0). Soofi S gewinnt dafür beide Code-Benchmarks, darunter MBPP-DE mit 84,2 gegen 79,0. Im Feld der vollständig offenen Modelle führt Soofi S klar — vor Apertus 70B (79,4) und Olmo 3 32B (74,7).

Darf ich Llama-Modelle als deutsches Unternehmen kommerziell nutzen?

Llama 3.3 70B ja — reines Textmodell, die EU-Ausschlussklausel greift nicht, und die 700-Millionen-Nutzer-Schwelle der Community License ist für Mittelständler ohne Bedeutung. Auch Ausgaben zum Training eigener Modelle zu verwenden ist seit Llama 3.1 erlaubt; verlangt wird nur "Llama" im Namen eines weitergegebenen Ergebnismodells. Llama 4 nein: Die Lizenz räumt Unternehmen mit Hauptsitz in der EU die Rechte an multimodalen Modellen ausdrücklich nicht ein, und in dieser Familie sind alle Modelle multimodal.

Wie viel VRAM braucht ein 30B-MoE-Modell wirklich?

So viel wie ein dichtes 30B-Modell: Der Speicher richtet sich nach der Gesamtparameterzahl, nicht nach den aktiven. Alle Experten müssen im VRAM liegen, weil der Router pro Token andere auswählt. Bei Soofi S in Q4_K_M sind das rund 21 GB für die Gewichte, plus 1 bis 3 GB Laufzeit-Overhead und den KV-Cache für Ihre Kontextlänge. Die 3,2 Milliarden aktiven Parameter senken nur die Rechenlast pro Token — der Vorteil der Mixture-of-Experts-Architektur liegt im Durchsatz, nicht im Speicherbedarf.

Kann ich Soofi S schon über Ollama herunterladen?

Nicht über die offizielle Ollama-Bibliothek. Es gibt GGUF-Dateien in den gated Repositories des Soofi-Projekts auf Hugging Face, die Sie nach Freischaltung manuell einbinden können. Dabei müssen Sie ein eigenes Modelfile schreiben, weil Ollama das im GGUF eingebettete Jinja-Chat-Template nicht anwendet — Tool-Calling fehlt auf diesem Weg.

Nächster Schritt

Rechnen Sie zuerst die Maschine durch, auf der das Modell laufen soll — die Modellwahl lässt sich in zehn Minuten ändern, die GPU nicht. Der KI-Kosten-Kalkulator liefert Hardware, Strom und Betrieb in einer Aufstellung, die Sie in die Geschäftsführung mitnehmen können.