Soofi S lokal betreiben: der VRAM-Bedarf, den die Aktivparameter verschweigen

TL;DR

Soofi S aktiviert nur 3,2 der 31,6 Milliarden Parameter pro Token — im VRAM liegen müssen trotzdem alle. Die offizielle Q5-Quantisierung wiegt 26,0 GB, also 24,3 GiB Grafikspeicher; Q8 kommt auf 33,6 GB beziehungsweise 31,3 GiB. Praktisch heißt das: eine 32-GB-Karte für einen Nutzer, 48 GB für ein kleines Team. Q8 sprengt eine 32-GB-Karte und braucht 48. Unter 32 GB gibt es derzeit kein GGUF, das hineinpasst.

Der Denkfehler, der 3.000 Euro Fehlkauf kostet

"3,2 Milliarden aktive Parameter — dann reicht doch eine 16-GB-Karte." Diesen Satz haben wir in den drei Wochen seit der Veröffentlichung mehrfach gehört, und er ist der teuerste Irrtum rund um Mixture-of-Experts-Modelle.

Die Architektur von Soofi S besteht aus 52 Schichten. In jeder MoE-Schicht sitzen 128 geroutete Experten plus 2 geteilte; pro Token werden davon 6 aktiviert. Welche 6, entscheidet ein Router — für jedes einzelne Token neu. Es gibt keine Vorhersage, welcher Experte beim nächsten Token dran ist. Also müssen alle 128 abrufbereit im Speicher liegen.

Die Trennlinie verläuft damit sauber zwischen zwei Größen, die ständig verwechselt werden:

• Aktive Parameter (3,2 Mrd.) bestimmen, wie viel Rechenarbeit und wie viel Speicherbandbreite pro Token anfällt. Sie sind der Grund, warum Soofi S schnell ist.
• Gesamtparameter (31,6 Mrd.) bestimmen, wie viel Speicher belegt wird. Sie sind der Grund, warum Soofi S teuer in der Hardware ist.

Ein MoE-Modell kauft Geschwindigkeit mit Speicher ein. Das ist der ganze Deal. Wer nach den aktiven Parametern budgetiert, liegt um den Faktor zehn daneben: Ein dichtes 3,2B-Modell in BF16 belegt 6,4 GB. Soofi S in BF16 belegt 63,2 GB.

Die Rechnung, offengelegt

Fangen wir nicht mit einer Faustformel an, sondern mit den tatsächlichen Dateigrößen aus dem offiziellen GGUF-Repository Soofi-Project/Soofi-S-Instruct-Preview-GGUF (Byte-Werte aus der Hugging-Face-API, abgerufen am 2. August 2026):

Zwei Dinge dazu, und beide werden regelmäßig übersehen.

Erstens die Gegenprobe: 63.181.504.384 Byte geteilt durch 31,6 Mrd. Parameter ergibt 1,9994 — also 2 Byte, genau BF16. Dateigröße und Parameterzahl stammen aus zwei verschiedenen Quellen (Repo-Listing und Tech-Report) und passen trotzdem auf drei Stellen zusammen. Das ist der Grund, warum wir hier mit gemessenen statt geschätzten Werten rechnen.

Zweitens die Einheit. Hugging Face zählt in Dezimal-Gigabyte, nvidia-smi und jedes GPU-Datenblatt zählen in Gibibyte. Der Umrechnungsfaktor ist 1,074, die GiB-Zahl liegt also 6,9 Prozent unter der GB-Zahl — und dieser Unterschied geht immer zu Ihren Gunsten: Die Q5-Datei heißt 26,0 GB, belegt aber nur 24,3 GiB auf der Karte. Wer die Dateigröße ungeprüft gegen die VRAM-Zahl im Datenblatt rechnet, veranschlagt sich systematisch zu knapp. In allen Rechnungen unten steht deshalb GiB.

Eine Q4_K_M-Variante mit rund 21 GB ist in der README-Tabelle des Repos beschrieben. Im Datei-Listing existiert sie nicht — das Repo enthält am 2. August genau die drei oben gelisteten Dateien, und die README weist den Q4-Wert selbst als Schätzung aus, weil einzelne Tensor-Spaltenmaße nicht durch 256 teilbar sind und die Quantisierung dort auf gröbere Typen zurückfällt. Wenn Sie Ihre Hardware auf 24 GB auslegen wollen: Im GGUF-Format gibt es derzeit nichts, was dort hineinpasst. Die kleinste verfügbare Datei braucht 24,3 GiB allein für die Gewichte.

Zur Dateigröße kommen zwei Posten dazu:

Framework-Overhead. CUDA-Kontext, Kernel, Aktivierungen. Bei llama.cpp mit einem Nutzer rechnen Sie mit 1 bis 2 GB. vLLM verhält sich anders: Es reserviert per --gpu-memory-utilization einen festen Anteil des Speichers im Voraus, standardmäßig 90 Prozent. Das ist kein Verbrauch, sondern eine Reservierung — sieht im nvidia-smi aber genauso aus und verwirrt bei der ersten Inbetriebnahme regelmäßig.

Cache für den Kontext. Und hier wird Soofi S interessant.

Was der Mamba-Anteil tatsächlich spart

Warum ist ein Hybridmodell bei langem Kontext günstiger als ein dichtes Modell derselben Größe? Weil der Speicher, der mit der Kontextlänge wächst, fast verschwindet.

Von den 52 Schichten führen nur 6 eine klassische Grouped-Query-Attention und damit einen KV-Cache, der linear mit jedem Token mitwächst. Die 23 Mamba-2-Schichten arbeiten stattdessen mit einem rekurrenten Zustand fester Größe. Ob Sie 4.000 oder 400.000 Token im Kontext haben, ändert an deren Speicherbedarf nichts.

Der praktische Effekt ist erheblich. Bei einem dichten 32B-Transformer mit 60 bis 64 Attention-Schichten kann der KV-Cache bei 100k Kontext und mehreren parallelen Anfragen zweistellige Gigabyte-Beträge fressen — oft mehr als die Gewichte selbst. Bei Soofi S tragen nur rund ein Neuntel der Schichten dazu bei.

Das Konsortium misst im Tech-Report (arXiv 2607.09424) für den Decode-Durchsatz 8- bis 9-fache Werte gegenüber dichten 14B- bis 24B-Modellen — bei 40.000 Token Kontext und Batch 32. Diese beiden Randbedingungen gehören dazu: Bei Batch 1 und kurzem Kontext schrumpft der Vorsprung deutlich, weil der KV-Cache dann bei niemandem weh tut. Die wichtigere Zahl ist ohnehin eine andere: ein von 4.000 bis 256.000 Token nahezu flacher Verlauf. Beides sind Herstellerangaben aus dem eigenen Report, keine unabhängige Messung. Plausibel sind sie trotzdem, weil sie direkt aus der Schichtstruktur folgen.

Für Sie heißt das konkret: Wenn Ihr Anwendungsfall lange Dokumente verarbeitet — Prüfberichte, Verträge, Normtexte, komplette Lastenhefte am Stück — dann ist der Speichervorteil gegenüber einem dichten Modell gleicher Größe das eigentliche Argument. Bei kurzen Chat-Anfragen mit 2.000 Token Kontext merken Sie davon nichts.

Läuft es überhaupt schon?

Teilweise. Und das ist die wichtigste Aussage dieses Artikels.

Zugang: Die Gewichte liegen als gated Preview auf Hugging Face. Sie müssen Kontaktdaten hinterlegen und zustimmen, bevor der Download startet. Der Betreiber bezeichnet den Stand selbst als Closed Beta mit ausgewählten Partnern.

llama.cpp: Soofi S bringt eigenen Modellcode mit. Der Hinweis im offiziellen GGUF-Repo ist unmissverständlich: Die Konvertierung setzt einen llama.cpp-Build voraus, der diese Hybrid-Architektur versteht, und man solle die Quantisierungen gegen den tatsächlichen Checkpoint prüfen, bevor man sich darauf verlässt. Wer eine Distributions-Version von vor Juli 2026 einsetzt, wird das Modell nicht laden können. Selbst kompilieren, aktueller Stand.

Ollama: Läuft, aber mit einer echten Einschränkung. Ollama verwendet Go-Templates und kann das mitgelieferte Jinja-Chat-Template des Modells nicht ausführen. Damit fallen die Logik für den Thinking-Schalter, das Kürzen der Reasoning-Historie und das native Tool-Calling-Format weg. Für einen einfachen Chat reicht das. Für einen Agenten mit Werkzeugaufrufen ist Ollama hier die schlechtere Wahl — nehmen Sie llama-server --jinja, das führt das eingebettete Template unverändert aus. Grundlagen zur Einrichtung stehen in unserer Ollama-Anleitung für Ubuntu.

vLLM und SGLang: Beide werden auf der Modellkarte als unterstützt geführt, für transformers ist trust_remote_code=True nötig. Eine Mindestversion nennt die Karte nicht. Rechnen Sie damit, dass Sie eine sehr aktuelle vLLM-Version brauchen. Wenn Sie mehrere Nutzer parallel bedienen wollen, führt am vLLM-Server ohnehin kein Weg vorbei.

Varianten: Neben Soofi-S-Instruct-Preview gibt es zwei Reasoning-Varianten namens Rhine und Isar, die explizite Denkschritte ausgeben, jeweils mit GGUF-, FP8- und EntQuant-Ablegern in 2, 3 und 4 Bit. Die EntQuant-Varianten wären der Weg auf eine 24-GB-Karte. Welche Laufzeitumgebung sie voraussetzen, konnten wir nicht abschließend klären — das ist kein GGUF, und ohne diese Antwort würden wir darauf keine Beschaffung stützen.

Wir raten davon ab, Soofi S heute in einen produktiven Prozess zu stellen. Nicht wegen der Modellqualität, sondern weil ein Closed-Beta-Checkpoint ohne finale Lizenz kein Fundament für einen Betriebsprozess ist.

Die Lizenzfrage: für den Mittelstand die erste, nicht die letzte

Direkte Antwort: Stand 2. August 2026 ist die kommerzielle Nutzbarkeit nicht geklärt.

Die Modellkarten führen eine "Other"-Lizenz mit dem Hinweis, das finale Modell werde offen unter einer permissiven Lizenz und ohne Zugangsbeschränkung erscheinen. Der Volltext stand zum Zeitpunkt der Veröffentlichung noch aus. Das ist eine Absichtserklärung, kein Vertrag.

Für ein Forschungsprojekt ist das unerheblich. Für einen Mittelständler, der ein Modell in ein Produkt einbaut oder auf Kundendaten loslässt, ist es ein Ausschlusskriterium — Ihre Rechtsabteilung wird "wird später permissiv" nicht abzeichnen. Bauen Sie den Prototyp, aber planen Sie keine Produktivsetzung, bevor der Lizenztext steht.

Immerhin: Das Projekt ist über IPCEI-CIS vom Bundesministerium für Wirtschaft und Energie mit rund 20 Millionen Euro gefördert und wird vom KI Bundesverband koordiniert. Im Konsortium sitzen unter anderem die Fraunhofer-Institute IAIS und IIS, das DFKI, die TU Darmstadt, die Universität Würzburg, das L3S Research Center, die Berliner Hochschule für Technik sowie die Unternehmen ellamind und Merantix Momentum. Trainiert wurde auf der Industrial AI Cloud der Deutschen Telekom in München. Eine Konstellation, bei der eine restriktive Lizenz politisch schwer zu begründen wäre.

Hardware in Stufen — mit der Rechnung dahinter

Erst nachsehen, was Sie haben:

# Verfügbarer Grafikspeicher pro Karte, in MiB
nvidia-smi --query-gpu=name,memory.total --format=csv

# Nach dem Laden: was belegt das Modell tatsächlich?
nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv -l 5

Stufe 1 — ein Nutzer, 32 GB VRAM. Q5_K_M belegt 24,3 GiB, dazu 1 bis 2 GiB Overhead: rund 26 GiB. Auf einer 32-GiB-Karte bleiben damit etwa 6 GiB für den Kontext-Cache — komfortabler, als die Dezimalzahl 26,0 GB vermuten lässt. Das ist unsere Empfehlung für den Einzelplatz.

Was auf 32 GB nicht geht, ist Q8_0: 31,3 GiB Gewichte plus Overhead sprengen die Karte, und zwar knapp genug, dass es beim ersten Test noch lädt und beim ersten langen Prompt abstürzt. Wer Q8 will, braucht 48 GB. Karten mit 32 GB liegen im deutschen Handel derzeit im niedrigen bis mittleren vierstelligen Bereich; die Straßenpreise schwanken stark, prüfen Sie den Tagespreis statt einer Zahl aus einem Blogartikel.

Stufe 2 — kleines Team, 48 GB VRAM. Q8_0 mit 31,3 GiB plus Overhead ergibt etwa 33 GiB, es bleiben rund 15 GiB für Cache und parallele Anfragen. Das ist die erste Konfiguration, die wir für eine Fachabteilung mit fünf bis fünfzehn Nutzern sinnvoll finden — und wenn Sie ohnehin auf 48 GB gehen, nehmen Sie Q8 und nicht Q5: Der Aufpreis ist zu diesem Zeitpunkt bereits bezahlt, der Qualitätsverlust von Q8 gegenüber BF16 praktisch null. Q5_K_M auf derselben Karte ergibt nur Sinn, wenn Sie den freigewordenen Speicher wirklich für sehr langen Kontext brauchen. Welche Karten dieser Klasse sich wie verhalten, steht im GPU-Vergleich für LLM-Inferenz.

Stufe 3 — 96 GB VRAM. Das unquantisierte BF16-Modell belegt 58,8 GiB und lässt damit rund 37 GiB frei — genug für sehr lange Kontexte und echtes Batching, ohne Qualitätsverlust durch Quantisierung. Preislich ist das eine andere Liga. Ehrlich gesagt: Für Soofi S allein lohnt diese Stufe heute nicht. Sie lohnt, wenn dieselbe Karte auch größere Modelle tragen soll.

Zwei 24-GB-Karten statt einer 48er? Rechnerisch dasselbe, praktisch nicht. Die Schichten werden aufgeteilt, und bei jedem Token wandern Aktivierungen über PCIe. Bei einem MoE mit ständig wechselnder Expertenauswahl ist das unangenehmer als bei einem dichten Modell. Machbar, aber nicht das, was wir jemandem empfehlen, der neu einsteigt. Wie sich Mehrkartenbetrieb sauber aufsetzen lässt, steht im Beitrag zum vLLM-Cluster mit mehreren GPUs.

Und Experten in den RAM auslagern? llama.cpp kann MoE-Expertentensoren gezielt auf die CPU legen. Weil pro Token nur ein Bruchteil der Experten angefasst wird, schmerzt das weniger als bei einem dichten Modell — aber es schmerzt. Für Tests brauchbar, für Produktivbetrieb nicht.

Zur Stromseite eine offene Überschlagsrechnung, ausdrücklich mit selbst gesetzten Annahmen: 300 Watt Dauerlast der Karte im 24/7-Betrieb sind 300 W × 8.760 h = 2.628 kWh im Jahr. Was das kostet, hängt allein an Ihrem Arbeitspreis, und der streut bei Gewerbekunden zu stark, als dass eine einzelne Zahl hier seriös wäre — nehmen Sie die aus Ihrer letzten Abrechnung. Zur Orientierung: 25 ct/kWh ergeben 657 Euro im Jahr, 30 ct/kWh ergeben 788 Euro. Nur für die Karte, ohne Restsystem, Netzteilverluste und Kühlung. Die vollständige Aufschlüsselung steht unter KI-Server Stromkosten rechnen.

Wer jetzt wechselt — und wer besser wartet

Unsere Empfehlung fällt in zwei klare Lager.

Jetzt einsteigen sollten Sie, wenn Sie ohnehin eine Karte mit 32 GB oder mehr betreiben und deutschsprachige Aufgaben mit langem Kontext haben — Normtexte, Prüfdokumentation, technische Handbücher. Der Speichervorteil bei langem Kontext ist real und strukturell begründet, nicht bloß behauptet. Und Sie sammeln jetzt Erfahrung, statt in sechs Monaten bei null anzufangen.

Warten sollten Sie, wenn Sie für Soofi S neue Hardware beschaffen müssten. Der Checkpoint ist Preview, die Lizenz offen, die Werkzeugkette teilweise experimentell. Wer heute eine GPU speziell für dieses Modell kauft, kauft zu früh — und die Karte wird nach Fertigstellung des Modells nicht schlechter, aber der Preis ist bis dahin womöglich ein anderer.

Ein weiterer Punkt gegen übereilte Euphorie: Mit rund 3,2 Milliarden aktiven Parametern ist die Kapazität für reines Faktenwissen begrenzt. Das ist kein Bug, sondern Architektur. Für RAG-Anwendungen, bei denen das Wissen aus Ihren Dokumenten kommt und das Modell hauptsächlich formulieren und schlussfolgern muss, spielt es kaum eine Rolle. Als Nachschlagewerk taugt Soofi S weniger als ein dichtes Modell vergleichbarer Gesamtgröße. Wer heute schon ein produktionsreifes offenes Modell auf eigener Hardware braucht, fährt vorerst mit den etablierten Alternativen besser — etwa den im Beitrag zu DeepSeek V3 On-Premise beschriebenen.

Was für Soofi S spricht, ist nicht der Benchmark. Es ist die Herkunft: Ein Modell, das in Deutschland trainiert wurde, dessen Datenherkunft dokumentiert ist und das explizit auf EU-AI-Act-Konformität hin gebaut wurde, löst in der Compliance-Diskussion Probleme, die kein amerikanisches oder chinesisches Modell löst. Wie sich das in eine On-Premise-Architektur einfügt, steht im Leitfaden zu KI ohne Cloud.

FAQ

Wie viel VRAM braucht Soofi S wirklich?

Zwischen 24 und 59 GiB reine Gewichte, je nach Quantisierung. Die offizielle Q5_K_M-Datei ist 26,0 GB groß und belegt 24,3 GiB Grafikspeicher, Q8_0 33,6 GB beziehungsweise 31,3 GiB, das unquantisierte BF16-Modell 63,2 GB beziehungsweise 58,8 GiB — dazu 1 bis 2 GiB Framework-Overhead und Speicher für den Kontext-Cache. Praktisch bedeutet das eine Karte mit mindestens 32 GB für einen einzelnen Nutzer und 48 GB für ein kleines Team. Achten Sie auf die Einheit: Dateigrößen werden in Dezimal-Gigabyte angegeben, VRAM in Gibibyte.

Warum braucht ein Modell mit 3,2 Milliarden aktiven Parametern so viel Speicher?

Weil bei einem Mixture-of-Experts-Modell die Gesamtgröße den Speicherbedarf bestimmt, nicht die aktiven Parameter. Ein Router wählt für jedes Token neu aus 128 Experten pro Schicht aus, also müssen alle im Grafikspeicher bereitliegen. Die aktiven Parameter bestimmen nur die Rechengeschwindigkeit und die pro Token gelesene Datenmenge.

Was kostet der Betrieb von Soofi S im eigenen Haus?

Die Hardware für 48 GB VRAM liegt im mittleren bis oberen vierstelligen Bereich, wobei GPU-Straßenpreise stark schwanken. Dazu kommt Strom: 300 Watt Dauerlast im 24/7-Betrieb ergeben 2.628 kWh im Jahr — je nach Arbeitspreis also grob 650 bis 800 Euro jährlich. Der größte Posten ist meist keiner davon, sondern Administrationszeit — vier bis acht Stunden im Monat sind nach unserer Erfahrung realistisch.

Soofi S oder ein dichtes 32B-Modell — was ist die bessere Wahl?

Bei kurzen Anfragen nimmt sich das wenig; ein dichtes Modell hat mehr Faktenwissen. Bei langem Kontext dreht sich das Bild: Nur 6 der 52 Schichten von Soofi S führen einen mitwachsenden KV-Cache, der Rest arbeitet mit Zuständen fester Größe. Wer Dokumente mit zehntausenden Token verarbeitet, spart dadurch erheblich Speicher und hält den Durchsatz stabil.

Läuft Soofi S in Ollama?

Ja, es gibt offizielle GGUF-Dateien. Ollama kann aber das mitgelieferte Jinja-Chat-Template nicht ausführen, weshalb der Thinking-Schalter und das native Tool-Calling-Format entfallen. Für einfachen Chatbetrieb reicht es; für Agenten mit Werkzeugaufrufen sollten Sie llama.cpp mit dem Schalter --jinja verwenden. Stand August 2026 wird zudem ein sehr aktueller Build vorausgesetzt, der die Hybrid-Architektur kennt.

Der nächste Schritt

Bevor Sie Hardware anfassen, klären Sie eine einzige Frage: Brauchen Sie langen Kontext? Wenn ja, ist Soofi S auf einer 48-GB-Karte einen ernsthaften Test wert. Wenn nein, gewinnt vorerst ein kleineres dichtes Modell — bei deutlich geringerem Speicherbedarf. Welche Karte zu welcher Modellgröße passt, steht im Guide zu KI-Server-Konfigurationen. Wenn Sie die Entscheidung lieber gegenprüfen lassen wollen: Sprechen Sie uns an.