Offene Modelle gegen die geschlossene Spitze: der ehrliche Stand

TL;DR

Bei Aufgaben, die im Mittelstand tatsächlich anfallen — Zusammenfassen, Formulieren, Fragen zu eigenen Dokumenten — ist der Abstand zwischen offenen und geschlossenen Spitzenmodellen praktisch verschwunden. Er besteht weiter bei langen mehrstufigen Aufgaben, bei komplexem Schließen und bei der Zuverlässigkeit strukturierter Ausgaben. Nur: Die meisten Häuser scheitern nicht daran.

Warum dieser Vergleich meist unehrlich geführt wird

Von beiden Seiten.

Die eine Seite zeigt Benchmarkwerte, in denen ein offenes Modell ein geschlossenes schlägt, und leitet daraus ab, man brauche keine kommerziellen Anbieter mehr. Diese Werte beziehen sich fast immer auf eng abgegrenzte Aufgaben und werden mit optimierten Aufrufen erzielt, die im Alltag niemand so verwendet.

Die andere Seite verweist auf die Führung geschlossener Modelle in allgemeinen Ranglisten und leitet daraus ab, alles andere sei Spielerei. Diese Ranglisten messen ebenfalls nicht das, was Ihre Anwender tun.

Was beide Seiten weglassen: In einem Unternehmensaufbau ist das Modell selten der begrenzende Faktor. Wenn Ihr Abruf die falschen Dokumentabschnitte liefert, gibt auch das beste Modell der Welt eine falsche Antwort — nur eloquenter.

Wo der Abstand praktisch verschwunden ist

Aus Projekten, in denen wir beides an denselben Aufgaben gemessen haben:

Zusammenfassen deutscher Fachtexte. Prüfprotokolle, Besprechungsnotizen, Reklamationsschreiben. Ein gutes offenes Modell der 30B-Klasse liefert Ergebnisse, die Fachanwender in Blindtests nicht zuverlässig von denen eines Spitzenmodells unterscheiden.

Fragen zu abgerufenen Dokumenten beantworten. Der Kern jeder RAG-Anwendung. Wenn die richtigen Abschnitte im Kontext liegen, ist die Aufgabe für beide Klassen einfach. Wenn sie es nicht sind, scheitern beide.

Textformulierung nach Vorlage. Angebotstexte, Antwortentwürfe, Produktbeschreibungen.

Klassifikation und Extraktion. Kategorien zuordnen, Werte aus Text ziehen. Hier gewinnen häufig sogar kleinere Modelle, weil sie sich schneller und günstiger für die konkrete Aufgabe nachschärfen lassen.

Wo der Abstand real bleibt

Und das sollte man nicht kleinreden:

Lange mehrstufige Aufgaben. Ein Ablauf über zwanzig Schritte, bei dem das Modell den Zusammenhang halten, Zwischenergebnisse prüfen und bei Fehlern umplanen muss. Hier führen die geschlossenen Spitzenmodelle deutlich, und der Abstand ist im Alltag spürbar.

Verlässlichkeit strukturierter Ausgaben. Wenn ein Modell zwingend gültiges JSON nach einem vorgegebenen Schema liefern muss, ist die Fehlerquote bei offenen Modellen höher. Das lässt sich technisch erzwingen — vLLM kann Ausgaben gegen ein Schema einschränken —, aber es ist zusätzliche Arbeit.

Komplexes Schließen über mehrere Bedingungen. "Wenn Klausel A gilt und Anlage B nicht unterschrieben ist, dann folgt daraus…" Bei verschachtelten Bedingungen bleibt ein Qualitätsunterschied.

Werkzeugaufrufe in dichter Folge. Agenten, die viele Werkzeuge in kurzer Abfolge korrekt auswählen und parametrisieren müssen.

Die Frage, die Sie stattdessen stellen sollten

Nicht "welches Modell ist besser", sondern: Woran scheitert unser System heute?

In den Installationen, die wir übernehmen, verteilt sich das ungefähr so:

• Die falschen Dokumentabschnitte werden abgerufen — der mit Abstand häufigste Fall
• Die Dokumente selbst sind veraltet oder widersprüchlich
• Berechtigungen fehlen, deshalb ist die halbe Antwortgrundlage nicht im Index
• Die Frage ist mehrdeutig und niemand hat das System gelehrt, nachzufragen
• Das Modell ist zu schwach

Der letzte Punkt kommt vor, aber er ist selten die erste Ursache. Wer ein größeres Modell einsetzt, ohne den Abruf gemessen zu haben, kauft eine teurere Antwort auf dieselbe falsche Grundlage. Wie Sie das auseinanderhalten, steht im Beitrag zur Messung der RAG-Qualität.

Der Aufbau, den wir empfehlen

Kein Entweder-oder. Ein Gateway mit zwei bis drei logischen Modellnamen:

model_list:
  # Der Alltag: lokales Modell, keine Verbrauchskosten, Daten bleiben im Haus
  - model_name: standard
    litellm_params:
      model: openai/qwen3-30b-a3b
      api_base: http://vllm.intern:8000/v1

  # Vertrauliches: erzwungen lokal, kein Ausweichen nach außen
  - model_name: vertraulich
    litellm_params:
      model: openai/qwen3-30b-a3b
      api_base: http://vllm.intern:8000/v1

  # Das Schwierige: geschlossenes Spitzenmodell, bewusst und begrenzt
  - model_name: anspruchsvoll
    litellm_params:
      model: azure/<ihr-deployment>
      api_base: https://ihre-instanz.openai.azure.com

Die Anwendung wählt den Namen, nicht den Anbieter. Damit können Sie den Anteil verschieben, ohne Code anzufassen — und Sie können messen, wie viel Prozent Ihrer Anfragen tatsächlich das teure Modell brauchen. In den meisten Häusern sind das weniger als 15 Prozent.

Wie die Entkopplung technisch funktioniert, steht im Beitrag zum Modellwechsel ohne Neuentwicklung.

Was in einem Jahr anders sein wird

Eine Einschätzung mit mittlerer Konfidenz, weil das Feld sich schnell bewegt.

Der Abstand bei den oben genannten Alltagsaufgaben ist bereits geschlossen und wird sich nicht wieder öffnen. Der Abstand bei langen mehrstufigen Aufgaben schließt sich gerade — genau darauf zielen die neueren offenen Spitzenmodelle ausdrücklich ab.

Was sich nicht ändert: Die offenen Modelle an der Spitze brauchen vier bis acht GPU-Karten. Der Fortschritt, der für den Mittelstand tatsächlich zählt, findet in der 30B-Klasse statt — dort, wo ein Modell auf eine Karte passt. Und dort ist die Entwicklung in den letzten anderthalb Jahren erheblich gewesen.

Deshalb unsere Position: Bauen Sie Ihre Architektur so, dass der Modellwechsel eine Konfigurationsänderung ist. Dann profitieren Sie von jedem Fortschritt, ohne ihn vorhersagen zu müssen.

Häufig gestellte Fragen

Sind offene Modelle inzwischen so gut wie kommerzielle Spitzenmodelle?

Bei den Aufgaben, die im Unternehmensalltag überwiegen — Zusammenfassen, Formulieren, Fragen zu abgerufenen Dokumenten — ist der Unterschied für Anwender praktisch nicht mehr erkennbar. Bei langen mehrstufigen Aufgaben, komplexem Schließen und der Zuverlässigkeit strukturierter Ausgaben besteht weiterhin ein spürbarer Abstand.

Woran scheitern KI-Systeme im Unternehmen am häufigsten?

Am Abruf, nicht am Modell. Wenn die falschen Dokumentabschnitte im Kontext landen, gibt auch ein Spitzenmodell eine falsche Antwort — nur überzeugender formuliert. Messen Sie deshalb Wiederfindung und Genauigkeit im Abruf getrennt von der Antwortqualität, bevor Sie über einen Modellwechsel nachdenken.

Wie viel Prozent der Anfragen brauchen wirklich ein Spitzenmodell?

In den Installationen, die wir messen, meist unter 15 Prozent. Der Rest wird von einem gut angebundenen Modell der 30B-Klasse ebenso gut bedient. Die Verteilung lässt sich nur mit einem Gateway ermitteln, das beide Wege anbietet und den Verbrauch je logischem Modellnamen protokolliert.

Kann ein offenes Modell zuverlässig strukturierte Ausgaben liefern?

Mit technischer Unterstützung ja. Inferenzserver wie vLLM können die Ausgabe gegen ein vorgegebenes Schema einschränken, sodass ungültige Antworten gar nicht erst entstehen können. Ohne diese Einschränkung ist die Fehlerquote bei offenen Modellen höher als bei kommerziellen Spitzenmodellen — planen Sie den Zusatzaufwand ein.

Lohnt es sich, auf bessere offene Modelle zu warten?

Nein, weil die Architektur wichtiger ist als das Modell. Wenn Ihr Aufbau den Modellwechsel zu einer Konfigurationsänderung macht, profitieren Sie automatisch von jedem Fortschritt. Wer wartet, verliert die Zeit, in der die eigentlich aufwendigen Teile — Datenanbindung, Berechtigungen, Abrufqualität — hätten entstehen können.

Der nächste Schritt

Nehmen Sie zwanzig echte Anfragen aus Ihrem System und lassen Sie sie von beiden Modellklassen beantworten. Legen Sie die Ergebnisse ohne Kennzeichnung jemandem aus der Fachabteilung vor. Wenn die Zuordnung nicht besser als geraten gelingt, ist Ihre Modellfrage beantwortet. Beim Aufbau des Vergleichs helfen wir gern.