Die Rechnung für ein RAG-System über 50.000 Dokumente

TL;DR

Der Aufbau kostet 45.000 bis 70.000 Euro, der laufende Betrieb 25.000 bis 40.000 Euro im Jahr. Die Technik macht davon weniger als ein Fünftel aus. Der dominierende Posten ist Arbeitszeit — vor allem im ersten halben Jahr, und vor allem an einer Stelle, die in Angeboten fast nie steht: der Bereinigung der Dokumentenlage.

Die Ausgangsgrößen

Damit die Rechnung nachvollziehbar bleibt, alle Annahmen offen. Ersetzen Sie sie durch Ihre eigenen.

Aufbau: die einmaligen Kosten

Dokumentenanalyse und Bereinigung — 15 bis 25 Personentage.

Das ist der Posten, den Angebote weglassen und der Projekte scheitern lässt. Bevor irgendetwas indexiert wird, muss geklärt sein: Welche Dokumente sind aktuell? Welche wurden ersetzt und nie gelöscht? Welche Fassung einer Arbeitsanweisung gilt?

In jedem Bestand, den wir gesehen haben, existieren mehrere Fassungen derselben Anweisung an verschiedenen Orten. Wenn Sie alle indexieren, beantwortet das System Fragen abwechselnd nach der gültigen und der veralteten Fassung — und niemand merkt, welche gerade dran war. Das ist gefährlicher als gar kein System.

Parsing und Ingestion-Pipeline — 10 bis 15 Personentage. Quellen anbinden, Berechtigungen übernehmen, Abschnittsbildung an der Dokumentstruktur, Zustandstabelle, Fehlerbehandlung. Bei 20 Prozent Scans kommt eine Weiche für die Texterkennung dazu — die Systematik steht im Vergleich der Dokumentenparser.

Erstindexierung — Rechenzeit plus Modellkosten. Bei 1,8 Millionen Abschnitten und einem Cloud-Einbettungsmodell landen Sie im niedrigen dreistelligen Eurobereich. Mit einem lokal betriebenen Einbettungsmodell entfallen die Kosten, dafür belegen Sie die GPU ein bis zwei Tage. Für die Texterkennung der gescannten Anteile über einen verwalteten Dienst rechnen Sie bei 120.000 Seiten mit einem vierstelligen Betrag.

Testsatz und Bewertung — 3 bis 5 Personentage. 50 bis 100 echte Fragen mit Referenzabschnitten. Ohne diesen Satz ist jede spätere Verbesserung eine Behauptung. Das Verfahren steht im Beitrag zur Messung der RAG-Qualität.

Oberfläche, Gateway, Berechtigungen — 5 bis 8 Personentage.

Betrieb: die laufenden Kosten

Der Inferenzposten schwankt stark mit der Modellwahl. Bei einem lokal betriebenen Modell entfällt er und wird durch Hardware- und Stromkosten ersetzt — die Systematik steht im Beitrag zu den Kosten je Million Token.

Der Personalposten dominiert, und das ist kein Rechenfehler. Was in diesen 0,25 bis 0,4 Vollzeitäquivalenten tatsächlich passiert:

• Fehlgeschlagene Dokumente aus dem Nachtlauf nacharbeiten
• Neue Dokumentarten anbinden, wenn eine Abteilung dazukommt
• Berechtigungsänderungen nachziehen
• Monatliche Qualitätsmessung und Nacharbeit
• Anwenderfragen beantworten, warum etwas nicht gefunden wird

Punkt fünf ist der zeitfressendste und der wertvollste — jede dieser Fragen zeigt eine Lücke im Abruf.

Wo Sie tatsächlich sparen können

Drei Hebel, in der Reihenfolge ihrer Wirkung:

Den Bestand verkleinern. 50.000 Dokumente sind selten 50.000 relevante Dokumente. In den Projekten, die wir begleiten, sind nach der Bereinigung 20 bis 40 Prozent übrig — der Rest ist veraltet, doppelt oder irrelevant. Das halbiert Parsing, Einbettung und Pflegeaufwand und verbessert gleichzeitig die Antwortqualität, weil weniger Widersprüche im Index stehen.

Bei einer Quelle anfangen. Nicht alle vier gleichzeitig. Die erste Quelle produktiv nehmen, messen, lernen, dann die zweite. Der Aufbau verteilt sich, und die Fehler der ersten Quelle wiederholen Sie in der zweiten nicht.

pgvector statt eigener Vektordatenbank, wenn PostgreSQL im Haus läuft. Bei 1,8 Millionen Abschnitten ist das leistungsmäßig unauffällig und spart einen Dienst mit eigenem Lebenszyklus. Die Abwägung steht im Vergleich der Vektorspeicher.

Wo Sie nicht sparen sollten: am Testsatz und an der Dokumentenbereinigung. Beide wirken wie Verwaltungsaufwand und sind die Posten, an denen die Qualität hängt.

Häufig gestellte Fragen

Was kostet der Aufbau eines RAG-Systems im Mittelstand?

Für einen Bestand von rund 50.000 Dokumenten aus mehreren Quellen: 42.000 bis 68.000 Euro einmalig, davon der Großteil Arbeitszeit. Die Technikkosten — Einbettung, Texterkennung, Hardware — machen weniger als ein Viertel aus. Der größte Einzelposten ist die Analyse und Bereinigung des Dokumentenbestands.

Warum ist die Dokumentenbereinigung so aufwendig?

Weil gewachsene Bestände regelmäßig mehrere Fassungen derselben Unterlage an verschiedenen Orten enthalten. Werden alle indexiert, beantwortet das System dieselbe Frage abwechselnd nach der gültigen und der überholten Fassung — ohne dass Nutzer das erkennen können. Diese Situation ist schlechter als kein System, deshalb steht die Bereinigung am Anfang.

Was kostet die Einbettung von 50.000 Dokumenten?

Bei rund 1,8 Millionen Abschnitten und einem Cloud-Einbettungsmodell liegt der erste vollständige Durchlauf im niedrigen dreistelligen Eurobereich. Anschließend fallen nur noch geänderte Dokumente an, also ein Bruchteil. Mit einem lokal betriebenen Einbettungsmodell entfallen diese Kosten vollständig, dafür ist die GPU ein bis zwei Tage belegt.

Wie viel Personal braucht der laufende Betrieb?

Für einen Bestand dieser Größe mit mehreren Quellen 0,25 bis 0,4 Vollzeitäquivalente. Das ist überwiegend keine Störungsbehebung, sondern laufende Pflege: fehlgeschlagene Dokumente nacharbeiten, neue Dokumentarten anbinden, Berechtigungen nachziehen und Anwenderfragen beantworten, warum etwas nicht gefunden wurde.

Lässt sich der Aufbau in Etappen finanzieren?

Ja, und wir empfehlen es ausdrücklich. Beginnen Sie mit einer Quelle und einem Fachbereich — das entspricht etwa einem Drittel des Gesamtaufwands und liefert nach acht bis zehn Wochen ein produktives Ergebnis. Die Erfahrungen aus dieser Etappe senken den Aufwand für die folgenden Quellen erheblich.

Der nächste Schritt

Lassen Sie zählen, wie viele Ihrer Dokumente in den letzten 24 Monaten geöffnet wurden. Diese Zahl ist Ihr realistischer Ausgangsbestand — meist ein Bruchteil der Gesamtmenge, und sie verändert die Rechnung erheblich. Bei der Bestandsaufnahme unterstützen wir gern.