KI-Kosten pro Kostenstelle: die Einrichtung, die vor der ersten Rechnung stehen sollte

TL;DR

Ohne Zuordnung landet die Modellrechnung als Sammelposten in der IT — und wird in der nächsten Budgetrunde gekürzt, weil niemand ihren Nutzen belegen kann. Ein Gateway löst das mit drei Bausteinen: ein Schlüssel je Anwendung, Teams je Kostenstelle, harte Obergrenzen. Aufwand: ein Tag.

Warum das ein Controlling- und kein Technikthema ist

Die IT bekommt eine Rechnung über 2.400 Euro für Modellnutzung. Auf die Frage, wofür, lautet die Antwort "für KI". In der nächsten Budgetrunde steht dieser Posten zur Diskussion, und er hat keine Fürsprecher — weil kein Fachbereich ihn als seinen erkennt.

Dieselben 2.400 Euro, aufgeteilt auf 900 Euro Angebotserstellung im Vertrieb, 800 Euro technische Dokumentation, 500 Euro Qualitätswesen und 200 Euro Rest, sind eine völlig andere Diskussion. Jeder Posten hat einen Besitzer, der weiß, was er dafür bekommt.

Das ist der eigentliche Grund für Kostenverfolgung. Die Kostenkontrolle im engeren Sinn — Ausreißer verhindern — ist der zweite, kleinere Nutzen.

Die drei Bausteine

Ein Schlüssel je Anwendung, nicht je Person. Der häufigste Fehler ist ein gemeinsamer Schlüssel für alles. Der zweithäufigste ist einer pro Mitarbeiter, was die Verwaltung erschlägt. Richtig ist: pro Anwendung oder pro Anwendungsfall. Die Chat-Oberfläche bekommt einen, die Angebotsprüfung einen, jeder Automatisierungsablauf einen.

Teams als Abbildung der Kostenstellen. Jeder Schlüssel gehört zu einem Team, jedes Team zu einer Kostenstelle. Damit ist die Auswertung eine Gruppierung, keine Detektivarbeit.

Harte Obergrenzen, nicht nur Warnungen. Eine Warnung bei 80 Prozent ist gut. Eine Grenze bei 100 Prozent ist besser, weil sie den Fall abfängt, den niemand einplant: eine Schleife in einem Ablauf, die über ein Wochenende läuft.

Die Einrichtung in LiteLLM

# Team je Kostenstelle, mit Monatsbudget
curl -X POST https://gateway.intern/team/new \
  -H "Authorization: Bearer $MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "team_alias": "vertrieb",
    "metadata": {"kostenstelle": "4100"},
    "max_budget": 400,
    "budget_duration": "30d",
    "models": ["standard", "vertraulich"]
  }'

# Schlüssel je Anwendungsfall innerhalb des Teams
curl -X POST https://gateway.intern/key/generate \
  -H "Authorization: Bearer $MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "team_id": "<TEAM-ID>",
    "key_alias": "angebotspruefung",
    "max_budget": 150,
    "budget_duration": "30d",
    "rpm_limit": 60
  }'

Drei Parameter, die man bewusst setzen sollte:

models begrenzt, welche Modelle ein Team überhaupt ansprechen darf. Das ist mehr als Kostenkontrolle: Wenn die Personalabteilung nur vertraulich nutzen darf — also das lokal betriebene Modell —, ist die Datenschutzfrage architektonisch gelöst statt per Richtlinie.

rpm_limit fängt Schleifen ab, bevor das Budget sie abfängt. 60 Anfragen pro Minute sind für einen menschlichen Nutzer unerreichbar und für einen amoklaufenden Ablauf eine wirksame Bremse.

budget_duration auf 30d bedeutet ein rollierendes Fenster, nicht den Kalendermonat. Wenn Ihr Controlling in Kalendermonaten denkt, setzen Sie es entsprechend und stimmen Sie den Zurücksetzungstermin ab — sonst erklären Sie jeden Monat, warum die Zahlen nicht zusammenpassen.

Auswertung: die Abfrage, die Sie brauchen

LiteLLM schreibt jede Anfrage mit Kosten in PostgreSQL. Die Auswertung ist damit SQL, kein Werkzeugkauf:

-- Verbrauch je Kostenstelle und Modell, laufender Monat
SELECT
    t.team_alias                        AS abteilung,
    t.metadata->>'kostenstelle'         AS kostenstelle,
    s.model,
    count(*)                            AS anfragen,
    round(sum(s.spend)::numeric, 2)     AS kosten_eur
FROM "LiteLLM_SpendLogs" s
JOIN "LiteLLM_TeamTable" t ON t.team_id = s.team_id
WHERE s."startTime" >= date_trunc('month', now())
GROUP BY 1, 2, 3
ORDER BY kosten_eur DESC;

Diese eine Abfrage, monatlich als CSV an das Controlling, erledigt die gesamte Anforderung. Es braucht kein Auswertungswerkzeug und kein Dashboard, jedenfalls nicht am Anfang.

Ein Detail, das später zählt: Die Kostenspalte wird vom Gateway anhand hinterlegter Preistabellen berechnet. Prüfen Sie einmal im Quartal gegen die tatsächliche Anbieterrechnung. Abweichungen entstehen durch geänderte Preise, Rabattstufen und Wechselkurse — meist im niedrigen einstelligen Prozentbereich, aber Sie sollten wissen, ob Ihre Zahlen fünf Prozent daneben liegen.

Was Sie mit den Zahlen dann tun

Der interessante Teil kommt nach der ersten Auswertung, und er hat wenig mit Sparen zu tun.

Sie sehen, welcher Anwendungsfall wirklich genutzt wird. In fast jeder Installation gibt es einen Fall, der beim Start als Nebensache galt und nach drei Monaten die Hälfte des Verbrauchs ausmacht. Das ist die Anwendung, in die weiter investiert werden sollte.

Sie sehen die Ausreißer. Ein Team mit 40 Anfragen und 180 Euro Verbrauch hat ein Problem — meist einen zu großen Kontext. Eine Anfrage, die 60.000 Token Eingabe schickt, weil jemand den gesamten Dokumentenbestand mitgibt statt gezielt abzurufen, kostet das Zwanzigfache einer sauber gebauten.

Sie können günstiger routen. Wenn Sie sehen, dass 60 Prozent des Verbrauchs auf Zusammenfassungen entfällt, ist das der Kandidat für ein kleineres oder lokales Modell. Der Weg dorthin steht im Beitrag zum Modellwechsel über das Gateway.

Der Posten, der in keiner Gateway-Auswertung steht

Damit die Zahlen nicht in die Irre führen: Die Modellkosten sind bei einer mittelständischen Installation selten der größte Posten. In der Kostenrechnung für 1.000 Mitarbeiter sind es rund 18.000 Euro im Jahr gegenüber 45.000 bis 63.000 Euro Personalkosten für den Betrieb.

Wer die Modellrechnung optimiert und dabei einen halben Personentag pro Monat verbraucht, hat ein schlechtes Geschäft gemacht. Die Kostenzuordnung ist wertvoll, weil sie Anwendungsfälle sichtbar macht — nicht weil sie die größte Sparposition betrifft.

Häufig gestellte Fragen

Wie ordne ich KI-Kosten einzelnen Abteilungen zu?

Über ein Gateway, das je Anwendungsfall einen eigenen Schlüssel ausgibt und diese Schlüssel zu Teams gruppiert, die den Kostenstellen entsprechen. Jede Anfrage wird mit Schlüssel, Team und berechneten Kosten protokolliert, sodass die monatliche Auswertung eine einfache Gruppierung ist. Ohne Gateway ist eine verursachungsgerechte Zuordnung praktisch nicht möglich.

Was passiert, wenn ein Team sein Budget aufgebraucht hat?

Bei einer harten Obergrenze weist das Gateway weitere Anfragen mit einem Fehler ab. Das ist gewollt und sollte den Anwendern vorher kommuniziert werden, damit die Fehlermeldung nicht als Ausfall wahrgenommen wird. Praktikabel ist eine Warnung bei 80 Prozent an einen benannten Verantwortlichen, der die Grenze bei Bedarf anhebt.

Sind die vom Gateway berechneten Kosten exakt?

Sie sind eine Schätzung anhand hinterlegter Preistabellen und liegen in der Regel im niedrigen einstelligen Prozentbereich neben der tatsächlichen Anbieterrechnung. Abweichungen entstehen durch Preisänderungen, Rabattstufen und Wechselkurse. Gleichen Sie einmal im Quartal gegen die echte Rechnung ab, damit Sie die Größe der Abweichung kennen.

Wie verhindere ich, dass ein fehlerhafter Ablauf das Budget verbraucht?

Über eine Ratenbegrenzung zusätzlich zum Budget. Eine Obergrenze von etwa 60 Anfragen pro Minute je Schlüssel ist für menschliche Nutzung unerreichbar und bremst eine Schleife wirksam, bevor sie über ein Wochenende ein Monatsbudget aufbraucht. Budget und Ratenbegrenzung ergänzen sich — eines allein reicht nicht.

Lohnt sich die Kostenverfolgung bei kleinen Beträgen?

Ja, aber nicht wegen der Beträge. Der Nutzen liegt darin zu sehen, welcher Anwendungsfall tatsächlich genutzt wird — das ist die Grundlage für die Entscheidung, wo weiter investiert wird. Bei einer Installation mit wenigen hundert Euro Monatsverbrauch ist die Modellrechnung ohnehin nicht der relevante Kostenblock; das sind die Personalkosten für den Betrieb.

Der nächste Schritt

Richten Sie ein Team je Kostenstelle und einen Schlüssel je Anwendungsfall ein, bevor die zweite Anwendung produktiv geht. Nachträglich zuzuordnen ist deutlich mühsamer, weil die historischen Daten dann keinen Bezug tragen. Ein Tag Arbeit, der sich in der ersten Budgetrunde bezahlt macht. Wir richten das gern mit ein.