LoRA-Feinabstimmung: der Fall, in dem sie hilft — und die vier, in denen nicht

TL;DR

Feinabstimmung bringt einem Modell keine Fakten bei, sondern eine Art zu antworten. Wer damit Unternehmenswissen einbauen will, hat das falsche Werkzeug gewählt — dafür ist RAG da. Sinnvoll ist sie bei Format, Ton und Fachsprache. Der Aufwand liegt fast vollständig in der Datenaufbereitung, nicht im Training.

Was Feinabstimmung tut und was nicht

Der häufigste Irrtum in Erstgesprächen: "Wir trainieren das Modell auf unsere Dokumente, dann kennt es unsere Prozesse."

So funktioniert es nicht. Feinabstimmung verschiebt das Verhalten eines Modells — welche Formulierungen es wählt, in welchem Format es antwortet, welche Begriffe es verwendet. Sie ist ein sehr ineffizienter Weg, Fakten einzuspeichern, und ein unzuverlässiger: Was das Modell nach dem Training über Ihre Prüfintervalle sagt, ist nicht überprüfbar und nicht aktualisierbar.

Ändert sich eine Arbeitsanweisung, müssten Sie neu trainieren. Bei RAG tauschen Sie ein Dokument aus.

Klare Regel: Fakten gehören in den Abruf, Verhalten in die Feinabstimmung.

Die drei Fälle, in denen sie hilft

Ein festes Ausgabeformat, das sich nicht durch Anweisung erreichen lässt. Wenn ein Modell nach einem branchenüblichen Schema antworten soll und die Systemanweisung dafür 1.500 Token lang wird, kann Feinabstimmung diese Anweisung ersetzen — Sie sparen die Token bei jeder einzelnen Anfrage.

Rechnen Sie das nach, bevor Sie anfangen: Bei 500.000 Anfragen im Jahr und 1.200 eingesparten Token je Anfrage sind das 600 Millionen Token weniger. Das kann sich rechnen. Bei 20.000 Anfragen nicht.

Fachsprache und Abkürzungen. Wenn in Ihrem Haus "AV" die Arbeitsvorbereitung meint und ein Modell konsequent von Auftragsverwaltung spricht, ist das mit Beispielen behebbar. Ähnlich bei branchenspezifischen Kürzeln, die außerhalb Ihrer Domäne anders belegt sind.

Klassifikation in eigene Kategorien. Wenn Sie Meldungen in 30 hausinterne Kategorien einsortieren müssen, ist ein feinabgestimmtes kleines Modell oft besser und deutlich günstiger als ein großes mit langer Anweisung.

Die vier Fälle, in denen sie nicht hilft

• Unternehmenswissen einbauen → RAG, siehe Leitfaden vom PDF zur Wissensdatenbank
• Aktuelle Daten → Werkzeugaufrufe gegen das Fachsystem
• Weniger Halluzination → besserer Abruf, siehe Reranker-Vergleich
• Grundsätzlich bessere Antworten → ein besseres Modell

Was LoRA technisch macht

Bei vollständiger Feinabstimmung werden alle Gewichte angepasst — das verlangt ein Vielfaches des Speichers, den die Inferenz braucht, und ist für Mittelstandshardware außer Reichweite.

LoRA friert die ursprünglichen Gewichte ein und trainiert kleine Zusatzmatrizen daneben. Das Ergebnis ist eine Datei von wenigen zehn bis hundert Megabyte, die beim Laden über das Basismodell gelegt wird.

Zwei praktische Folgen: Das Training passt auf eine einzelne Karte, und Sie können mehrere Anpassungen für verschiedene Aufgaben vorhalten und je nach Anfrage laden — vLLM unterstützt das Nachladen einzelner Anpassungen im laufenden Betrieb.

Der Ablauf

Schritt 1: Daten. Das ist der Aufwand, und es sind 80 Prozent des Projekts. Sie brauchen 500 bis 2.000 Beispiele im Zielformat:

{"messages": [
  {"role": "system", "content": "Du erstellst Störungsmeldungen nach Hausstandard."},
  {"role": "user", "content": "Anlage 3, Förderband steht, Motor brummt"},
  {"role": "assistant", "content": "MELDUNG\nAnlage: 3\nBaugruppe: Förderband\nSymptom: Stillstand bei hörbarem Motorgeräusch\nVerdacht: Blockade Antriebsstrang / Lagerschaden\nPriorität: 2"}
]}

Diese Beispiele müssen aus Ihrem Haus kommen und müssen gut sein. Ein Modell, das auf schlechten Beispielen trainiert wurde, produziert zuverlässig schlechte Ergebnisse — nur konsistenter als vorher.

Wo Sie sie herbekommen: aus historischen Daten, wenn das Format stimmt. Sonst schreibt eine Fachkraft sie, und das sind zwei bis fünf Personentage.

Schritt 2: Training. Der einfache Teil.

# 500 bis 2.000 Beispiele auf einer Karte: Stunden, nicht Tage
python -m axolotl.cli.train config.yml

base_model: /models/qwen3-8b
adapter: lora
lora_r: 16                # klein anfangen — mehr ist selten besser
lora_alpha: 32
lora_dropout: 0.05
datasets:
  - path: ./beispiele.jsonl
    type: chat_template
num_epochs: 3             # mehr führt schnell zum Auswendiglernen
val_set_size: 0.1         # zum Erkennen genau dieses Problems
learning_rate: 0.0002

val_set_size ist der Parameter, den man nicht weglassen sollte. Wenn der Trainingsverlust sinkt und der Validierungsverlust steigt, lernt das Modell die Beispiele auswendig statt das Muster — und dann wird es auf neuen Fällen schlechter als vorher.

Schritt 3: Prüfen. Gegen einen Testsatz, der nicht im Training war. Und zwar gegen das Basismodell als Vergleich — wenn die Anpassung nicht messbar besser ist, war sie umsonst.

Der Hardware-Bedarf

Für ein Modell der 8B-Klasse mit LoRA in 4-Bit-Quantisierung reicht eine Karte mit 24 GB. Für ein 30B-Modell brauchen Sie eher 48 bis 80 GB. Das Training selbst dauert bei 1.000 Beispielen und drei Durchläufen wenige Stunden.

Praktikabel für die meisten Häuser: eine Karte für zwei Tage bei einem europäischen Anbieter mieten. Die Anpassung ist danach eine kleine Datei, die Sie mitnehmen und lokal einsetzen — das Training braucht keine dauerhafte Hardware.

Häufig gestellte Fragen

Kann ich einem Modell durch Feinabstimmung unser Unternehmenswissen beibringen?

Nicht zuverlässig, und es ist das falsche Werkzeug. Feinabstimmung verschiebt Verhalten — Formulierung, Format, Begriffswahl —, sie ist ein ineffizienter Weg zum Einspeichern von Fakten. Was das Modell danach über Ihre Prozesse sagt, ist weder überprüfbar noch aktualisierbar. Für Wissen ist ein Abrufsystem der richtige Weg.

Wie viele Beispiele brauche ich für eine LoRA-Anpassung?

500 bis 2.000 gute Beispiele reichen für die meisten Aufgaben. Entscheidend ist die Qualität und Einheitlichkeit, nicht die Menge: Widersprüchliche Beispiele verschlechtern das Ergebnis, egal wie viele es sind. Rechnen Sie mit zwei bis fünf Personentagen einer Fachkraft, wenn die Beispiele nicht aus historischen Daten übernommen werden können.

Welche Hardware brauche ich für LoRA-Training?

Für ein Modell der 8B-Klasse in 4-Bit-Quantisierung reicht eine Karte mit 24 GB, für ein 30B-Modell eher 48 bis 80 GB. Das Training dauert bei 1.000 Beispielen wenige Stunden. Für einen einmaligen Vorgang lohnt sich die Miete bei einem europäischen Anbieter — das Ergebnis ist eine kleine Datei, die Sie lokal einsetzen.

Woran erkenne ich, dass die Feinabstimmung schiefgeht?

Am Auseinanderlaufen von Trainings- und Validierungsverlust: Sinkt der eine, während der andere steigt, lernt das Modell die Beispiele auswendig statt das Muster dahinter. Auf neuen Fällen ist es dann schlechter als vorher. Reservieren Sie deshalb immer einen Teil der Daten zur Validierung und messen Sie gegen das unveränderte Basismodell.

Kann ich mehrere Anpassungen gleichzeitig betreiben?

Ja, das ist ein wesentlicher Vorteil von LoRA. Die Anpassungen sind kleine Dateien, die über dasselbe Basismodell gelegt werden — moderne Inferenzserver können mehrere vorhalten und je nach Anfrage die passende verwenden. Damit lassen sich verschiedene Fachbereiche mit einem Basismodell und mehreren Anpassungen bedienen.

Der nächste Schritt

Prüfen Sie zuerst, ob Ihr Problem wirklich ein Verhaltensproblem ist. Wenn die Antworten inhaltlich falsch sind, liegt es am Abruf, und Feinabstimmung macht es schlimmer — konsistent falsch statt zufällig falsch. Bei der Einordnung schauen wir gern mit.