Ich habe mich gefragt, ob ich Claude beibringen kann, in meinem Ton zu schreiben statt in seinem. Die Antwort heißt Fine-tuning: Ein vortrainiertes Modell bekommt neue Beispiele aus deiner Welt und lernt genau daraus.
Fine-tuning heißt schlicht: Ein vortrainiertes Modell bekommt neue Beispiele aus deiner Welt und lernt genau daraus. Transfer Learning ist der übergeordnete Ansatz, bei dem ein Modell vorhandenes Wissen nutzt statt komplett neu trainiert wird.
Fine-tuning: die Bedeutung in einem Satz
Fine-tuning heißt, ein fertig trainiertes Sprachmodell mit eigenen Beispielen weiterzutrainieren, bis es die Aufgabe so löst, wie du sie gelöst haben willst. Das Modell lernt dabei keinen neuen Wissensstand. Es lernt eine Art zu antworten.
Der Unterschied ist wichtig, weil er darüber entscheidet, ob Fine-tuning dein Problem überhaupt löst. Wer will, dass die KI die eigenen Produktdaten kennt, braucht kein Fine-tuning. Wer will, dass sie klingt wie das eigene Haus und immer dasselbe Format liefert, braucht genau das. Hintergrund dazu steht in wie Sprachmodelle arbeiten.
Was dabei im Modell passiert
Du nimmst ein bestehendes Sprachmodell und gibst ihm Beispiele, die deinen Stil, deine Struktur oder dein Fachvokabular zeigen. Das Modell passt sich daran an und liefert deutlich konsistentere Antworten. Das ist effizient, weil du nicht bei null anfängst, sondern ein fertiges Modell feinjustierst.
Was LoRA genau macht
Ein vollständiges Fine-tuning verändert alle Gewichte des Modells. Bei einem Modell mit sieben Milliarden Parametern heißt das: sieben Milliarden Zahlen wollen neu berechnet und gespeichert werden. Das kostet Grafikspeicher, den kaum jemand zu Hause hat.
LoRA geht einen anderen Weg. Das Basismodell bleibt eingefroren, kein einziges seiner Gewichte wird verändert. Daneben kommen kleine Zusatzmatrizen, die beim Rechnen aufaddiert werden. Nur diese Zusätze werden trainiert. In der Veröffentlichung von Hu und Kollegen aus dem Jahr 2021 sinkt damit die Zahl der trainierten Parameter um mehrere Größenordnungen, bei vergleichbarer Qualität.
Zwei Stellschrauben bestimmen das Ergebnis. Der Rang legt fest, wie viel Platz die Zusatzmatrizen haben. Klein heißt sparsam und stabil, groß heißt mehr Spielraum und mehr Risiko, sich zu verrennen. Alpha regelt, wie stark der Zusatz gegenüber dem Original wiegt.
Praktisch angenehm ist das Ergebnis: Ein LoRA-Adapter ist eine kleine Datei neben einem großen Modell. Du kannst mehrere davon vorhalten, je einen pro Ton oder pro Aufgabe und sie austauschen, ohne das Modell noch einmal zu laden. Wer will, rechnet den Adapter dauerhaft ins Modell hinein.
QLoRA, wenn die Grafikkarte klein ist
QLoRA setzt noch eins drauf. Das Basismodell wird auf vier Bit zusammengedrückt, der Adapter trainiert in voller Genauigkeit obendrauf. Damit passt ein Training auf eine einzelne große Grafikkarte, für das vorher ein Rechenzentrum nötig war. Welche Modellgrößen es überhaupt gibt, steht in 3B, 8B oder 175B. Ausprobieren lässt sich das Ganze auch lokal mit Ollama.
Und was macht RAG?
RAG, „Retrieval-Augmented Generation“, verbindet ein Modell mit einer Wissensquelle, die bei jeder Anfrage durchsucht wird. Das ist ideal, wenn Fakten schnell altern – Produktdaten, FAQ, Gesetzestexte oder interne Dokumentation.
Fine-tuning verankert Stil und Regeln. RAG liefert Aktualität. Beides ergänzt sich gut.
Fine-tuning, RAG oder einfach ein besserer Prompt?
Die drei Wege lösen verschiedene Probleme. Wer sie verwechselt, zahlt dafür.
| Dein Problem | Der passende Weg |
|---|---|
| Die Antworten treffen den Ton nicht | Erst der Prompt, dann Fine-tuning |
| Das Format schwankt von Antwort zu Antwort | Fine-tuning |
| Das Modell kennt unsere Inhalte nicht | RAG |
| Die Inhalte ändern sich ständig | RAG |
| Es soll interne Regeln zuverlässig befolgen | Fine-tuning |
| Es geht um eine einmalige Aufgabe | Nur der Prompt |
Die Reihenfolge ist fast immer dieselbe. Zuerst den Prompt ordentlich schreiben, denn das kostet nichts. Dann RAG, wenn Wissen fehlt. Fine-tuning zuletzt, wenn Ton und Form nicht sitzen. Es ist der teuerste der drei Wege und der einzige, den man pflegen muss.
Was es kostet
Preise ändern sich schneller als Artikel. Die folgenden Zahlen sind der Stand vom November 2025, geprüft wird vor jeder Rechnung auf der Preisseite des Anbieters. OpenAI gab für GPT-5 mini damals an:
Eingabe-Tokens:
0,250 USD pro 1 Million Tokens
Zwischengespeicherte Eingabe-Tokens (cached input):
0,025 USD pro 1 Million Tokens
Ausgabe-Tokens:
2,000 USD pro 1 Million Tokens
GPT-5 mini ist damit eine schnellere und kostengünstigere Variante von GPT-5 – optimiert für hohe Last und klar definierte Aufgaben.
Kostenformel
Kosten = Anfragen pro Tag × Tokens pro Anfrage × (Preis pro 1 000 000 Tokens)
Beispiel (praktikabel):
2 000 Anfragen × 800 Tokens × 0,25 USD / 1 000 000
= 0,40 USD pro Tag für Eingabetokens.
Für die Ausgabetokens gilt entsprechend der Output-Preis.
Wann bringt Fine-tuning dir wirklich Vorteile?
Fine-tuning lohnt sich, wenn du:
• konsistenten Stil brauchst
• feste Kategorien oder Formate hast
• spezifisches Fachvokabular nutzt
• interne Regeln sauber abbilden möchtest
Ein Support-Bot, der deinen Markenton treffen soll, oder ein Klassifizierer mit stabilen Labels – beide profitieren stark von Fine-tuning.
RAG ist besser, wenn dein Wissen oft aktualisiert wird. Es verhindert, dass du dein Modell ständig nachtrainieren musst.
ROI
Wenn dein Use Case viele ähnliche Anfragen hat und deine Inhalte stabil bleiben, gewinnt Fine-tuning durch geringere Pflegekosten. Wechseln die Inhalte schnell, gewinnt RAG durch Aktualität. Ein exakter Break-even ist nie pauschal zu bestimmen, weil er vom Volumen abhängt.
Praxis – so startest du in drei Schritten
- Daten vorbereiten
Du brauchst Beispielpaare: Eingabe → ideale Antwort. Ein paar hundert wirklich gute Paare reichen oft. Wichtig: klare Sprache, konsistenter Ton. - Training starten
Du lädst die Daten über die OpenAI-Konsole oder API hoch und startest ein supervised Fine-tuning. Die Dokumentation zeigt Limits und Preise transparent. - Testen und in Betrieb nehmen
Teste mit einem Hold-out-Datensatz. Prüfe Trefferquoten, Formatstabilität, Antwortkonsistenz und Kosten.
Aktualität lässt sich später über RAG ergänzen.
Welche Daten du brauchst
Fine-tuning steht und fällt mit den Beispielen. Ein Beispiel ist ein Paar aus Eingabe und der Antwort, die du sehen willst. Nicht ungefähr, sondern genau so.
Ein paar hundert saubere Paare bringen mehr als zehntausend zusammengesuchte. Wichtig sind drei Dinge. Alle Beispiele folgen demselben Format, damit das Modell das Format lernt. Die Beispiele decken auch die schwierigen Fälle ab, nicht nur die einfachen. Und ein Teil bleibt zurück, ungenutzt im Training, damit du hinterher prüfen kannst, ob es wirklich besser geworden ist.
Was in die Beispiele hineingehört, kommt hinterher wieder heraus. Das gilt für den Ton genauso wie für Fehler und für alles, was eigentlich niemand lesen sollte. Personenbezogene Daten haben in Trainingsdaten nichts verloren.
Beispiel
Input: „Schreib mir eine kurze Produktbeschreibung für rote Sneaker in unserem Shop-Stil.“
Output: „Leichte rote Sneaker aus atmungsaktivem Mesh – ideal für deinen urbanen Alltag.“
Ein paar hundert solcher klaren Paare machen den Unterschied zwischen „okay“ und „wow“.
Risiken
Overfitting: Das Modell merkt sich Beispiele zu wörtlich und wird unflexibel. Lösung: gemischte Beispiele, frühes Stoppen.
Sicherheitsregression: Schlechte Trainingsdaten schwächen Schutzmechanismen. Lösung: Daten prüfen, Sicherheitstests fahren.
Kostenblindflug: Tokenverbrauch unterschätzt. Lösung: Kostenblatt führen, Datum und Preisquelle notieren.
Ausblick
Fine-tuning wird immer effizienter. LoRA+ (arXiv, Februar 2024) verbessert die Technik mit noch weniger trainierten Parametern. Gleichzeitig wird RAG zum neuen Standard für Systeme, die aktuell bleiben müssen. Der Mix aus beidem wird sich durchsetzen: Erst feinjustieren, dann gezielt aktualisieren.
Häufige Fragen
Was bedeutet Fine-tuning?
Ein fertiges Modell wird mit eigenen Beispielen weitertrainiert, damit es Aufgaben in einem bestimmten Stil, Format oder Fachvokabular löst.
Was ist LoRA beim Fine-tuning?
Eine sparsame Variante. Das Basismodell bleibt unangetastet, trainiert werden nur kleine Zusatzmatrizen. Das Ergebnis ist eine kleine Adapterdatei statt eines neuen Modells.
Wie viele Beispiele braucht man?
Ein paar hundert gute Paare reichen für Stil und Format. Für Klassifizierung mit vielen Kategorien werden es schnell mehr.
Lernt das Modell dadurch neues Wissen?
Kaum und darauf sollte man sich nicht verlassen. Fine-tuning formt das Verhalten. Für Wissen, das stimmen muss, ist RAG der richtige Weg.
Kann ich das lokal machen?
Ja, mit LoRA oder QLoRA auf einem kleinen Modell. Bei den großen Anbietern läuft es über deren Konsole und wird nach Tokens abgerechnet.
Fazit
Fine-tuning verwandelt eine generische KI in eine, die wirklich zu dir passt. Für Stil, Regeln, Kategorien und wiederkehrende Aufgaben ist es eines der stärksten Werkzeuge. Fang klein an, teste sauber, prüfe die Wirkung und ergänze RAG für aktuelle Inhalte. So entsteht eine KI, die dich wirklich versteht.
Wenn du noch tiefer einsteigen willst: Im KI Glossar findest du alle Grundlagen kompakt erklärt.
Quellen
- Pan & Yang, „A Survey on Transfer Learning“ (IEEE TKDE, 2010-06) – Grundlagen Transfer Learning
- Hu et al., „LoRA: Low-Rank Adaptation of LLMs“ (arXiv 2021-06) – Effiziente Adaption mit wenigen Parametern
- Lewis et al., „Retrieval-Augmented Generation“ (arXiv 2020-05) – Grundlagen RAG
- NVIDIA Blog „What is RAG?“ (2025-01-31) – Industrie-Überblick
- OpenAI Pricing & Docs (abgerufen 2025-11-12) – aktuelle Tarife und Token-Logik
- LoRA+ (arXiv 2024-02) – neue PEFT-Variante
- Dettmers et al., „QLoRA: Efficient Finetuning of Quantized LLMs“ (arXiv 2023-05) – Fine-tuning großer Modelle auf einer einzelnen Grafikkarte
Schreibe einen Kommentar