Fine-tuning vs. RAG: Ein Entscheidungsrahmen, der ausliefert
Wann RAG, wann Fine-tuning, wann beides — ein Entscheidungsrahmen mit konkreten Trade-offs bei Kosten, Latenz und Genauigkeit.
RAG ändert, was das Modell weiß; Fine-tuning ändert, wie es sich verhält. Starte mit RAG plus Prompt-Engineering. Fine-tune nur, wenn Stil, Format oder Latenz es erzwingen — und evaluiere vor und nach jeder Änderung.
- RAG passt für Aktualität, Herkunft und mandantenspezifisches Wissen.
- Fine-tuning passt für Tonalität, strikte Ausgabeformate oder latenzsensitive Kurzantworten.
- Beide kombinieren sauber — Format fine-tunen, Fakten retrieven.
- Kein Fine-tuning ohne Golden-Eval-Set von >200 Beispielen.
Die Ein-Satz-Regel
RAG ändert, was das Modell weiß. Fine-tuning ändert, wie es sich verhält. Wer versucht, Fakten ins Modell zu fine-tunen, will eigentlich RAG. Wer stundenlang ein striktes Ausgabeformat prompt-engineert, das trotzdem 5% der Zeit bricht, will vielleicht fine-tunen.
Wann RAG gewinnt
- Wissen ändert sich wöchentlich oder ist mandantenspezifisch (Docs, Tickets, Verträge).
- Zitate auf Quelldokumente sind erforderlich.
- Informationen müssen aus Compliance-Gründen löschbar/aktualisierbar sein (DSGVO).
- Der Korpus ist groß, aber pro Anfrage sind nur wenige Chunks relevant.
Auch die Kostenstory ist freundlicher: du zahlst Retrieval und einen etwas längeren Prompt statt eines maßgeschneiderten Modells.
Wann Fine-tuning gewinnt
- Du brauchst konsistente Tonalität/Persona über tausende Aufrufe.
- Du brauchst ein striktes JSON- oder DSL-Format, das Prompting nicht hält.
- Ein kleines, schnelles Modell soll ein großes bei einer engen Aufgabe erreichen.
- Du hast >2k qualitativ hochwertige Labels und eine wiederholbare Eval-Schleife.
Das Hybrid, das in der Praxis gewinnt
Die meisten Produktivsysteme, die ich ausliefere, nutzen beides:
- Fine-tune ein kleines Modell (Gemini Flash, GPT-4.1-mini) auf 1–3k Beispielen, die Format und Tonalität mit Platzhalter-Fakten zeigen.
- Zur Laufzeit reale Fakten per RAG holen und in die Platzhalter injizieren.
- Fine-tune erzwingt Format; Retrieval liefert Wahrheit.
Günstiger und schneller als ein großes Basismodell mit reinem RAG — und die Trainingsdaten bleiben PII-frei.
Evaluation ist das Gate, kein Nachgedanke
Egal welcher Pfad: baue ein Golden-Set von mindestens 200 Beispielen für Happy-Path, Edge-Cases und bekannte Regressionen. Bewerte jedes auf Korrektheit (LLM-Judge mit Rubrik), Formatgültigkeit (Schema-Check), Latenz p95 und Kosten pro Call.
Änderungen nur ausliefern, wenn alle vier innerhalb der Vorgänger-Grenzen bleiben. Diese eine Praxis trennt Teams, die ihr System verbessern, von Teams, die ein Quartal driften und dann neu schreiben.
Frequently asked
Wie viele Beispiele fürs Fine-tuning?
Für Verhalten/Stil reichen oft 300–1.500 hochwertige Beispiele. Für neue Aufgaben plane 3.000+; über 20.000 wird der Ertrag klein.
Funktioniert RAG mit jedem Modell?
Ja. RAG ist ein Application-Layer-Muster — das Modell sieht nur einen längeren Prompt. Größere Context-Windows helfen, sind aber nicht Pflicht.
Kann ich Fine-tunes sicher A/B-testen?
Ja. Route einen Prozentsatz auf das neue Modell, spiegle Requests zum alten für Shadow-Scoring und rolle automatisch zurück, wenn die Eval-Delta deine Schwelle überschreitet.
Building something similar?
I help teams ship production-grade AI agents, n8n workflows, and data platforms. Let's talk about what you're building.
Work with meIslam Gamal
AI, Data & Automation Engineer. I design and ship production AI agents, n8n workflows, and cloud data platforms — with a focus on reliability, cost, and measurable business impact. Founder of Tashghil and Tek bil Arabi.
More from Islam Gamal
RAG That Actually Works: Chunking, Hybrid Search, Reranking, and Evals
The full production playbook: why naïve RAG demos die on the second question, how to chunk, index, retrieve, rerank, cite, evaluate, and cost-engineer a retrieval-augmented system that survives real users.
Prompt Engineering for Agents: A Structured, Testable, Version-Controlled Approach
Prompt engineering isn't vibes. Treat prompts like code — with schemas, versions, evals, diffs, and rollback. The full production workflow that scales past a single developer, with copy-paste patterns for structured output, few-shot design, LLM-as-judge, and prompt registries.
Evaluating LLMs and Classical ML: A Practical Metrics Guide
The metric you pick decides the model you ship. A deep field guide to choosing, computing, and defending metrics for classification, ranking, generation, RAG, and agents — with the traps that catch senior teams.
Browse every article by Islam Gamal on the author page.