RAG (Retrieval-Augmented Generation)
Kurz gesagtRAG (Retrieval-Augmented Generation) sucht zuerst passende Stellen in deinen Dokumenten und gibt sie dem Modell, damit es daraus antwortet.
Einfach erklärt
Ein Modell kennt nur, was es im Training lernte, plus was du in den Prompt legst. RAG schiebt einen Suchschritt dazwischen. Die Idee stammt aus einer Arbeit von Lewis und Kollegen von 2020, die ein Sprachmodell mit einem durchsuchbaren Textspeicher verband. Das Glossar von Anthropic beschreibt es so: Passende Informationen werden zur Laufzeit abgerufen und zusammen mit der Frage ans Modell gegeben, sodass es Fakten über seine Trainingsdaten hinaus nutzen kann.
Die üblichen Schritte:
- Zerlege deine Dokumente in kurze Abschnitte.
- Wandle jeden Abschnitt in ein Embedding um und lege ihn in einem Index ab.
- Kommt eine Frage, suche die Abschnitte mit der nächsten Bedeutung.
- Setze Frage und Abschnitte in den Prompt.
- Das Modell antwortet daraus, am besten mit Zitat oder Seitenzahl.
Warum es wichtig ist
- Aktuelle und private Fakten: Das Modell kann die heutige Preisliste oder dein Handbuch nutzen, ohne neu zu trainieren. Vergleiche Fine-Tuning, das eher Verhalten ändert als Fakten ergänzt.
- Weniger falsche Antworten: Die Bindung an Text senkt das Risiko einer Halluzination. Sie beseitigt es nicht, und die Antwort ist nur so gut wie die gefundenen Stellen.
- Tiefere Kosten: Du sendest ein paar Abschnitte statt des ganzen Archivs, bleibst im Kontextfenster und zahlst weniger Token.
- Datenschutz: Die abgerufenen Abschnitte gehen an den Modellanbieter. Prüfe, was du indexierst.
- Sicherheit: Abgerufener Text kann versteckte Anweisungen enthalten. OWASP hält fest, dass RAG Prompt Injection nicht vollständig verhindert.
Beispiel
Eine Firma indexiert ihr Personalhandbuch mit 500 Seiten. Eine Mitarbeiterin fragt: «Wie viele Tage vorher melde ich Ferien an?» Das System findet die drei nächsten Absätze und sendet sie mit der Frage. Das Modell antwortet in zwei Sätzen und nennt den Abschnitt. Steht die Regel nicht im Handbuch, sagt ein gutes System das, statt zu raten.
Häufige Irrtümer
- «RAG trainiert das Modell.» Es ändert das Modell nicht. Es ändert den Prompt.
- «RAG braucht eine Vektordatenbank.» Viele Lösungen nutzen eine, aber Stichwortsuche oder eine Mischung geht auch.
- «RAG antwortet immer richtig.» Schlechte Suche liefert schlechte Abschnitte, und schlechte Abschnitte liefern schlechte Antworten.
Fragen und Antworten
Wofür steht RAG?
Für Retrieval-Augmented Generation: erst passenden Text abrufen, dann das Modell daraus eine Antwort erzeugen lassen.
RAG oder Fine-Tuning: was brauche ich?
RAG nimmst du, wenn das Modell sich ändernde oder private Fakten nutzen soll. Fine-Tuning passt zu Stil, Format oder Aufgabenverhalten. Viele Projekte beginnen mit RAG.
Verhindert RAG Halluzinationen?
Es senkt das Risiko, weil Antworten an Text gebunden sind, doch Fehler bleiben. Verlange Zitate und prüfe wichtige Fakten.
Weiterlesen
- Embedding
Ein Embedding ist eine Zahlenliste, die die Bedeutung eines Textes oder Bildes darstellt, sodass ähnliche Dinge nah beieinander liegen.
- Kontextfenster
Das Kontextfenster ist die grösste Textmenge, in Token gemessen, die ein Modell in einer Anfrage lesen und schreiben kann.
- Halluzination
Eine Halluzination ist eine flüssige, sicher klingende KI-Antwort, die falsch oder erfunden ist oder nicht zu den gegebenen Quellen passt.
- Fine-Tuning
Fine-Tuning trainiert ein bestehendes Modell mit deinen eigenen Beispielen weiter, damit es Stil, Format oder Aufgabe zuverlässiger trifft.
- Prompt Injection
Prompt Injection ist ein Angriff, bei dem Text, den ein Modell liest, etwa eine Webseite oder Datei, Anweisungen enthält, die es gegen seinen Nutzer handeln lassen.