Ein großes Sprachmodell ist auf allgemeinem Wissen trainiert, nicht auf eurem Unternehmen. Fragt jemand nach eurer Rückgabefrist oder dem Preis für Kunde X, hat das Modell keine Grundlage — und produziert im Zweifel eine überzeugend klingende, aber falsche Antwort. Genau das nennt man Halluzination, und es ist der Killer für jeden ernsthaften Einsatz.
Was RAG im Kern tut
Retrieval-Augmented Generation koppelt das Modell an eine Wissensbasis. Statt frei zu antworten, wird bei jeder Frage zuerst in euren echten Dokumenten gesucht, die passenden Stellen werden herausgezogen und dem Modell als Kontext mitgegeben. Erst dann formuliert es die Antwort — auf Basis dessen, was tatsächlich in euren Daten steht, nicht dessen, was es zu wissen glaubt.
Der Ablauf in drei Schritten
- Indexieren: Eure Dokumente — Handbücher, Verträge, Preislisten, Prozessbeschreibungen — werden in Abschnitte zerlegt und durchsuchbar gemacht, meist in einer Vektordatenbank.
- Abrufen: Zu einer Frage werden die inhaltlich passendsten Abschnitte gefunden, nicht nur per Stichwort, sondern nach Bedeutung.
- Antworten: Das Modell erhält Frage plus gefundene Abschnitte und formuliert daraus die Antwort — idealerweise mit Quellenangabe.
RAG macht eine KI nicht klüger, sondern ehrlicher: Sie antwortet aus dem, was sie belegen kann, statt aus dem, was sie sich zusammenreimt.
Warum das den Unterschied macht
Der praktische Gewinn ist doppelt. Erstens sinken Halluzinationen drastisch, weil die Antwort an belegbare Quellen gebunden ist. Zweitens wird die Antwort überprüfbar: Ein gutes RAG-System nennt, aus welchem Dokument es zitiert, sodass Mitarbeiter die Aussage nachschlagen können. Aus einem Orakel wird ein Werkzeug, dem man vertrauen kann, weil man es kontrollieren kann.
Der stille Erfolgsfaktor: Datenqualität
RAG ist nur so gut wie die Datenbasis. Veraltete Preislisten, widersprüchliche Dokumente oder unstrukturierte Ablagen führen zu falschen, aber jetzt überzeugend belegten Antworten — was schlimmer sein kann als ein offensichtlicher Fehler. Bevor ein RAG-System live geht, muss die Wissensbasis aufgeräumt, aktuell und eindeutig sein. Ein Dokument gilt, nicht drei Versionen davon.
Wo man anfängt
Der pragmatische Einstieg ist ein klar abgegrenzter Anwendungsfall mit hohem Suchaufwand: der interne Support, der ständig dieselben Fragen beantwortet, oder das Onboarding, bei dem neue Mitarbeiter Wissen suchen. Ein RAG-System auf genau diese Dokumente bringt schnell sichtbaren Nutzen, ohne das ganze Unternehmen umzubauen. Von dort wächst die Wissensbasis kontrolliert weiter — ein Bereich nach dem anderen, jeder mit sauberen Daten.