RAG – KI mit eigenen Dokumenten

Das Prinzip

Der Begriff geht auf eine Arbeit von Patrick Lewis und anderen aus dem Jahr 2020 zurück. Sie beschreibt Modelle, die „pre-trained parametric and non-parametric memory“ kombinieren, also das im Modell gespeicherte Wissen einerseits und einen durchsuchbaren Textbestand andererseits.

Anthropic beschreibt den üblichen Ablauf in vier Schritten.

1. Zerlegen. Der Dokumentbestand wird in kleinere Textabschnitte („Chunks“) geteilt.
2. Einbetten. Jeder Abschnitt wird in einen Zahlenvektor umgewandelt, der seine Bedeutung abbildet (Embedding).
3. Speichern. Die Vektoren werden in einer Vektordatenbank abgelegt, die nach inhaltlicher Ähnlichkeit durchsucht werden kann.
4. Abrufen und antworten. Zu einer Frage werden die ähnlichsten Abschnitte gesucht und zusammen mit der Frage an das Sprachmodell gegeben.

Ergänzend wird oft eine klassische Stichwortsuche eingesetzt. Anthropic nennt BM25 als Verfahren, das exakte Wort- und Phrasentreffer findet – nützlich bei eindeutigen Kennungen, die eine reine Bedeutungssuche übersehen kann. In der Rechtspraxis sind das etwa Aktenzeichen, Paragrafen, Kennzeichen oder Namen.

Nutzen für Akten und Kanzleiwissen

• Aktenrecherche. Fragen an einen großen Aktenbestand stellen und eine Antwort mit den gefundenen Textstellen erhalten.
• Kanzleiwissen. Eigene Schriftsätze, Vermerke und Muster durchsuchbar machen, statt sie in Ordnern zu suchen.
• Nachvollziehbarkeit. Weil die Antwort auf abgerufene Abschnitte gestützt ist, kann man diese Abschnitte anzeigen und prüfen.
• Lokaler Betrieb. RAG funktioniert auch ohne Cloud. LM Studio bietet nach eigenen Angaben eine Dokumentenfunktion, die vollständig offline arbeitet (siehe Lokale KI).

Grenzen

Was nicht gefunden wird, fehlt in der Antwort

Das Sprachmodell sieht nur die abgerufenen Abschnitte. Übersieht die Suche eine entscheidende Stelle, ist die Antwort unvollständig – und klingt trotzdem vollständig. Für eine Frage wie „Hat der Zeuge X jemals Y gesagt?“ ist RAG deshalb kein Ersatz für eine Volltextsuche.

Abschnitte verlieren ihren Zusammenhang

Anthropic weist darauf hin, dass einzelne Abschnitte oft „lack sufficient context“. Ein Satz über eine Zahlung sagt nichts mehr darüber, wer zahlte und wann, wenn diese Angaben drei Absätze vorher standen. Bei Vernehmungsprotokollen oder Telekommunikationsüberwachung ist das besonders relevant.

Halluzinationen bleiben möglich

Auch mit RAG können Modelle Aussagen erfinden. Die Stanford-Studie zu juristischen Recherchewerkzeugen kam zu dem Ergebnis, dass RAG die Ergebnisse gegenüber allgemeinen Chatbots zwar verbessert, das Halluzinationsproblem aber in erheblichem Umfang fortbesteht („the hallucination problem persists at significant levels“). Mehr dazu unter KI-Halluzinationen.

Die Datenqualität entscheidet

Ein RAG-System kann nur durchsuchen, was als Text vorliegt. Gescannte Akten ohne Textebene oder mit schlechter Texterkennung liefern schlechte Treffer. Voraussetzung ist eine saubere OCR.

RAG oder das ganze Dokument?

Nicht jede Aufgabe braucht RAG. Anthropic empfiehlt, einen Wissensbestand unter 200.000 Token – nach Anthropic etwa 500 Seiten – vollständig in den Prompt zu geben. Gleichzeitig beschreibt Anthropic, dass Genauigkeit und Erinnerungsleistung mit wachsender Textmenge im Kontext abnehmen („context rot“). Für eine einzelne Anklageschrift genügt deshalb oft das Hochladen des Dokuments. Für fünfzig Aktenbände braucht es eine Suche davor. Hinweise zum Arbeiten mit langen Dokumenten stehen unter Lange PDFs mit KI zusammenfassen.

Stand Oktober 2026