KI-Halluzinationen – erfundene Urteile und Fundstellen

Was ist eine KI-Halluzination?

OpenAI definiert Halluzinationen als „plausible but false statements generated by language models“ – plausible, aber falsche Aussagen. Das Tückische ist nicht der Fehler selbst, sondern seine Form. Die erfundene Fundstelle sieht aus wie eine echte, mit Gericht, Datum, Aktenzeichen und Randnummer.

Warum Sprachmodelle halluzinieren

OpenAI nennt in einer Veröffentlichung vom 05.09.2025 zwei Ursachen. Erstens lernen Sprachmodelle im Vortraining, das nächste Wort vorherzusagen, ohne dass Aussagen als wahr oder falsch gekennzeichnet sind. Einzelne, nicht aus Mustern ableitbare Tatsachen lassen sich so nicht zuverlässig lernen. Zweitens belohnen übliche Bewertungsverfahren das Raten stärker als das Eingeständnis von Unsicherheit.

Auch spezialisierte juristische Werkzeuge sind nicht frei davon. Eine Studie von Forschern aus Stanford (Journal of Empirical Legal Studies 2025) untersuchte KI-Recherchewerkzeuge von LexisNexis und Thomson Reuters und fand, dass sie „each hallucinate between 17% and 33% of the time“. Die dort eingesetzte Technik der Quellenanbindung (RAG) verringert Halluzinationen gegenüber allgemeinen Chatbots, beseitigt sie aber nicht.

Belegte Fälle aus Gerichten

Mata v. Avianca (USA, 2023)

Im Verfahren Mata v. Avianca, Inc., 678 F. Supp. 3d 443 (S.D.N.Y. 2023), Az. 22-cv-1461 (PKC), vor dem U.S. District Court for the Southern District of New York reichten Anwälte Schriftsätze mit Entscheidungen ein, die es nicht gab. Sie stammten aus ChatGPT. Darunter war eine angebliche Entscheidung „Varghese v. China Southern Airlines“. Mit Opinion and Order vom 22.06.2023 verhängte das Gericht nach Rule 11 eine Geldsanktion von 5.000 US-Dollar und verpflichtete die Betroffenen, den Kläger sowie die Richter, denen die erfundenen Entscheidungen zugeschrieben worden waren, schriftlich zu unterrichten. Das Gericht stellte „subjective bad faith“ fest und stützte dies auf bewusstes Wegsehen („conscious avoidance“) sowie falsche und irreführende Erklärungen gegenüber dem Gericht. Die Anwälte hatten die Fundstellen auch dann nicht überprüft, als deren Existenz bereits in Frage gestellt worden war.

AG Köln, Beschluss vom 02.07.2025 – 312 F 130/25

In einem familienrechtlichen Verfahren stellte das Amtsgericht Köln fest, dass Ausführungen in einem Schriftsatz „offenbar mittels künstlicher Intelligenz generiert und frei erfunden“ seien. Das Gericht prüfte die Fundstellen einzeln. Kommentatoren waren falschen Werken und Auflagen zugeordnet, Randnummern existierten nicht, unter einer angeblichen FamRZ-Fundstelle fand sich eine Entscheidung zu einem ganz anderen Thema. Das Gericht wies den Verfahrensbevollmächtigten darauf hin, dass die bewusste Verbreitung von Unwahrheiten einen Verstoß gegen § 43a Abs. 3 BRAO darstelle.

Weitere Fälle

Damien Charlotin führt eine Datenbank gerichtlicher Entscheidungen, in denen KI-Halluzinationen eine Rolle spielten. Beim Abruf am 04.10.2026 verzeichnete sie mehr als 2.000 Fälle weltweit, darunter elf aus Deutschland. Der Bestand wächst laufend.

Gegenmittel

Halluzinationen lassen sich verringern, aber nicht ausschließen. Anthropic weist in seiner Dokumentation ausdrücklich darauf hin, dass die beschriebenen Techniken Halluzinationen deutlich reduzieren, aber nicht vollständig beseitigen.

Quellenbindung

• Nur bereitgestellte Quellen. Das Modell ausdrücklich anweisen, nur die mitgegebenen Dokumente zu verwenden und kein allgemeines Wissen.
• Erst zitieren, dann auswerten. Bei langen Dokumenten zunächst wörtliche Zitate herausziehen lassen und die Aufgabe dann auf diese Zitate stützen.
• Nichtwissen erlauben. Dem Modell ausdrücklich gestatten, „ich weiß es nicht“ zu antworten.
• Belegpflicht. Für jede Aussage ein Zitat verlangen. Findet sich kein Zitat, ist die Aussage zurückzunehmen.
• Zitatfunktionen. Einige Schnittstellen geben die belegenden Textstellen strukturiert zurück, bei PDF-Dateien mit Seitenangabe.

Prüfroutine für jede Fundstelle

1. Entscheidung in einer Primärquelle öffnen (Justizportal, amtliche Sammlung, Datenbank) – nicht nur suchen.
2. Gericht, Datum und Aktenzeichen abgleichen.
3. Zitierte Passage im Volltext suchen, Randnummer prüfen.
4. Prüfen, ob die Entscheidung die behauptete Aussage tatsächlich trägt.
5. Bei Kommentaren Werk, Auflage, Bearbeiter und Randnummer gegen das Werk selbst prüfen.

Stand Oktober 2026