In einem früheren Beitrag habe ich beschrieben, wie mein KI-Agent trotz ausdrücklichen Verbots einen Vornamen in einen beA-Betreff geschrieben hat. Dort ging es um die Folgen für die Praxis. Hier geht es um die Technik dahinter. Warum erfindet ein Sprachmodell etwas, das nirgends steht, warum hilft ein Verbot im Prompt so wenig, und welche Gegenmittel wirken tatsächlich? Der Beitrag setzt Grundkenntnisse im Programmieren voraus, aber kein Informatikstudium.
Was die Forschung unter Halluzination versteht
Der Begriff ist unscharf, die Forschung unterscheidet deshalb genauer. Eine viel zitierte Übersicht trennt intrinsische Halluzinationen, bei denen die Ausgabe der Quelle widerspricht, von extrinsischen, bei denen sie sich aus der Quelle weder bestätigen noch widerlegen lässt (Ji u. a.). Eine neuere Übersicht speziell zu großen Sprachmodellen unterscheidet Fehler gegenüber der Welt (factuality) von Fehlern gegenüber dem, was der Nutzer vorgegeben hat (faithfulness). Zu Letzterem zählt sie ausdrücklich die „context inconsistency“, also eine Ausgabe, die dem mitgelieferten Kontext untreu ist (Huang u. a.).
Der erfundene Vorname ist nach dieser Einteilung eine extrinsische Halluzination und ein Treuefehler gegenüber dem Kontext. Das Rubrum lag dem Modell vor, ein Vorname stand nicht darin, und es hat trotzdem einen geliefert. Für die anwaltliche Arbeit ist genau diese Kategorie die gefährlichste. Gegen erfundene Urteile kann man nachschlagen. Gegen eine plausible Ergänzung eines vorhandenen Dokuments hilft nur der zeichengenaue Abgleich mit dem Original.
Ein Modell sagt das nächste Token voraus
Ein Sprachmodell zerlegt Text in Token, also Wörter oder Wortteile, und berechnet für jede Position eine Wahrscheinlichkeitsverteilung über das gesamte Vokabular. Formal ist das die bedingte Verteilung des nächsten Tokens gegeben alle vorherigen.
P(x_t | x_1, x_2, …, x_(t-1))
Aus dieser Verteilung wird ein Token gezogen, an den Text angehängt, und das Spiel beginnt von vorn. Das Verfahren heißt autoregressiv. Wie gezogen wird, legt das Dekodierverfahren fest. Wer immer das wahrscheinlichste Token nimmt, erhält nach den Befunden von Holtzman u. a. oft eintönigen, sich wiederholenden Text. Verbreitet ist deshalb das Nucleus Sampling, bei dem nur aus der kleinsten Menge von Token gezogen wird, deren Wahrscheinlichkeiten zusammen einen Schwellenwert p erreichen.
Für die Kanzlei folgt daraus etwas Unbequemes. Ein Modell, das bei gleicher Eingabe immer gleich antwortet, gibt es in der Praxis nicht. Anthropic schreibt in seinem Glossar ausdrücklich, dass die Ergebnisse auch bei einer Temperatur von 0 nicht vollständig deterministisch sind und identische Eingaben verschiedene Ausgaben liefern können (Glossary, Temperature). Bei den neueren Claude-Modellen lassen sich die Parameter für Temperatur, top_p und top_k nach der Dokumentation gar nicht mehr setzen. Das Verhalten soll stattdessen über den Prompt gesteuert werden (Working with messages). Wer also hofft, eine Fehlerquelle über die Einstellungen abzuschalten, findet dort keinen Schalter mehr.
Aufmerksamkeit heißt Ähnlichkeit
Woher die Wahrscheinlichkeiten kommen, bestimmt im Kern der Aufmerksamkeitsmechanismus der Transformer-Architektur. Jede Position bildet einen Anfragevektor Q, der mit den Schlüsselvektoren K aller vorherigen Positionen verglichen wird. Die Ähnlichkeiten werden normiert und gewichten die Wertevektoren V (Vaswani u. a.).
Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V
Man muss die lineare Algebra nicht nachrechnen, um die Folge zu verstehen. Was im Kontext steht, wirkt auf jede neue Position ein, und zwar umso stärker, je ähnlicher es dem ist, was gerade gebraucht wird. Eine Anweisung im Systemprompt ist dabei nichts Besonderes. Sie ist eine Folge von Token im selben Kontext wie die Akte, die Zwischenüberlegungen und alles, was vorher in der Sitzung geschehen ist. Sie konkurriert mit all dem um Gewicht. Eine Rangordnung, nach der eine Regel immer vorgeht, kennt der Mechanismus nicht.
Kopieren aus dem Kontext
Besonders aufschlussreich für den Vornamen ist eine Arbeit aus dem Interpretierbarkeitsteam von Anthropic. Sie beschreibt sogenannte Induction Heads, Aufmerksamkeitsköpfe, die einen einfachen Algorithmus umsetzen, um Tokenfolgen der Form [A][B] … [A] → [B] zu vervollständigen. Sie suchen im bisherigen Text nach früheren Vorkommen des aktuellen Tokens, sehen nach, was damals folgte, und sagen dasselbe wieder voraus (Olsson u. a.). Kurz gesagt vervollständigen sie Muster, indem sie kopieren, was schon einmal vorkam.
Ein solcher Mechanismus ist für die Arbeit an Akten Segen und Fluch zugleich. Er ist der Grund, warum ein Modell Namen und Aktenzeichen aus dem Kontext überhaupt korrekt übernehmen kann. Er ist aber auch ein plausibler Weg, auf dem Bruchstücke aus einem vorherigen Mandat in die Bearbeitung des nächsten geraten. Mehr als plausibel ist es nicht. Die Autoren haben starke kausale Belege nur für kleine Modelle ohne MLP-Schichten, für große Modelle sind ihre Belege nach eigener Darstellung korrelativ. Für meinen Fall heißt das, dass der Mechanismus den Fehler erklären kann, beweisen lässt er sich von außen nicht.
Dazu kommt die Position im Kontext. In Experimenten mit langen Eingaben fanden Liu u. a., dass Modelle relevante Informationen am Anfang und am Ende des Kontexts am besten nutzen und in der Mitte deutlich schlechter. Eine Arbeitsregel, die am Anfang einer langen Sitzung steht, während das Material des vorherigen Mandats unmittelbar vor der aktuellen Aufgabe liegt, ist also in einer ungünstigen Lage.
Warum Modelle lieber raten als schweigen
Eine Arbeit aus dem Jahr 2025 erklärt, warum Halluzinationen auch bei besseren Modellen nicht verschwinden. Training und Bewertung belohnen danach das Raten statt das Eingeständnis von Unsicherheit. Halluzinationen seien nichts Geheimnisvolles, sondern entstünden schlicht als Fehler einer binären Klassifikation (Kalai u. a.). Die meisten Benchmarks vergeben für „weiß ich nicht“ keine Punkte, für eine geratene richtige Antwort aber schon. Ein Modell, das auf gute Testergebnisse optimiert ist, lernt daraus, im Zweifel etwas hinzuschreiben.
Auf den Betreff übertragen heißt das, dass das leere Vornamensfeld für das Modell keine neutrale Option ist. Ein Rubrum mit Vor- und Nachnamen ist der statistische Normalfall. Die Lücke ist die Ausnahme, und das Training hat das Modell eher gelehrt, Lücken zu füllen, als sie stehen zu lassen. Anthropic empfiehlt deshalb in der Anleitung zum Vermeiden von Halluzinationen, dem Modell ausdrücklich zu erlauben, Unsicherheit einzugestehen (Reduce hallucinations). Das ist etwas anderes als ein Verbot. Es macht die richtige Antwort zu einer erlaubten statt die falsche zu einer verbotenen.
Verneinung ist ein schwaches Signal
Dass Verbote schlechter wirken als Gebote, ist auch empirisch belegt, wenn auch an älteren Modellen. In einer Untersuchung wurden größere Modelle bei verneinten Anweisungen sogar schlechter statt besser (Jang u. a.). Eine andere fand, dass Modelle auf die Verneinung im Text kaum reagierten (Truong u. a.). Eine anschauliche, wenn auch vereinfachte Erklärung liegt nahe. Ein Satz wie „Erfinde keine Namen“ bringt das Konzept Namen in den Kontext, die Verneinung ist ein einzelnes Token, das gegen den Rest ankommen muss.
Der eigene Fehler wird zur Quelle
Im Sitzungsprotokoll tauchte der falsche Vorname schon in den Zwischenüberlegungen des Modells auf, bevor er im Betreff stand. Das passt zu einem Befund, den Zhang u. a. „Hallucination Snowballing“ nennen. Modelle halten an einem frühen Fehler fest und erzeugen Folgefehler, die sie bei isolierter Prüfung selbst als falsch erkennen würden. Technisch ist das wenig rätselhaft. Was das Modell selbst geschrieben hat, steht danach im Kontext wie jede andere Information, und der Aufmerksamkeitsmechanismus unterscheidet nicht nach Herkunft.
Eine zweite Einschränkung betrifft die Zwischenüberlegungen selbst. Man ist versucht, sie als Fenster in das Innere des Modells zu lesen. Eine Studie von Anthropic zu Reasoning-Modellen zeigt, dass das nur begrenzt trägt. Die Modelle nutzten Hinweise im Prompt, legten dies in ihren Überlegungen aber oft nicht offen, die Quote lag häufig unter 20 Prozent (Chen u. a.). Die Autoren halten die Überwachung der Überlegungen für nützlich, um unerwünschtes Verhalten zu bemerken, aber nicht für ausreichend, um es auszuschließen. Für die forensische Auswertung eines Fehlers heißt das, dass das Protokoll Indizien liefert, aber keinen Beweis für die Ursache.
Was technisch hilft
Aus alldem folgt, dass man das Problem nicht im Modell löst, sondern um das Modell herum. Drei Ansätze haben sich bei mir bewährt.
Der erste ist die Beschränkung der Ausgabe. Beim sogenannten Constrained Decoding werden Token, die nach einer vorgegebenen Grammatik nicht zulässig sind, vor dem Ziehen maskiert. Willard und Louf formulieren die Textgenerierung dazu als Übergänge eines endlichen Automaten und legen eine boolesche Maske über die Verteilung. Anthropic bietet das als Structured Outputs an, die schemakonforme Antworten über Constrained Decoding garantieren (Structured outputs). Das Prinzip lässt sich in wenigen Zeilen zeigen. Die Zahlen sind frei gewählte Beispielwerte.
import math
def softmax(logits):
m = max(logits.values())
e = {t: math.exp(v - m) for t, v in logits.items()}
s = sum(e.values())
return {t: round(v / s, 2) for t, v in e.items()}
# frei gewählte Beispielwerte, keine Messwerte
logits = {"Max": 2.1, "Herrn": 1.7, "Strafsache": 0.4}
erlaubt = {"Herrn", "Strafsache"}
maskiert = {t: (v if t in erlaubt else -math.inf) for t, v in logits.items()}
print(softmax(logits)) # {'Max': 0.54, 'Herrn': 0.36, 'Strafsache': 0.1}
print(softmax(maskiert)) # {'Max': 0.0, 'Herrn': 0.79, 'Strafsache': 0.21}
Ein maskiertes Token hat danach die Wahrscheinlichkeit null, nicht nur eine geringe. Das ist der Unterschied zu jeder Anweisung im Prompt. Der Haken liegt aber auf der Hand. Die Maske muss vorher wissen, was erlaubt ist. Ein Schema kann vorschreiben, dass im Feld „Vorname“ eine Zeichenkette steht, es kann aber nicht wissen, welche. Ein erfundener Vorname ist schemakonform. Und wo man die erlaubten Werte schon kennt, etwa aus den Stammdaten der Akte, braucht man das Modell für dieses Feld meist gar nicht.
Daraus folgt der zweite Ansatz. Exakte Daten werden nicht erzeugt, sondern ausgelesen. Namen, Aktenzeichen, Daten und Empfänger setzt gewöhnlicher Code aus der Primärquelle zusammen, das Modell bekommt diese Felder gar nicht erst zur Formulierung. Was das Modell dennoch liefert, wird vor jeder Außenwirkung gegen die Quelle geprüft, im einfachsten Fall mit einem Wortabgleich wie im ersten Beitrag.
Der dritte Ansatz betrifft den Kontext. Weil alles, was im Kontext steht, mitwirkt, gehört in den Kontext nur, was zur aktuellen Aufgabe gehört. Jede Akte bekommt eine eigene Sitzung oder einen eigenen Hilfsagenten mit frischem Kontext. Das ist nicht nur eine Frage der Fehlerquote, sondern auch der Verschwiegenheit, denn was nicht im Kontext steht, kann auch nicht in die falsche Akte geraten.
Fazit
Halluzinationen sind kein Programmierfehler, den der nächste Modellwechsel behebt. Sie folgen aus dem Prinzip. Ein Modell, das Wahrscheinlichkeiten berechnet, aus dem Kontext kopiert, im Zweifel lieber rät und seine eigenen Ausgaben als Quelle behandelt, wird gelegentlich etwas Plausibles liefern, das nicht stimmt. Ein Verbot im Prompt verschiebt diese Wahrscheinlichkeit, es setzt sie nicht auf null. Auf null setzen sie nur Maßnahmen außerhalb des Modells, also Masken, deterministischer Code und saubere Trennung der Kontexte. Und dahinter bleibt, wie immer, der Anwalt, der hinsieht, bevor etwas hinausgeht.
Quellen
- Ji u. a. – Survey of Hallucination in Natural Language Generation (ACM Computing Surveys, englisch)
- Huang u. a. – A Survey on Hallucination in Large Language Models (arXiv, englisch), 2023
- Holtzman u. a. – The Curious Case of Neural Text Degeneration (ICLR 2020, englisch)
- Vaswani u. a. – Attention Is All You Need (arXiv, englisch), 2017
- Olsson u. a. – In-context Learning and Induction Heads (arXiv, englisch), 2022
- Liu u. a. – Lost in the Middle (TACL, englisch), 2023
- Kalai u. a. – Why Language Models Hallucinate (arXiv, englisch), 2025
- Jang u. a. – Can Large Language Models Truly Understand Prompts? (arXiv, englisch), 2022
- Truong u. a. – Language models are not naysayers (arXiv, englisch), 2023
- Zhang u. a. – How Language Model Hallucinations Can Snowball (arXiv, englisch), 2023
- Chen u. a. – Reasoning Models Don’t Always Say What They Think (arXiv, englisch), 2025
- Willard, Louf – Efficient Guided Generation for Large Language Models (arXiv, englisch), 2023
- Anthropic – Glossary, Working with messages, Reduce hallucinations, Structured outputs (englisch)
Stand 30. Oktober 2026