In meinen Arbeitsregeln für die KI steht seit Monaten ein unmissverständlicher Satz. Erfinde nichts, keine Zahlen, Daten, Namen, Fundstellen, Aktenzeichen. Vor einigen Wochen hat mein KI-Agent trotzdem einen Vornamen erfunden, und zwar in der Betreffzeile einer beA-Nachricht an ein Gericht. Der Vorfall ist klein, die Lehre daraus nicht. Wer Halluzinationen verhindern will, kommt mit einem Verbot im Prompt nicht weit.
Der Vorfall
Der Auftrag war Routine. Ein von mir geprüfter und freigegebener Schriftsatz sollte in die Kanzleisoftware hochgeladen, ins PDF/A-Format umgewandelt und für den Versand per beA vorbereitet werden, einschließlich Empfänger und Betreff. Im Rubrum des Schriftsatzes stand der Mandant ohne Vornamen.
Technisch lief alles fehlerfrei. Als ich die vorbereitete Nachricht vor dem Absenden kontrollierte, stand im Betreff aber plötzlich ein Vorname vor dem Nachnamen. Diesen Vornamen gibt es in der Akte nicht. Er steht weder im Schriftsatz noch in den Stammdaten noch in einem früheren Vorgang. Das Modell hat ihn erzeugt, gegen die ausdrückliche Anweisung, genau das nicht zu tun. Abgeschickt wurde die Nachricht so nicht.
Namen und Einzelheiten der Mandate lasse ich hier weg, auch den erfundenen Vornamen, weil er Rückschlüsse auf ein anderes Mandat erlauben würde. Für das Verständnis braucht es sie nicht.
Woher der Name kam
Das Sitzungsprotokoll des Agenten zeigt, was vorher geschehen war. Wenige Minuten zuvor hatte das Modell im selben Arbeitsgang einen Vorgang in einem anderen Mandat bearbeitet. Der Familienname dieses anderen Mandanten beginnt mit denselben Buchstaben wie der erfundene Vorname. In den Zwischenüberlegungen, die das Modell vor der eigentlichen Ausgabe notiert, erschien der Mandant aus dem neuen Vorgang danach bereits mit diesem Vornamen.
Zwei Dinge fallen daran auf. Erstens taucht der falsche Vorname schon in den Zwischenüberlegungen auf, nicht erst im Betreff. Das Modell hat ihn also nicht beim Formulieren der Betreffzeile erfunden, sondern einen eigenen, früheren Fehler übernommen. Was es selbst geschrieben hat, behandelt es im weiteren Verlauf wie eine Tatsache aus der Akte.
Zweitens liegt eine Erklärung nahe, beweisen lässt sie sich aber nicht. Die Anfangsbuchstaben aus dem vorherigen Mandat standen noch im Kontext, und eine Parteibezeichnung hat üblicherweise die Form Vorname und Nachname. Das Modell hat die Lücke mit dem Naheliegenden gefüllt. Was im Inneren des Netzes genau abläuft, kann von außen niemand nachweisen. Wer das Gegenteil behauptet, verkauft eine Deutung als Befund.
Für die Praxis ist die genaue Ursache auch nicht entscheidend. Entscheidend ist, dass Material aus einem fremden Mandat in eine Nachricht an ein Gericht geraten ist, obwohl eine Regel genau das verbot.
Warum ein Verbot im Prompt nicht trägt
Ein Sprachmodell ist keine Datenbank und kein Programm, das Regeln abarbeitet. Es berechnet bei jedem Schritt, welches Textstück am wahrscheinlichsten als Nächstes folgt, und wählt danach aus. Eine Anweisung im Prompt ist Teil dieses Kontexts. Sie verschiebt Wahrscheinlichkeiten, oft sehr wirksam. Sie ist aber keine Sperre, die eine bestimmte Ausgabe technisch ausschließt. Wenn der übrige Kontext stark genug in eine andere Richtung zieht, verliert die Anweisung.
Verbote haben einen zusätzlichen Nachteil. Sprachmodelle tun sich mit Verneinungen schwer. In einer Studie von 2022 wurden größere Modelle bei verneinten Anweisungen sogar schlechter statt besser (Jang u. a.). Eine Untersuchung von 2023 fand, dass die getesteten Modelle auf eine Verneinung im Text kaum reagierten (Truong u. a.). Beide Studien prüften ältere Modelle. Wie weit die heutigen das besser können, beantworten sie nicht. Anthropic rät in seiner Anleitung zum Prompting jedenfalls bei der Steuerung des Ausgabeformats ausdrücklich, dem Modell zu sagen, was es tun soll, statt was es nicht tun soll.
Das erinnert an das bekannte Experiment des Psychologen Daniel Wegner, in dem Versuchspersonen ausdrücklich nicht an einen weißen Bären denken sollten und ihn trotzdem nicht loswurden (Wegner u. a., 1987). Der Vergleich hinkt, weil ein Modell nicht denkt wie ein Mensch. Die praktische Folgerung ist aber dieselbe. Wer nur verbietet, sagt nicht, was stattdessen geschehen soll.
Hinzu kommt der Effekt, den der Vorfall zeigt. Ein Modell, das einmal einen Fehler gemacht hat, baut darauf weiter auf. Die Forschung nennt das „Hallucination Snowballing“. Sprachmodelle halten danach an einem frühen Fehler fest und erzeugen Folgefehler, die sie bei isolierter Prüfung selbst als falsch erkennen würden (Zhang u. a., 2023). Je länger eine Sitzung läuft und je mehr verschiedene Vorgänge darin bearbeitet werden, desto mehr eigenes Material hat das Modell, auf das es sich irrtümlich stützen kann.
Was das für Anwältinnen und Anwälte bedeutet
Ein falscher Vorname im Betreff wirkt harmlos. Derselbe Mechanismus kann aber ein Aktenzeichen verdrehen, eine Nachricht an das falsche Gericht adressieren oder eine Bankverbindung in einer Zahlungsaufforderung verändern. Kein Gericht und keine Kammer wird sich mit dem Hinweis zufriedengeben, man habe der KI das ausdrücklich verboten.
Schwerer wiegt aus meiner Sicht etwas anderes. Der Vorname ist aus einem fremden Mandat entstanden. Wenn Daten eines Mandanten in die Korrespondenz eines anderen geraten, ist das nicht nur ein Schreibfehler, sondern eine Frage der Verschwiegenheit nach § 43a Abs. 2 BRAO. Hier waren es nur ein paar Buchstaben, aus denen ein erfundener Vorname wurde. Bei einer Anschrift, einem Tatvorwurf oder einer Diagnose sähe das anders aus. Die Trennung der Mandate ist deshalb keine Frage der Ordnung, sondern eine Berufspflicht, die auch beim KI-Einsatz gilt. Mehr zu Prüfpflicht und Verschwiegenheit steht im Beitrag KI in der Strafverteidigung.
Auf „Senden“ klicke ich selbst, und das nicht nur aus Vorsicht. Nach § 23 Abs. 3 Satz 5 RAVPV kann der Postfachinhaber das Recht, nicht qualifiziert elektronisch signierte Dokumente auf einem sicheren Übermittlungsweg zu versenden, nicht auf andere Personen übertragen. Ob es genügt, einer KI ausdrücklich die Anweisung zum Absenden zu geben, ist eine eigene Frage. Der Vorfall zeigt jedenfalls, warum sich die letzte Freigabe auf genau die Nachricht beziehen muss, die hinausgeht.
Was stattdessen hilft
Ich habe den Prompt nach dem Vorfall nicht länger, strenger oder drohender formuliert. Ich habe die Abläufe so umgebaut, dass die Regel nicht mehr allein vom Wohlverhalten des Modells abhängt.
- Metadaten werden nicht erzeugt, sondern ausgelesen. Namen, Aktenzeichen, Daten und Beträge schreibt kein Sprachmodell frei. Die Betreffzeile setzt ein gewöhnliches Programm aus den Feldern der Akte und dem Rubrum des freigegebenen Schriftsatzes zusammen. Steht dort kein Vorname, bleibt das Feld leer. Das Modell ist an diesem Schritt nicht beteiligt.
- Vor dem Versand prüft Code, nicht das Modell. Bevor mir eine Nachricht zum Absenden vorgelegt wird, vergleicht ein kurzes Skript jedes Wort des Betreffs mit dem freigegebenen Rubrum. Taucht ein Wort auf, das dort nicht steht und auch nicht zu den zulässigen Standardbegriffen gehört, bricht der Vorgang mit einer Fehlermeldung ab. Eine solche Prüfung ist simpel, aber sie wird nicht müde und lässt sich von keinem Kontext überreden.
- Jede Akte in einer eigenen Sitzung. Mehrere Mandate nacheinander im selben Arbeitsgang zu bearbeiten, ist bequem und genau die Konstellation, in der es passiert ist. Ein laufender Kontext lässt sich nicht nachträglich bereinigen. Was einmal darin steht, steht darin. Deshalb bekommt jede Akte eine frische Sitzung oder einen eigenen Hilfsagenten, der nur die Unterlagen dieser einen Akte sieht.
- Die letzte Kontrolle mache ich. Keine Nachricht verlässt die Kanzlei, bevor ich Empfänger, Aktenzeichen, Betreff und Anlagen im Klartext gesehen habe. Genau diese Kontrolle hat den Fehler hier gefunden.
Die Prüfung vor dem Versand kann etwa so aussehen. Das Beispiel ist bewusst schlicht gehalten.
import re
ERLAUBT = {"strafsache", "gg", "gegen", "az", "wegen", "und"}
def woerter(text):
return {w.lower() for w in re.findall(r"[\w-]+", text)}
def pruefe_betreff(betreff, rubrum):
fremd = woerter(betreff) - woerter(rubrum) - ERLAUBT
if fremd:
raise ValueError(f"Versand gestoppt. Nicht im Rubrum {sorted(fremd)}")
pruefe_betreff("Strafsache gg. Max Muster",
"In der Strafsache gegen Herrn Muster")
# bricht ab mit ValueError, Versand gestoppt. Nicht im Rubrum ['max']
Ein solches Skript ersetzt keine Sorgfalt, und auch Code kann Fehler haben. Aber sein Verhalten ist vorhersehbar. Es tut bei denselben Eingaben immer dasselbe, und genau diese Eigenschaft fehlt einem Sprachmodell. Wo ein Modell strukturierte Daten liefern soll, lässt sich seine Ausgabe inzwischen zwar auch technisch auf ein vorgegebenes Schema beschränken, Anthropic etwa nennt das Structured Outputs. Das sichert aber nur die Form, nicht den Inhalt. Ein erfundener Vorname passt in jedes Namensfeld.
Was daraus folgt
Sprachmodelle sind deshalb nicht unbrauchbar. Ich nutze sie täglich, um umfangreiche Akten zu ordnen, Widersprüche zwischen Aussagen aufzuspüren oder erste Entwürfe für Rechtsausführungen zu schreiben. Dort sind sie eine echte Hilfe. Aber auch dort gilt dieselbe Regel. Jede Fundstelle, jede Blattzahl und jedes Zitat wird am Original geprüft, bevor es einen Schriftsatz erreicht.
Die Arbeitsteilung, die sich bei mir bewährt hat, ist einfach. Das Modell liest, ordnet und formuliert. Herkömmlicher Code übernimmt alles, was exakt sein muss, also Namen, Aktenzeichen, Daten, Empfänger und die Kontrollen vor dem Versand. Und am Ende entscheidet der Anwalt.
Man kann einem Sprachmodell das Halluzinieren nicht verbieten. Man kann aber Abläufe bauen, in denen eine Halluzination nicht bis zum Gericht gelangt.
Quellen
- Zhang u. a. – How Language Model Hallucinations Can Snowball (arXiv, englisch), 2023
- Jang u. a. – Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts (arXiv, englisch), 2022
- Truong u. a. – Language models are not naysayers (arXiv, englisch), 2023
- Wegner u. a. – Paradoxical Effects of Thought Suppression (Journal of Personality and Social Psychology 53, S. 5–13, englisch), 1987
- Anthropic – Prompting best practices (englisch)
- Anthropic – Structured outputs (englisch)
- § 23 RAVPV (gesetze-im-internet.de)
Stand 30. Oktober 2026