Auslegungsmethoden erkennen – Benchmark testet KI an Entscheidungen des BVerfG

Wie gut erkennen Sprachmodelle, ob ein Gericht grammatisch, systematisch, historisch oder teleologisch argumentiert? Zu KI und Auslegungsmethoden hat Felix Ringe vom Fachbereich Rechtswissenschaft der Freien Universität Berlin am 22. September 2026 einen Benchmark auf arXiv veröffentlicht, der auf Entscheidungen des Bundesverfassungsgerichts beruht (Originalpaper). Die Arbeit ist für den Workshop „AI for Law“ der internationalen Machine-Learning-Konferenz ICML 2026 in Seoul angenommen.

Die empirische Rechtswissenschaft untersucht seit Langem, mit welchen Argumenten Gerichte ihre Entscheidungen begründen. Bisher war das aufwendige Handarbeit, und automatisierte Ansätze arbeiteten auf Absatzebene. Ringe geht eine Stufe genauer. Klassifiziert wird jeder einzelne Satz der Entscheidungsgründe. Grundlage sind die vier klassischen Auslegungscanones in der Tradition Savignys, wie Karl Larenz sie formuliert hat.

Datensatz und Aufgaben

Der Datensatz umfasst 28 Entscheidungen aus der amtlichen Sammlung BVerfGE, entnommen einem bestehenden Korpus von Verfassungsgerichtsentscheidungen. 15 davon sind vollständig Satz für Satz annotiert, 13 weitere nur für die selteneren Klassen. Daraus entstehen acht Teilaufgaben, nämlich sieben binäre Klassifikationen – etwa, ob ein Satz überhaupt ein Auslegungsargument trägt und welchem Canon er zuzuordnen ist – sowie die Erkennung der Normen, auf die sich ein Satz bezieht. Annotiert hat ein Doktorand der Rechtswissenschaft. Code und Daten sind öffentlich zugänglich.

Ergebnisse

Getestet wurden vier Modelle aus drei Familien, nämlich DeepSeek-V4 in den Varianten Pro und Flash, Gemini 3.5 Flash Lite und MiniMax M3. Der mittlere F1-Wert über die sieben binären Aufgaben lag zwischen 70,4 und 79,2. Am leichtesten fiel den Modellen in der Regel die grammatische Auslegung, am schwersten die systematische. Automatisch optimierte Prompts schnitten nicht systematisch besser ab als von Hand formulierte Expertenanweisungen.

Aufschlussreich ist die Fehleranalyse. Die Modelle ließen sich von Oberflächenmerkmalen leiten. Das Wort „Wortlaut“ genügte ihnen als Hinweis auf grammatische Auslegung, jede Nennung einer zweiten Vorschrift als Hinweis auf systematische Auslegung. Teleologische Argumente, die sich über mehrere Sätze aufbauen, übersahen sie häufig in ihren Fortsetzungs- und Schlusssätzen. Der Autor betont selbst die Grenzen – nur ein Annotator, nur ein Gericht in einer Sprache, ein überschaubarer Datensatz und entsprechend breite Konfidenzintervalle. Er versteht die Ergebnisse als Ausgangspunkt.

Einordnung

Der Benchmark ist ein Forschungswerkzeug, kein Praxisprodukt. Er misst, ob Modelle juristische Begründungsstrukturen erkennen – eine Voraussetzung etwa für Werkzeuge, die Rechtsprechung nach Argumentationsmustern auswerten oder Schriftsätze strukturieren sollen. Anders als die meisten Benchmarks für Legal-LLMs, die auf US-Recht beruhen, arbeitet er mit deutschem Material und ist damit für die hiesige Rechtswissenschaft unmittelbar anschlussfähig. Die Fehleranalyse zeigt zudem ein Muster, das auch Anwender kennen sollten. Ein Modell kann ein Signalwort erkennen, ohne das dahinterstehende Argument zu erfassen. Ob die Befunde auf Fachgerichte oder andere Textsorten übertragbar sind, lässt die Arbeit ausdrücklich offen. Mehr zu den Grundlagen bietet die Seite Was ist Legal Tech?