Legal Research Bench – KI-Agenten lösen US-Rechercheaufgaben selten vollständig

Mit dem Legal Research Bench hat das US-Evaluationsunternehmen Vals AI am 30. September 2026 einen Benchmark veröffentlicht, der KI-Agenten an echten Rechercheaufgaben aus dem US-Recht misst (Originalpaper). Nach dem Ergebnis der Autoren Katrina Drozdov, Oliver Chen, Langston Nashold und Rayan Krishnan beantwortete selbst das beste der dreizehn getesteten Modelle nur 42,9 Prozent der Fragen vollständig richtig.

Das Paper ist beim Workshop „AI Measurement Science“ der Konferenz COLM 2026 erschienen. Der Benchmark umfasst 413 offene Rechtsfragen aus acht Rechtsgebieten des US-Bundes- und Landesrechts, darunter Zivilprozess, Strafrecht, Familien-, Migrations- und Gesundheitsrecht. Fragen, Musterantworten und Bewertungsraster wurden nach Angaben von Vals AI von praktizierenden Anwälten verfasst und gegenseitig geprüft. Jede Frage ist mit durchschnittlich gut sechs maßgeblichen Quellen und rund neun Prüfkriterien hinterlegt.

Strenger Maßstab – alles oder nichts

Die Agenten arbeiteten mit Websuche, Rechtsprechungsdatenbank, Seitenauswertung und Dokumentenabruf. Bewertet wurde nach dem Alles-oder-nichts-Prinzip. Eine Antwort gilt nur dann als richtig, wenn sie sämtliche Kriterien erfüllt und alle zitierten Fundstellen sich verifizieren lassen. Die Bewertung übernimmt ein Sprachmodell. Die Autoren haben es zuvor an der Einschätzung von drei Anwälten geeicht. Das Modell stimmte mit dem Mehrheitsvotum der Anwälte in 87,4 Prozent der Fälle überein, die Anwälte untereinander in 83,4 Prozent.

Ergebnisse

Im Paper erreichte Claude Opus 4.8 mit 42,9 Prozent den höchsten Wert, gefolgt von GPT-5.5 (40,0 Prozent) und Claude Sonnet 4.6 (38,5 Prozent). Das schwächste Modell kam auf 12,6 Prozent. Nach Teilpunkten gewertet lagen die Modelle dagegen zwischen 68 und 86 Prozent – sie treffen also meist den Großteil der Antwort, verfehlen aber mindestens ein notwendiges Element. Deutlich schlechter schnitten alle Modelle bei Fragen ab, die widersprüchliche Normen oder Entscheidungen in Einklang bringen müssen. Mehr Rechenaufwand half nicht. Das beste Modell brauchte die wenigsten Arbeitsschritte, während ein Modell mit durchschnittlich fast 100 Schritten nur 15,5 Prozent erreichte.

Die öffentliche Rangliste von Vals AI wurde am 1. Oktober 2026 um neuere Modelle ergänzt. Dort erreichen die drei besten Systeme gleichauf 55,29 Prozent. Claude Opus 5 etwa kommt nach Teilpunkten auf 90,58 Prozent, nach dem strengen Maßstab aber nur auf diese 55,29 Prozent. Bei Fragen mit widersprüchlichen Quellen fallen die Werte je Modell um 6 bis 17 Punkte ab. Familien- und Migrationsrecht gelten danach als die schwierigsten Gebiete. Der Testdatensatz bleibt unveröffentlicht, um Überanpassung zu vermeiden.

Harvey LAB misst ganze Arbeitsaufträge

Ein ähnliches Bild zeigt ein zweiter Benchmark, der nicht die Recherche, sondern ganze juristische Arbeitsaufträge misst. Harvey hat im Mai 2026 seinen Legal Agent Benchmark (LAB) als Open Source veröffentlicht, mit mehr als 1.200 Aufgaben aus 24 Rechtsgebieten. Auch dort gilt eine Aufgabe nur als gelöst, wenn jedes einzelne Bewertungskriterium erfüllt ist. Artificial Analysis betreibt dazu seit Juli 2026 eine unabhängige Rangliste mit 120 nicht veröffentlichten Aufgaben, Harvey LAB-AA. Zum Start erreichte das beste Modell 14,2 Prozent, 13 von 28 getesteten Modellen lösten keine einzige Aufgabe vollständig. In der aktuellen Version 1.1, die eine Aufgabe bei einer wesentlichen Halluzination zusätzlich mit null Punkten wertet, liegt der Spitzenwert bei 13,1 Prozent. Die Werte beider Versionen sind nicht miteinander vergleichbar.

Einordnung

Vals AI ist ein kommerzieller Anbieter von KI-Bewertungen. Die Angaben zu Methode und Prüfung stammen von den Autoren selbst. Inhaltlich bestätigt der Benchmark, was die Debatte um erfundene Fundstellen nahelegt. Eine weitgehend richtige Antwort ist in der Rechtsberatung nicht dasselbe wie eine vollständige. Gerade die Lücke zwischen Teil- und Vollbewertung zeigt, warum die Kontrolle durch den Anwalt erforderlich bleibt. Auf Deutschland übertragbar ist dieser methodische Befund, die konkreten Werte sind es nicht. Getestet wurde ausschließlich US-Recht mit US-Quellen, nicht die Recherche in deutschen Gesetzen, Kommentaren und Datenbanken. Vergleichbare Messungen für das deutsche Recht liegen bislang nicht vor. Einen Hinweis gibt LEXam, ein Benchmark aus 340 Rechtsprüfungen auf Deutsch und Englisch mit Fragen zum Schweizer und zum internationalen Recht (Fan u. a.). Dort schnitten die Modelle auf Deutsch und beim Schweizer Recht deutlich schlechter ab als auf Englisch und bei internationalen Fragen. Hinweise zum verantwortungsvollen Einsatz gibt die Seite KI für Anwälte.