Stanford-Studie – Benchmark-Werte von KI-Modellen gelten nicht eins zu eins im Chat

Benchmark-Werte von KI-Modellen, die über die Programmierschnittstelle (API) gemessen werden, lassen sich nicht ohne Weiteres auf die Chat-Oberflächen übertragen, mit denen Nutzer tatsächlich arbeiten. Das ist das Ergebnis einer Studie von Forschern der Stanford University um Jennifer Wang, Joachim Baumann, Daniel E. Ho und Sanmi Koyejo, die am 8. September 2026 als Preprint auf arXiv erschienen ist (Originalstudie).

Ausgangspunkt ist eine Praxis, die auch Kaufentscheidungen in Kanzleien prägt. Anbieter und Fachpresse vergleichen Modelle anhand von Benchmark-Ergebnissen. Diese werden in aller Regel über die API ermittelt – also über einen direkten, technisch konfigurierbaren Zugang. Wer dagegen ChatGPT, Claude oder Gemini im Browser nutzt, arbeitet mit einem fertigen Produkt, in dem der Anbieter eigene Systemanweisungen, Filter und Werkzeuge vorschaltet. Die Autoren prüfen, ob beides zu denselben Ergebnissen führt.

Aufbau der Untersuchung

Untersucht wurden ChatGPT, Claude und Gemini in sieben Systemvarianten und mit neun Benchmarks. Diese decken allgemeine Fähigkeiten, soziale Verzerrungen (Bias), Gefälligkeit gegenüber dem Nutzer (sycophancy) sowie die Verlässlichkeit von Wissensantworten ab. Dieselben Aufgaben wurden jeweils über die API und über die Web-Oberfläche gestellt. Störfaktoren wie Personalisierung, Werkzeugaufrufe oder zeitliche Schwankungen versuchten die Forscher methodisch auszuschließen.

Die Ergebnisse

• Im Durchschnitt erzielten die API-Messungen eine um 3,4 Prozentpunkte höhere Genauigkeit und eine um 2,1 Prozentpunkte höhere Übereinstimmung bei Wiederholung derselben Aufgabe (test–retest) als die Oberfläche.
• Bei ChatGPT entsprach der Unterschied zwischen API und Oberfläche in etwa dem Abstand zwischen GPT 5.3 und GPT 5.4 – der Wechsel des Zugangs wirkte also ungefähr so stark wie der Rückschritt um eine Modellgeneration.
• Ranglisten übertrugen sich nur teilweise. Die Rangkorrelation zwischen API- und Oberflächenreihenfolge lag bei 0,52. Am schwächsten war der Zusammenhang dort, wo die Werte eng beieinander liegen. In einzelnen Fällen kehrte sich die Reihenfolge zweier Modelle desselben Anbieters um.
• Über die API einstellbare Parameter – Systemanweisungen, Sampling-Einstellungen, Umfang des „Nachdenkens“ – verschoben das Verhalten teilweise, schlossen die Lücke aber nicht zuverlässig.

Die Autoren sprechen von einer Lücke in der Kontextvalidität. Messungen über die API seien kein verlässlicher Stellvertreter für das ausgelieferte Produkt. Als Einschränkung benennen sie selbst, dass Nutzungsbedingungen der Plattformen automatisierte Abfragen über die Oberfläche beschränken können, was unabhängige Nachprüfungen erschwert. Die Arbeit ist auch auf der Publikationsseite des Stanford RegLab gelistet.

Einordnung

Die Studie arbeitet nicht mit juristischen Aufgaben. Ihre Aussagen betreffen allgemeine Benchmarks. Für Kanzleien ist der methodische Befund dennoch unmittelbar relevant. Wer ein KI-Werkzeug anhand veröffentlichter Testwerte auswählt, kennt damit noch nicht die Leistung in der eigenen Arbeitsumgebung. Das gilt erst recht, wenn ein Rechtsprodukt ein Basismodell mit eigenen Anweisungen, Rechercheanbindungen und Filtern umhüllt – genau diese Zwischenschicht ist es, die nach der Studie die Ergebnisse verändert.

Übertragbar auf Deutschland ist der Grundgedanke ohne Einschränkung, weil er nicht von einer Rechtsordnung abhängt. Ob sich die gemessene Größenordnung auch bei deutschsprachigen Rechtsfragen zeigt, untersucht die Studie nicht. Praktisch spricht der Befund dafür, Werkzeuge vor der Einführung in genau der Form zu erproben, in der sie später genutzt werden, und Testergebnisse von Anbietern daraufhin zu lesen, über welchen Zugang sie entstanden sind. Hinweise zum Einsatz in der Kanzlei bietet die Seite KI für Anwälte.