Legal-AI-Benchmarks benötigen mehr als nur einen Score
Legal-AI-Rankings sollten den gesamten Arbeitsprozess von Mensch und KI bewerten, nicht nur die Genauigkeit bei der Aufgabenerfüllung. Neben der Qualität sollten sie auch die Bearbeitungsdauer, die Kosten bis zum fertigen Ergebnis und den erforderlichen menschlichen Überprüfungsaufwand ausweisen. Diese Kennzahlen zeigen, welchen Gegenwert Kanzleien und ihre Mandanten tatsächlich für ihr Geld erhalten und ob ein KI-Agent echte zusätzliche Kapazitäten schafft, statt lediglich mit beeindruckenden Benchmark-Ergebnissen zu glänzen.
Legal-AI-Rankings sollten den gesamten Arbeitsprozess von Mensch und KI bewerten, nicht nur die Genauigkeit bei der Aufgabenerfüllung. Neben der Qualität sollten sie auch die Bearbeitungsdauer, die Kosten bis zum fertigen Ergebnis und den erforderlichen menschlichen Überprüfungsaufwand ausweisen. Diese Kennzahlen zeigen, welchen Gegenwert Kanzleien und ihre Mandanten tatsächlich für ihr Geld erhalten und ob ein KI-Agent echte zusätzliche Kapazitäten schafft, statt lediglich mit beeindruckenden Benchmark-Ergebnissen zu glänzen.
Das Problem mit einem einzelnen Score
Legal-AI-Benchmarks sollten mehr messen als nur die Genauigkeit. Ein hoher Score mag beeindruckend aussehen, sagt aber nichts darüber aus, wie viel Aufwand das System betreiben musste, um dieses Ergebnis zu erzielen. Ein KI-Agent erreicht möglicherweise ein hervorragendes Resultat, verbraucht dafür aber Millionen von Tokens. Ein anderer erzielt einen geringfügig tieferen Score, erledigt dieselbe Aufgabe jedoch wesentlich schneller und kostengünstiger.
Was Rankings ausweisen sollten
Diese Unterscheidung ist gerade in der juristischen Praxis entscheidend. Denn der tatsächliche Nutzen eines Systems hängt nicht nur von der Qualität seiner Ergebnisse ab, sondern ebenso von Kosten, Geschwindigkeit und Zuverlässigkeit.
Ein aussagekräftiges Ranking sollte deshalb vier Faktoren berücksichtigen:
- Qualität: Wie gut hat der KI-Agent die Aufgabe gelöst?
- Bearbeitungsdauer (Time to Completion): Wie lange dauerte der gesamte Arbeitsprozess?
- Kosten (Cost to Completion): Welche Kosten entstanden bis zum Vorliegen eines brauchbaren Ergebnisses?
- Menschliche Überprüfung (Human Verification): Wie viel Zeit und Aufmerksamkeit mussten Juristinnen und Juristen für die Kontrolle des Ergebnisses aufwenden?
Der Tokenverbrauch kann dabei eine hilfreiche ergänzende Kennzahl sein. Für die operative Effizienz sind jedoch die gesamte Bearbeitungsdauer, die Kosten und der Überprüfungsaufwand wesentlich aussagekräftiger. Entscheidend ist der vollständige Arbeitsprozess im Zusammenspiel von Mensch und KI, nicht allein die Rechenzeit des Modells.
Benchmarks wie der Legal Agent Benchmark (LAB) von Harvey oder LEXam können beispielsweise wertvolle Erkenntnisse darüber liefern, wie leistungsfähig ein System ist. Ihre Scores sollten jedoch nicht als alleiniger Bewertungsmassstab dienen. Erst die gemeinsame Betrachtung von Qualität, Bearbeitungsdauer, Kosten und menschlichem Überprüfungsaufwand vermittelt ein aussagekräftiges Bild des praktischen Nutzens eines KI-Agenten.
Dabei geht es nicht darum, dass für jede Aufgabe dieselben Anforderungen gelten müssen. Ein Tool, das sich hervorragend für einen kurzen, risikoarmen Erstentwurf eignet, kann für eine komplexe juristische Analyse mit umfangreicher Quellenprüfung ungeeignet sein. Werden alle vier Kennzahlen offengelegt, werden solche Unterschiede sichtbar, statt hinter einem einzigen Gesamtscore zu verschwinden.
Welchen Gegenwert Kunden für ihr Geld erhalten
Diese Kennzahlen zeigen auch, welchen Gegenwert Kunden tatsächlich für ihr Geld erhalten. Ein System, das grosse Mengen an Tokens verbraucht, verursacht möglicherweise höhere Betriebskosten oder führt dazu, dass Nutzer innerhalb der Limiten ihres Abonnements weniger Aufgaben erledigen können.
Eine ausgewogene Betrachtung von Qualität, Geschwindigkeit, Kosten und menschlichem Überprüfungsaufwand hilft Rechtsabteilungen und Kanzleien deshalb nicht nur einzuschätzen, ob ein KI-Agent eine bestimmte Aufgabe bewältigen kann. Sie zeigt auch, ob er im Verhältnis zu seinem Preis einen ausreichenden praktischen Mehrwert bietet.
Das Überprüfungsparadox und die darin liegende Chance
Hinzu kommt das bekannte Überprüfungsparadox (Verification Paradox). Je mehr Inhalte ein KI-System für eine Juristin oder einen Juristen produziert, desto mehr Zeit muss möglicherweise für deren Überprüfung aufgewendet werden.
Selbst wenn leistungsfähigere Modelle offensichtliche Halluzinationen reduzieren, bedeutet das nicht zwangsläufig, dass ihre Ergebnisse einfacher zu kontrollieren sind. Im Gegenteil: Sprachlich überzeugende und plausibel wirkende Texte können den kognitiven Aufwand sogar erhöhen, weil verbleibende Fehler subtiler und schwieriger zu erkennen sind.
Juristinnen und Juristen müssen nicht nur prüfen, ob ein zitierter Entscheid oder eine Rechtsquelle tatsächlich existiert. Sie müssen auch beurteilen, ob diese korrekt interpretiert wurde und ob ein Gericht die ihm zugeschriebene Aussage tatsächlich getroffen hat.
Automatisierung führt deshalb nicht automatisch zu einer proportionalen Reduktion des juristischen Arbeitsaufwands. Ein Teil der bei der Erstellung eingesparten Zeit kann sich schlicht auf die Überprüfung verlagern. Dieser Kontrollaufwand muss in die Bewertung einfliessen, statt das vom KI-Agenten produzierte Ergebnis bereits als vollständig erledigte Aufgabe zu betrachten.
Gleichzeitig haben Qualitätsverbesserungen einen eigenständigen Wert. Ein KI-System kann Arbeiten ermöglichen, die bisher wirtschaftlich kaum sinnvoll oder praktisch gar nicht durchführbar waren. Diese zusätzlichen Fähigkeiten sollten ebenso erfasst werden wie Zeit und Kosten.
Darüber hinaus kann KI einer Kanzlei ermöglichen, ihr Dienstleistungsangebot zu erweitern, statt lediglich bestehende Arbeiten schneller zu erledigen. Auch dieser Zugewinn an Leistungsfähigkeit gehört zum Mehrwert, den eine aussagekräftige Evaluation abbilden sollte.
Was für uns wirklich nützliche Legal AI ausmacht
Aus dieser Perspektive beurteilen wir, ob ein KI-System für Juristinnen und Juristen tatsächlich einen Mehrwert schafft. Wir betrachten nicht nur die Qualität seiner Ergebnisse, sondern den gesamten Arbeitsprozess: die erreichte Qualität, die benötigte Zeit, die anfallenden Kosten und den menschlichen Überprüfungsaufwand, bevor sich eine Juristin oder ein Jurist auf das Ergebnis verlassen kann.
Diesen Ansatz versuchen wir auch in unserem Unternehmen konsequent umzusetzen. Dabei geht es nicht um Marketing. Ein hoher Benchmark-Score ist erfreulich, schafft für sich allein aber noch keinen Kundennutzen.
Entscheidend ist, ob ein System in der juristischen Praxis tatsächlich zusätzliche Kapazitäten schafft und den Mandanten einen besseren Gegenwert bietet.
Deshalb sind wir überzeugt, dass Legal-AI-Rankings künftig vier Kennzahlen gleichberechtigt und transparent ausweisen sollten: Qualität, Bearbeitungsdauer, Kosten und menschlichen Überprüfungsaufwand.