Die KI als „Kollegin“: Wäre das denn so schlimm?

Bei allen positiven Veränderungen, die eine emanzipierte generative KI in Bezug auf juristische Tätigkeiten herbeiführen kann, haben die angedeuteten Visionen auch etwas Beängstigendes. Und das liegt sicherlich daran, dass der Einsatz von KI, gerade im juristischen Kontext, auch Gefahren und Risiken mit sich bringt. Viel wurde und wird beispielsweise über die schlechte Qualität und fehlende Verlässlichkeit von KI-Output, die mangelnde Transparenz sowie ethische Fragen gesprochen. In der öffentlichen Diskussion, etwa in Form der unzähligen KI-Fails in Social Media und Blogs, kommt mir persönlich jedoch eine Sache regelmäßig zu kurz: Der naheliegende Vergleich, wie es denn wäre, wenn man die KI eben nicht (so) einsetzen würde. Oftmals werden an KI nämlich Aspekte kritisiert, die ehrlicherweise uns Menschen ebenfalls oder erst recht fehlen.

Qualität

Werfen wir zunächst einen Blick auf das für mich naheliegendste Thema, die Qualität. Wie viele andere mache auch ich sehr regelmäßig negative und frustrierende Erfahrungen bei der Nutzung generativer KI. Halluzinationen und Biases sind nur einzelne Beispiele für unerwünschte Ergebnisse, die zwar bei einer hypothetischen menschlichen Kollegin auch vorkommen könnten, aber ziemlich sicher nicht in diesem Umfang und mit dieser Häufigkeit. Nun mag man einwenden, dass LLMs eben oft auch für etwas eingesetzt werden, wofür sie gar nicht entwickelt wurden, zum Beispiel für reine Wissensfragen.

Auf der anderen Seite werden aber auch immer weitere Fähigkeiten der LLMs behauptet, die über die reine Textgenerierung hinausgehen, etwa das angesprochene Reasoning oder eine wissenschaftliche Recherche. Hieran müssen sie sich dann auch messen lassen. Wenn also zum Beispiel eine Studie feststellt, dass acht bekannte generative Suchtools (darunter Perplexity, Gemini und ChatGPT) in Tests auf mehr als 60 % der Fragen falsche Antworten gaben (vgl. Jazwinska/Chandrasekar, AI Search Has A Citation Problem.), ist das gelinde gesagt problematisch.

Verlässlichkeit

Auch in Sachen Verlässlichkeit macht man beim Einsatz generativer KI immer wieder schlechte Erfahrungen, etwa wenn sich das LLM neun Mal perfekt anstrengt und sich an eindeutige Vorgaben aus dem Prompt hält und beim zehnten Mal aus unerfindlichen Gründen nicht mehr. Außerdem scheint es nach wie vor eine ungelöste Aufgabe zu sein, LLMs effektiv vor Manipulationen und der Extraktion ungewünschter Informationen (wie einer Bombenbauanleitung, die wohl mit verschiedenen Tricks noch immer erzeugt werden kann) zu schützen. Auch in diesen Punkten gehe ich davon aus, dass eine menschliche Kollegin der KI nach wie vor überlegen wäre.

Qualitätssicherung

Ein weiterer Aspekt, der aus meiner Sicht zu Ungunsten der KI ausgeht: Die Qualitätssicherung. Sicherlich wird man sich auch bei Menschen schwertun, delegierte umfangreiche Arbeitsergebnisse nicht nur stichprobenartig, sondern gewissenhaft nachzuprüfen. Angesichts der schieren Menge an Informationen und Schritten, die eine KI im Gegensatz zum Menschen in einer überschaubaren Zeitspanne abarbeiten kann, überschreitet die Machbarkeit einer sorgfältigen Qualitätskontrolle bei einer KI aber ungleich schneller die Grenze zum Unmöglichen.

Transparenz

Ein weiterer Kritikpunkt, der im Zusammenhang mit KI oftmals genannt wird, zielt auf die mangelnde Transparenz. Gerade bei LLMs wissen aufgrund der technischen und funktionalen Strukturen oft nicht einmal die Entwickler und Anbieter genau, warum eine bestimmte Entscheidung vom Modell getroffen wurde („Blackbox“-Thematik). (Vgl. BSI, Whitepaper des BSI zur Erklärbarkeit von KI im adversarialen Kontext, S. 5.) Allerdings tragen gerade die Aspekte der Emanzipation von generativer KI (Reasoning, Websuche und Deep Research sowie agentische KI) aus meiner Sicht erheblich dazu bei, dass die Transparenz verbessert wird, indem Suchvorgänge, Planungs- und Ausführungsschritte sowie Quellen offengelegt und damit erklärbar und auch nachprüfbar werden.

Gerade bei diesem Thema der Nachvollziehbarkeit möchte ich auf den Umstand hinweisen, dass eine menschliche Kollegin auch nicht vollständig „transparent“ agieren würde. Sie könnte Informationen, Intentionen und ähnliches für sich behalten oder mich gar anlügen. Dies soll den Vorwurf mangelnder Transparenz, der LLMs oftmals gemacht wird, nicht gänzlich entkräften, er steht angesichts der anderen Kritikpunkte für mich jedoch nicht im Vordergrund.

Verantwortlichkeit und Haftung

Ein weiteres wichtiges Thema: die Verantwortlichkeit und Haftung. Stand jetzt wird eine KI (oder deren Entwickler beziehungsweise Anbieter) bei Fehlern oder anderen von ihr verursachten Problemen in vielen Fällen weder eine Haftung gegenüber etwaigen Geschädigten noch Verantwortung, beispielsweise gegenüber Vorgesetzten, übernehmen. Hier unterscheidet sich die KI-Kollegin also nach wie vor von einer menschlichen Kollegin, die je nach Absprachen durchaus eine eigene Verantwortlichkeit und Haftung treffen würde.

Verstärkt wird das Problem der unzureichenden Verantwortlichkeit von KI-Systemen durch den zuvor genannten Aspekt der Intransparenz: Denn gerade durch die technischen Gegebenheiten eines LLMs wird regelmäßig gar nicht ausreichend zu klären sein, wie ein Fehler im Ergebnis nun genau verursacht wurde und wer dann dafür verantwortlich sein könnte (Nutzende? Anbieter? Entwickler?).

Eine emanzipierte KI als „Kollegin“ auf Augenhöhe zu betrachten und zu behandeln, brächte zumindest derzeit einige erhebliche Probleme mit sich, allen voran bzgl. Qualität, Verlässlichkeit und Verantwortlichkeit. Die Risiken werden bei einer immer fähiger werdenden und autonomer agierenden KI eher größer, einzig in puncto Transparenz dürften die Emanzipationstendenzen meiner Meinung nach Verbesserungen bringen. Und ob mit weiter zunehmenden Fähigkeiten auch die Qualität und Verlässlichkeit des Outputs steigen wird, bleibt – angesichts der gegenwärtigen Situation mit einer gesunden Skepsis – abzuwarten.

Die naheliegende Konsequenz daraus, dass generative KI derzeit nicht geeignet ist, menschliche Juristen vollständig zu ersetzen, ist, diese weiterhin als Werkzeug oder Assistenzsystem anzusehen und einzusetzen. Das kann zum Beispiel gelingen, wenn man die KI zur reinen Textarbeit (Ausformulieren, Umformulieren), als Vorfilter oder zur Inspiration einsetzt und deren Output nur als Vorschlag oder Entwurf nutzt.

Ein Auszug aus dem Buch Garling/Niemann/Roßmann, Generative KI in der Rechtsberatung, 1. Auflage, 2025, S 89-92.

Eine weitere kostenlose Leseprobe finden Sie in unserer Onlinebibliothek Anwaltspraxis Wissen