KI-Praxis: Strategien gegen Halluzinationen, Bias und Sycophancy

Eine der größten Herausforderungen für den Einsatz generativer KI im juristischen Bereich sind Phänomene, die unmittelbar aus der Architektur, dem Training und der probabilistischen Funktionsweise dieser Technologie resultieren: Halluzinationen, Bias und Sycophancy. Was damit gemeint ist und wie Nutzer diesen Phänomenen mit Hilfe der KI entgegenwirken können, wollen wir in dieser Ausgabe von KI-Praxis betrachten.

 

Warum gute Modelle trotzdem gefährlich überzeugend sein können

Generative KI ist für juristische Recherche, Analyse, Argumentation und Textarbeit inzwischen praktisch einsetzbar. Es ist aber auch bekannt und wird von den Herstellern der Modelle stets darauf hingewiesen, dass die KI Fehler machen kann oder mitunter gar halluziniert. Die größte Gefahr ist dabei häufig nicht eine offensichtlich falsche Antwort. Problematischer sind Antworten, die plausibel klingen, juristisch sauber strukturiert erscheinen, Quellen oder Argumentationsketten enthalten, aber auf falschen Tatsachen, ungeprüften Annahmen oder einer verzerrten Perspektive beruhen.

Wir können dabei drei typische Fehlerklassen unterscheiden, die uns in der juristischen Verwendung Schwierigkeiten bereiten:

• Halluzinationen – das Modell erzeugt nicht ausreichend belegte oder falsche Informationen.
• Bias – Analyse und Ergebnis werden durch systematische Verzerrungen beeinflusst.
• Sycophancy – das Modell richtet seine Antwort zu stark an den (angenommenen) Erwartungen, Annahmen oder gewünschten Ergebnissen des Nutzers aus.

 

Dies stellt ein besonderes Risiko für Juristen dar: Juristische Antworten können nicht nur richtig oder falsch sein, sie können auch der herrschenden Meinung entsprechen, vertretbar sein oder auch eine Mindermeinung darstellen. Es kann auch einmal mehrere vertretbare Lösungen geben, von denen keine bislang zur herrschenden Meinung geworden ist oder sich in der Rechtsprechung durchgesetzt hat. Darüber hinaus spielen Interpretation, Auslegung, Wertung und Abwägung eine zentrale Rolle. Dies führt dazu, dass scheinbar überzeugende Begründungen Fehler lange verdecken können.

Es wird uns nicht gelingen, KI „fehlerfrei zu prompten“. Das würde voraussetzen, dass der Prompt bereits die korrekte Antwort enthält. Das kann nicht das Ziel sein. Sinnvoller ist ein mehrschichtiges Qualitätssicherungssystem, das am Ende auch den Nutzer nicht aus der Verantwortung entlässt (Human-in-the-Loop), aber dabei unterstützt, Halluzinationen, Bias und Sycophancy zu erkennen und korrigierend einzugreifen.

Gute Prompts sollen nicht nur bessere Antworten erzeugen, sondern auch: Unsicherheit sichtbar machen, Annahmen offenlegen, Gegenargumente erzeugen, Quellenbindung erzwingen und Ergebnisse systematisch überprüfen.

 

Drei unterschiedliche Risiken – und warum sie unterschiedliche Gegenmaßnahmen brauchen

Die drei identifizierten, wesentlichen Risiken, die Gegenstand unserer heutigen Betrachtung sind, müssen mit unterschiedlichen Gegenmaßnahmen adressiert werden:

 

Halluzinationen

Halluzinationen haben bereits viel Aufmerksamkeit in der juristischen Branche erregt, weil sie in ihren typischen Erscheinungsformen wie erfundenen Entscheidungen, falschen Aktenzeichen, unzutreffenden Zitaten, nicht existierender Literatur oder falscher Wiedergabe realer Entscheidungen sowie erfundenen Tatsachen oder falschen rechtlichen Schlussfolgerungen aus richtigen Quellen besonders unangenehm sein können, wenn Nutzer ihre rechtliche Argumentation auf solche Halluzinationen stützen. Wir können also folgende Arten von Halluzinationen unterscheiden:

• Quellenhalluzination,
• Tatsachenhalluzination,
• Interpretations- bzw. Schlussfolgerungsfehler.

 

Dabei gilt: Halluzinationen lassen sich nicht allein durch die Aufforderung „Halluziniere nicht“ verhindern. Entscheidend sind vielmehr Zugriff auf juristische Quellen, Dokumentation der herangezogenen Textpassagen mit Fundstellen und deren Überprüfung.

 

Bias

Bias (Verzerrung) ist nicht nur als gesellschaftliches oder demografisches Problem zu verstehen. Auch bei der juristischen KI-Nutzung ist es besonders relevant, Bias in den Ausgaben der KI zu erkennen bzw. diesen zu vermeiden. Solche verzerrten Ausgaben können unter anderem dadurch entstehen, dass bestimmte Aussagen bestätigt werden (Confirmation Bias), die Anfrage so gestellt wird, dass ein bestimmter Eindruck erzeugt wird (Framing Bias), ein Anker gesetzt wird, an dem sich die KI orientiert (Anchoring), nur bestimmte Informationen oder Quellen zur Verfügung stehen (Availability Bias) oder ausgewählt wurden (Selection Bias) oder bestimmte Argumente oder Entscheidungen stärker gewichtet werden. Wenn der Nutzer fragt: „Warum besteht hier eindeutig ein Mitbestimmungsrecht?“ übernimmt das Modell möglicherweise bereits die Prämisse „eindeutig“.

Hier geht es also um eine sorgfältige Promptgestaltung, die eine verzerrte Perspektive vermeidet und eine breite Basis für die Beantwortung der Anfrage etabliert.

 

Sycophancy

Unter Sycophancy verstehen wir die Tendenz eines Modells, den (angenommenen) Annahmen, Meinungen oder Erwartungen des Nutzers übermäßig zu folgen. Teilweise wird das Modell dabei ebenfalls auf eine entsprechende Promptgestaltung reagieren oder auch selbst Annahmen darüber treffen, was der Nutzer für Erwartungen an die Ausgabe hat. Hierbei können sich auch der bisherige Chatverlauf oder die Aktivierung eines chatübergreifenden Gedächtnisses auswirken.

Im juristischen Kontext beschäftigen uns insbesondere Erscheinungsformen wie die Übernahme der implizit angedeuteten Rechtsauffassung des Nutzers, die Übernahme einer gewünschten Rechtsfolge, aber auch schwache Gegenargumente, asymmetrische Quellenbewertung und nachträgliche Rationalisierung eines gewünschten Ergebnisses. Dies ist besonders gefährlich, wenn Nutzer bereits eine Hypothese oder vorläufige Rechtsauffassung formulieren und das Modell diese Autorität implizit als Signal interpretiert, in diese Richtung zu antworten.

Wichtig ist hier, dass das Modell ausdrücklich die Erlaubnis bzw. den Auftrag erhalten muss, dem Nutzer zu widersprechen.

 

Nicht auf einen „perfekten Prompt“ vertrauen

Eine typische Fehlannahme ist, dass KI-Antworten umso sicherer sind, je detaillierter der Prompt formuliert ist. Detaillierte Prompts können Risiken verringern, beseitigen aber weder die epistemischen Grenzen noch die probabilistische Funktionsweise des Modells. Deshalb braucht juristische KI-Nutzung keinen „perfekten Prompt“, sondern einen mehrschichtigen Prüfprozess: Eingaben klären, Quellenbasis begrenzen, Annahmen offenlegen, Gegenpositionen erzeugen, Ergebnisse verifizieren und Human Review als finales Quality Gate einplanen.

Betrachten wir nun einige Strategien, die sich mit Hilfe der generativen KI umsetzen lassen:

 

Strategie 1: Quellenbindung statt freier Generierung

Grundidee dieser Strategie ist es, dass das Modell rechtliche Aussagen nur aus vorgegebenen bzw. recherchierten Quellen ableiten darf. Zentrale Mechanismen dieses Ansatzes sind das Abrufen von relevanten Textstellen aus den Quellen (Retrieval) vor der Analyse, die klare Abgrenzung zwischen Quelle und Modellwissen und die Verankerung einer Pflicht, alle Aussagen durch entsprechende Fundstellen aus diesen Quellen zu untermauern. Diese Vorgaben ermöglichen eine nachvollziehbare Zuordnung der Aussagen zu der jeweiligen Quelle und die Überprüfung der Schlussfolgerung. Neben der besseren Überprüfbarkeit reduziert dieses Vorgehen das Risiko erfundener Quellen und unterstützt eine bessere Nachvollziehbarkeit der Argumentation.

Prompt-Baustein:

Arbeite ausschließlich mit den bereitgestellten oder zuvor recherchierten Quellen. Verwende keine Aussagen aus Allgemeinwissen als Grundlage der Ergebnisantwort. Leite jede rechtliche Aussage aus einer konkreten Quelle ab und versehe sie mit einem präzisen Quellenanker (Norm, Absatz/Satz, Randnummer, Seite, Datum, Gericht und Aktenzeichen, soweit vorhanden). Berücksichtige Jurisdiktion, Zeitstand, Normfassung und Gerichtshierarchie. Triff keine stillen Annahmen. Ist eine Aussage nicht belastbar belegt, kennzeichne sie als unbelegt und entferne sie aus dem Ergebnis oder formuliere sie als offene Frage bzw. Unsicherheit. Weise divergierende Rechtsprechung und abweichende Auffassungen ausdrücklich aus. Wende die Quellen nur auf Tatsachen an, die im Sachverhalt enthalten sind; fehlen entscheidungserhebliche Tatsachen, formuliere konditional oder frage nach. Erfinde keine fehlenden Inhalte, Quellen oder Fundstellen.

 

 

Strategie 2: Halluzinationen explizit prüfen

Bei dieser Strategie trennen wir die Generierung von der Qualitätsprüfung und überprüfen Tatsachenbehauptungen, Rechtsnormen, Gerichtsentscheidungen, Zitate, Fundstellen und rechtliche Schlussfolgerungen. Nutzer sollten erwägen, diese Prüfung durch ein anderes KI-System durchführen zu lassen. Dadurch wird vermieden, dass das Modell geneigt sein könnte, seine eigenen Ergebnisse zu bestätigen.

Da auch bei der Überprüfung Fehler passieren können, hilft es, die KI eine Klassifikation ihrer Befunde vornehmen zu lassen: Aussagen können als verifiziert, plausibel, aber nicht verifiziert, widersprüchlich, nicht belegbar oder wahrscheinlich halluziniert klassifiziert werden. Im juristischen Kontext bedeutet das, nicht nur zu prüfen, ob eine Entscheidung existiert, sondern auch, ob sie das behauptete Ergebnis trägt. Zitate müssen korrekt sein, die behauptete Schlussfolgerung stützen und in den Kontext der Anfrage passen.

Prompt-Baustein:

Prüfe den folgenden KI-Output auf Claim-Level. Zerlege ihn zunächst in atomare, einzeln überprüfbare Aussagen. Gleiche jeden Claim mit den bereitgestellten Quellen oder – falls nötig – mit verlässlichen juristischen Primärquellen ab und klassifiziere ihn als supported, contradicted, unsupported oder unverifiable. Prüfe adversarial insbesondere Gesetze, Paragraphen, Gerichte, Entscheidungen, Aktenzeichen und Fundstellen auf Existenz und richtige Zuordnung. Erzeuge für kritische Claims gezielte Prüffragen und beantworte sie ausschließlich anhand der verfügbaren Evidenz. Begründe jedes Prüfergebnis kurz und nachvollziehbar. Fehlt eine belastbare Quelle, stelle keine Tatsachenbewertung als sicher dar. Fasse abschließend zusammen, welche Aussagen verifiziert, unsicher, unbelegt, widersprüchlich oder wahrscheinlich halluziniert sind und welche Punkte ein Human Reviewer manuell nachprüfen sollte.

 

 

Strategie 3: Quellen und Zitate separat verifizieren

Sie wurde aber durchaus anhand von Textmaterial trainiert, in dem solche Quellenangaben und Nachweise enthalten waren, weshalb sie diese simulieren kann. Sie können daher auch reale Quellen falsch zitieren, selbst wenn sie Zugriff auf die Quelle haben. Auch ein echtes Aktenzeichen bedeutet demnach noch keine korrekte Rechtsaussage.

Jede Aussage und jeder Nachweis müssen also überprüft werden. Hierbei kann KI unterstützen und zumindest eine Vorprüfung übernehmen, die es dem Nutzer einfacher macht, weil im besten Fall alle offensichtlicheren Fälle aufgedeckt werden. Dies gilt besonders, wenn die KI Zugriff auf juristische Literatur hat. Aber auch über eine webbasierte Prüfung lassen sich Gesetzestexte und Gerichtsentscheidungen mittlerweile relativ gut überprüfen. Eine mögliche Prüfmatrix sollte jedenfalls die folgenden Punkte enthalten:

• Existiert die Quelle, also der Normtext, die Gerichtsentscheidung, der juristische Aufsatz?
• Ist sie authentisch? Ist die Fundstelle korrekt?
• Enthält sie tatsächlich die behauptete Aussage?
• Ist das Zitat vollständig bzw. kontextgerecht?
• Gibt es spätere oder überwiegend widersprechende Rechtsprechung oder Literatur?

 

Gerade der letzte Punkt ist kritisch zu betrachten. Die KI ist möglicherweise nicht in der Lage, diese Frage zutreffend zu beantworten, da sie die Beantwortung schwieriger rechtlicher Fragen, juristische Bewertung und Abwägung erfordert. Hier muss zwingend eine eigene juristische Prüfung, Bewertung und Abwägung durch den Nutzer erfolgen. Auch wenn die KI an dieser Stelle nichts findet, heißt das nicht, dass es nicht etwas gibt, was die gefundene Rechtsauffassung aus der überprüften Quelle in Frage stellt oder sogar entwertet. Hier sind wir Juristen mit unserer Fach- und Methodenkompetenz gefragt, mit klassischen Mitteln zu den richtigen Antworten zu kommen. Die KI ist dagegen für die offensichtlichen Fehler geeignet.

Prompt-Baustein:

Identifiziere alle direkten und indirekten Zitate, Fundstellen und Quellenverweise im Text. Prüfe für jede Quelle getrennt: Existiert sie? Stimmen Autor bzw. Institution, Titel und Publikationsdaten? Ist die konkrete Fundstelle auffindbar? Enthält die Quelle tatsächlich die behauptete Aussage oder trägt sie die Paraphrase? Ist das Zitat vollständig und kontextgerecht? Unterscheide strikt zwischen der Existenz einer Quelle und der Richtigkeit ihrer konkreten Verwendung. Behaupte keine erfolgreiche Validierung, wenn sie nicht nachvollzogen werden konnte, und erfinde keine Quellen, Fundstellen, URLs oder Entscheidungsnachweise. Kennzeichne nicht auffindbare, unvollständige oder widersprüchliche Nachweise transparent. Gib das Ergebnis als Prüfbericht aus: Zitatstelle – zitierte Quelle – verifizierte Quelle/Fundstelle – korrekt zugeordnet? – Kommentar bzw. notwendige Nachprüfung.

 

 

Strategie 4: Unsicherheit sichtbar machen

Diese Strategie finde ich besonders spannend, aber auch risikoreich. Sie knüpft an den Umstand an, dass Sprachmodelle unsichere Aussagen häufig genauso flüssig und überzeugend formulieren wie sichere. Deshalb sollte man das Modell bitten, Unsicherheiten ausdrücklich zu kennzeichnen oder sogar einzuschätzen, in welche der folgenden möglichen Kategorien die Aussage fällt:

• hohe Sicherheit,
• mittlere Sicherheit,
• geringe Sicherheit,
• fehlende Informationsgrundlage.

 

Die KI sollte zudem begründen, warum sie die Aussage einer dieser Kategorien zugeordnet hat. Diese Begründung kann sich aus einer unklaren Rechtslage, divergierender Rechtsprechung, fehlenden Tatsachen, unvollständigen Quellen oder auch daraus ergeben, dass die gefundenen Nachweise einen erheblichen Interpretationsspielraum lassen.

Wichtig ist, dass solche modellinternen Confidence-Scores keine objektiven Wahrscheinlichkeiten, sondern auch wieder aufgrund von Berechnungen generierte Ausgaben sind, die ihrerseits fehlerhaft sein können. Sie können uns daher sogar von Fehlern, die nicht gefunden wurden, ablenken. Dennoch können sie die menschliche Überprüfung erleichtern und eine Priorisierung der zu überprüfenden Aussagen unterstützen.

Prompt-Baustein:

Mache die Unsicherheit der folgenden KI-Antwort transparent, ohne dies mit einer eigenständigen Faktenprüfung zu verwechseln. Identifiziere je relevanter Aussage Unsicherheitsquellen, insbesondere fehlende oder widersprüchliche Quellen, mehrdeutige Begriffe, zeitliche Unklarheiten, fehlenden Kontext, unterschiedliche mögliche Normauslegungen oder logische Inkonsistenzen. Ordne die Unsicherheit als faktisch, kontextuell, temporär oder strukturell ein. Gib für jede Aussage eine begründete Confidence-Einschätzung von 0–100 % und erkläre kurz, worauf sie beruht. Der Wert ist lediglich eine Meta-Einschätzung und keine objektive Wahrscheinlichkeit oder Tatsachenverifikation. Schlage bei erkennbarer Unsicherheit mindestens zwei konkrete Wege zur Risikoreduktion vor, etwa Prompt-Präzisierung, Quellenbindung, Klärung des Stichtags, Ergänzung fehlender Tatsachen oder Prüfung einer alternativen Rechtsauslegung.

 

 

Strategie 5: Annahmen explizieren – Verbalized Assumptions

Für Phänomene wie Confirmation Bias, Framing Bias oder Sycophancy empfehlen wissenschaftliche Studien, vor der eigentlichen Analyse Ausgangsannahmen der KI zu identifizieren und implizite Voraussetzungen zu benennen. Außerdem können fehlende Informationen explizit markiert werden und alternative Interpretationen formuliert werden, die zu berücksichtigen sind. Statt „Prüfe, warum der Betriebsrat hier kein Mitbestimmungsrecht hat.“ Könnte besser formuliert werden: „Behandle die Annahme, dass kein Mitbestimmungsrecht besteht, als zu prüfende Hypothese.“

Damit nähert man sich der klassischen juristischen Arbeitsweise und erreicht durch eine offene Formulierung der Rechtsfragen, dass Voraussetzungen geprüft werden und Ergebnisse erst nach der Subsumtion festgestellt werden. Denn das gewünschte Ergebnis des Nutzers darf nicht zur Prämisse der Analyse werden.

Prompt-Baustein:

Du agierst als objektiver juristischer Prüfer und nicht als bestätigender Assistent. Übernimm meine tatsächliche oder rechtliche Ausgangsannahme nicht ungeprüft, sondern behandle sie als zu prüfende Hypothese. Benenne vor der Analyse ausdrücklich: mögliche implizite Annahmen, fehlende entscheidungserhebliche Tatsachen, Risiken von Framing oder Confirmation Bias sowie alternative Deutungen des Sachverhalts. Unterscheide sauber zwischen Tatsachen, Annahmen, rechtlicher Bewertung und strategischen Erwägungen. Prüfe anschließend sowohl Argumente zugunsten als auch gegen meine Position und formuliere die stärksten Gegenargumente einer Gegenseite, Behörde, eines Betriebsrats oder Gerichts. Kontrolliere deine Antwort abschließend auf Sycophancy: Hast du meine Einordnung zu schnell übernommen, Risiken abgeschwächt, die Faktenbasis als vollständig behandelt oder alternative rechtliche Bewertungen zu wenig berücksichtigt? Korrigiere die Analyse gegebenenfalls.

 

 

Strategie 6: Bias systematisch suchen

Bei dieser Strategie nutzen wir die sprachlichen Fähigkeiten der großen Sprachmodelle und versuchen, einseitige Argumentauswahl, asymmetrische Beweismaßstäbe, übermäßige Gewichtung einer Quelle, stereotype Annahmen, suggestive Sprache, unbemerkte normative Wertungen und sprachliches Framing des Nutzers zu identifizieren. Dabei soll das Modell durchaus die Perspektive (Kläger, Beklagte) berücksichtigen dürfen, aber nicht mit der Rechtslage verwechseln.

Denn eine legitime strategische Perspektive darf nicht mit Bias verwechselt werden. Insofern kann es an dieser Stelle nur darum gehen, Perspektive transparent zu machen und Gegenpositionen zu prüfen. Ob es sich dabei dann wirklich um Bias handelt, muss der Nutzer prüfen.

Prompt-Baustein:

Prüfe die folgende Modellantwort auf Verzerrungen und irreführende Darstellungsmuster – nicht auf ihre faktische Richtigkeit. Achte insbesondere auf Generalisierungen, einseitige Argumentauswahl, wertende oder suggestive Sprache, Emotionalisierung, Autoritätsframing, problematische Analogien, Übertreibungen, selektives Framing, das Auslassen relevanter Perspektiven und False Balance. Berücksichtige dabei den ursprünglichen Nutzerauftrag und den Kontext der jeweiligen Aussage. Unterstelle keine bewusste Manipulation; beschreibe stattdessen die mögliche Wirkung der Formulierung. Unterscheide Faktenfehler von Bias: Eine falsche Aussage ist nicht automatisch verzerrt, und eine faktisch richtige Aussage kann dennoch einseitig gerahmt sein. Benenne pro auffälliger Aussage den Bias-Typ, begründe die Einordnung und liefere mindestens zwei neutralere Formulierungen sowie – soweit aus dem Material ableitbar – relevante alternative Perspektiven.

 

 

Strategie 7: Das Modell ausdrücklich widersprechen lassen

Hierbei handelt es sich um eine direkte Gegenmaßnahme gegen Sycophancy, bei der die KI ausdrücklich den Auftrag erhält, die Gegenposition(en) einzunehmen. Sie soll die stärksten Gegenargumente formulieren und damit die eigene Rechtsauffassung angreifen. Sie soll vielleicht eine alternative Auslegung entwickeln oder Schwachstellen in Tatsachen und Subsumtion suchen. Dies kann gerade für die Vorbereitung auf Verhandlungen oder auch für die Abhärtung der Argumentation in Schriftsätzen hilfreich sein.

Auch hier ist Vorsicht geboten, denn das soll nicht so weit gehen, dass die KI künstlich eine gleich starke Gegenposition erzeugt, obwohl die Rechtslage eindeutig ist und dies nicht hergibt.

Prompt-Baustein:

Übernimm für die folgende juristische Position die Rolle eines Advocatus Diaboli. Analysiere zunächst ihre logische Struktur, impliziten Annahmen, Evidenzbasis und argumentative Vollständigkeit. Entwickle anschließend die stärkste sachlich vertretbare Gegenposition (Steelman): Formuliere die zentralen Gegenargumente, alternative rechtliche Deutungen und mögliche Schwachstellen in Tatsachenbasis, Subsumtion und Schlussfolgerung. Beziehe belastbare Normen, Entscheidungen oder sonstige Evidenz ein, soweit vorhanden, und kennzeichne unsichere oder nicht verifizierbare Aussagen ausdrücklich. Stelle anschließend präzise Rückfragen, die den Nutzer zwingen, die schwächsten Punkte seiner Position zu klären. Schließe mit einem kurzen Feedback: Welche Argumente der Ausgangsposition tragen gut, wo bestehen Denkfehler oder Lücken, und welche Punkte müssten vor einer belastbaren Verwendung weiter geprüft oder belegt werden?

 

 

Strategie 8: Mehrere Lösungswege erzeugen und anschließend verifizieren

Diese Vorgehensweise nutzt zwei wissenschaftlich untersuchte Vorgehensweisen, die ausnutzen, dass – auch wenn natürlich Tokenkosten entstehen – die KI sehr leicht und schnell viel Output generieren kann, wir also diese Fähigkeit ausbeuten können (Exploiting Generation). Es handelt sich um eine Kombination aus Verbalized Sampling und Verification First. Dabei hat man sich zum Vorbild genommen, dass generative KI – vereinfacht gesagt – intern auch Wahrscheinlichkeiten für mögliche Ausgaben berechnet und dann im Wege des Samplings daraus die Ausgabe anhand verschiedener Parameter auswählt.

Die Idee ist, sich nicht frühzeitig auf eine Ausgabe oder eine Lösung festzulegen, sondern mehrere plausible Lösungswege zu erzeugen. Hier können zunächst Unterschiede sichtbar gemacht werden, indem für jeden Lösungsweg Rechtsgrundlage, Tatsachenbasis, Widersprüche, fehlende Voraussetzungen oder verwendete Quellen aufgezeigt werden, bevor eine Auswahl oder Synthese erfolgt. Dieses Vorgehen reduziert das Risiko einer frühen Fixierung auf eine plausible, aber falsche Lösung und orientiert sich an bewährten juristischen Methoden wie Alternativprüfung, Hilfserwägungen, Gegenansichten und Auslegungsvarianten.

Prompt-Baustein:

Erzeuge zunächst mehrere klar unterschiedliche juristische Bewertungshypothesen zum Sachverhalt, statt sofort auf eine Lösung zu konvergieren. Gib für jede Hypothese Kernaussage, maßgebliche Normen bzw. Tatbestandsmerkmale, tragende Argumente und den besonders fehleranfälligen Punkt an. Prüfe anschließend jede Hypothese im Verification-First-Verfahren: Identifiziere Fehler, Lücken, Widersprüche oder nicht tragfähige Schlussfolgerungen und erstelle eine korrigierte Bewertung. Wähle danach die rechtlich stärkste Lösung aus und prüfe sie in mindestens zwei weiteren Iterationen erneut auf Tatbestandslücken, Begründungsmängel, Widersprüche und unzureichend gekennzeichnete Streitfragen. Trenne stets zwischen Tatsachen, Annahmen, juristischer Bewertung und Empfehlung. Markiere Unsicherheiten transparent. Erfinde keine Tatsachen, Urteile, Aktenzeichen oder Normbezüge; fehlen entscheidungserhebliche Informationen, stelle gezielte Rückfragen oder formuliere nur belastbare Teilbewertungen.

 

Von einzelnen Prompts zur Quality-Assurance-Pipeline

Ausgehend von der Überlegung, dass größere Sicherheit nicht durch einen einzelnen Mega-Prompt, sondern durch einen mehrstufigen Workflow zur Qualitätssicherung erzeugt werden kann, könnte ein solcher Workflow wie folgt aussehen:

Stufe 1 – Problem Framing – Rechtsfrage neutral formulieren.

Stufe 2 – Assumptions Check – Annahmen und Informationslücken offenlegen.

Stufe 3 – Grounded Analysis – Analyse auf definierte Quellenbasis beschränken.

Stufe 4 – Divergent Reasoning – mehrere Lösungswege und Gegenpositionen erzeugen.

Stufe 5 – Hallucination Check – Tatsachen und Rechtsbehauptungen verifizieren.

Stufe 6 – Citation Check – Quellen und Fundstellen kontrollieren.

Stufe 7 – Bias/Sycophancy Check  – Framing, Zustimmungstendenzen und einseitige Argumentation prüfen.

Stufe 8 – Uncertainty Mapping – offene Punkte und Unsicherheiten markieren.

Stufe 9 – Human Review – juristische Endkontrolle durch den Menschen.

 

Was diese Strategien nicht leisten können

Angesichts der probabilistischen Funktionsweise der generativen KI gibt es dennoch keine Garantie vollständiger Fehlerfreiheit. Die mit dieser Technologie verbundenen Risiken unvollständiger Quellen, veralteter Daten, fehlerhafter Retrievals, komplexer Rechtsprechungsentwicklung, normativer Wertungen sowie sehr neuer Rechtsfragen bleiben. Gerade sog. Self-Verification hat Grenzen: Dasselbe Modell kann denselben Denkfehler reproduzieren und sich daher nicht wirksam korrigieren. Daher sind für juristische Anwendungsfälle immer externe Quellen, unabhängige Verifikationsschritte idealerweise durch ein anderes Modell und menschliche Überprüfung unverzichtbar. Die hier vorgestellte Unterstützung darf nicht mit einer „Automatisierung der Verantwortung“ verwechselt werden.

 

Gute KI-Nutzung ist nicht nur eine Prompt-, sondern auch eine Prüfkompetenz

Gute juristische KI-Nutzung entscheidet sich nicht am perfekten Prompt, sondern an der Qualität des Prüfprozesses. Wer KI-Ausgaben sinnvoll nutzen will, muss Antworten zerlegen, Quellen kontrollieren, Annahmen hinterfragen, Gegenperspektiven zulassen und Unsicherheiten sichtbar machen. Die entscheidende Frage lautet daher nicht nur: „Wie bekomme ich eine gute Antwort?“, sondern: „Wie kann mich die KI dabei unterstützen, eine falsche Antwort rechtzeitig zu erkennen?“