B. Die Auswirkungen des AI-Acts auf die Justiz

Wegen der potenziellen Bedrohung der Bürgerrechte und der Demokratie durch bestimmte KI-Anwendungen werden in Art. 5 Abs. 1 AI-Act bestimmte Einsätze (mit Einschränkungen) verboten:

• a)

  KI-Systeme, die das menschliche Verhalten manipulieren, um den freien Willen des Menschen zu umgehen

• b)

  KI, die eingesetzt wird, um die Schwächen von Menschen (aufgrund ihres Alters, einer Behinderung, ihrer sozialen oder wirtschaftlichen Lage) auszunutzen

• c)

  Social Scoring auf der Grundlage von Sozialverhalten oder persönlichen Merkmalen

• d)

  Risikobewertung, ob natürliche Personen eine Straftat begehen, ausschließlich auf der Grundlage von Profiling oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften (Predictive Policing), sofern nicht nur die durch Menschen durchgeführte Bewertung, die sich bereits auf objektive und überprüfbare Tatsachen stützt, unterstützt wird

• e)

  Die Erstellung oder Erweiterung von Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen (untargeted scraping of facial images)

• f)

  Emotionserkennung natürlicher Person am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen Gründen oder Sicherheitsgründen eingeführt oder auf den Markt gebracht werden

• g)

  Biometrische Kategorisierungssysteme, die sensible Merkmale verwenden (z.B. politische, religiöse oder philosophische Überzeugungen, sexuelle Orientierung, Rasse); dies gilt nicht für die Verwendung rechtmäßig erworbener biometrischer Datensätze zur Strafverfolgung

• h)

  Biometrische Echtzeit-Identifikationssysteme (RBI) zur Strafverfolgung, es sei denn, der Einsatz ist für die in der Verordnung definierten Ziele unbedingt erforderlich.

In Art. 5 Abs. 1i) bis iii) AI-Act genannten Ziele sind:

• Gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie Suche nach vermissten Personen;

• Abwenden einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder einer tatsächlichen und bestehenden oder tatsächlichen und vorhersehbaren Gefahr eines Terroranschlags;

• Aufspüren oder Identifizieren einer Person, die der Begehung einer Straftat verdächtigt wird, zum Zwecke der Durchführung von strafrechtlichen Ermittlungen, der Verfolgung oder der Vollstreckung einer Strafe für die in Anhang II aufgeführten Straftaten (Terrorismus, Menschenhandel, sexuelle Ausbeutung von Kindern und Kinderpornografie, illegaler Handel mit Drogen und psychotropen Stoffen, illegaler Handel mit Waffen, Munition oder Sprengstoffen, vorsätzliche Tötung, schwere Körperverletzung, illegaler Handel mit menschlichen Organen oder menschlichem Gewebe, illegaler Handel mit nuklearen oder radioaktiven Substanzen, Entführung, Freiheitsberaubung oder Geiselnahme, Verbrechen, die in die Zuständigkeit des Internationalen Strafgerichtshofs fallen, Flugzeug- und Schiffsentführung, Vergewaltigung, Umweltkriminalität, Diebstahl in organisierter Form oder bewaffneter Raub, Sabotage, Beteiligung an einer kriminellen Vereinigung, die an einer oder mehreren der oben genannten Straftaten beteiligt ist), die in dem betreffenden Mitgliedstaat nach dessenRecht mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens vier Jahren bedroht ist.

Es erfolgte somit kein generelles Verbot von biometrischen Echtzeit-Identifikationssystemen. In Art. 5 Abs. 2 AI-Act wird vor ihrem Einsatz eine Abwägungsentscheidung gefordert. Die eingesetzten Systeme müssen in einer Datenbank registriert werden. Art. 5 Abs. 3 AI-Act fordert grundsätzlich eine vorherige Genehmigung einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde des Mitgliedstaats. In hinreichend begründeten dringenden Fällen darf mit der Verwendung des Systems jedoch ohne Genehmigung begonnen werden.

Die Mitgliedstaaten können strengere Rechtsvorschriften für die Verwendung biometrischer Fernidentifizierungssysteme erlassen. Machen sie von den in Art. 5 Abs. 1 Buchst. h), Abs. 2 u. 3 AI-Act eröffneten Möglichkeiten Gebrauch, müssen in ihrem nationalen Recht Regelungen über die Beantragung, Erteilung und Ausübung der Genehmigungen sowie für die entsprechende Beaufsichtigung und Berichterstattung treffen. Zudem müssen sie regeln, im Hinblick auf welche der in Art. 5 Abs. 1 Buchs. h AI-Act genannten Ziele und Straftaten die Systeme eingesetzt werden dürfen.

Für Hochrisiko-KI-Systeme, die aufgrund ihres erheblichen Schadenspotenzials für Gesundheit, Sicherheit, Grundrechte, Umwelt, Demokratie und Rechtsstaatlichkeit als besonders gefährlich eingestuft werden, werden klare Verpflichtungen definiert.

Hochrisiko-KI-Systeme müssen den Art. 9 ff. KI-VO-E festgelegten Anforderungen genügen, Art. 8:

• Risikomanagement (Art. 9)

• Hohe Anforderungen an Qualität der Trainingsdaten (Art. 10)

• Dokumentations-, Protokollierungs- und Informationspflichten (Art. 11–13; Art. 20)

• Menschliche Aufsicht (Art. 14)

• Anforderungen an Genauigkeit, Robustheit und Cybersicherheit (Art. 15)

Der Einsatz von Künstlicher Intelligenz in der Justiz wird in der Regel zu einer Einstufung als Hochrisiko-KI-System führen. So hieß es in Art. 6 Abs. 2 AI-Act, dass zusätzlich zu den in Absatz 1 genannten Hochrisiko-KI-Systemen auch die in Anhang III genannten KI-Systeme als hochriskant gelten. In Anhang III Ziff. 6 werden die Strafverfolgungsbehörden und in Anhang III Ziff. 8 die Rechtspflege und demokratische Prozesse genannt. Gemäß Art. 27 AI-Act führen Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, bevor sie als Betreiber mit der Verwendung eines Hochrisiko-KI-Systems gemäß Artikel 6 Absatz 2 beginnen, eine Abschätzung der Auswirkungen, die die Verwendung eines solchen Systems auf die Grundrechte haben kann, durch.

Für Anbieter und Nutzer von KI-Systemen mit einem begrenzten Risiko gelten gemäß Art. 50 AI-Act Transparenzpflichten. Die das System nutzenden natürlichen Personen müssen gemäß Art. 50 Abs. 1 AI-Act informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Ausnahmen gelten für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI-Systeme mit einer Gegenausnahme für Systeme, die der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung stehen.

Nach Art. 50 Abs. 2 AI-Act müssen die Anbieter von KI-Systemen, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, sicherstellen, dass die Ergebnisse in einem maschinenlesbaren Format als künstlich erzeugt oder manipuliert erkennbar sind.

Gemäß Art. 50 Abs. 3 AI-Act müssen die Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung die davon betroffenen natürlichen Personen über den Betrieb informieren, dies gilt nicht für gesetzlich zur Aufdeckung, Verhütung und Ermittlung von Straftaten zugelassene KI-Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen.

Ausweislich Art. 50 Abs. 4 AI-Act müssen die Betreiber eines KI-Systems, das Deepfakes (Bild-, Ton- oder Videoinhalte) erzeugt, dies offenlegen. Ausnahmen gelten, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten gesetzlich zugelassen ist. Für Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, gilt diese Pflicht nicht, wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt.

Gemäß Art. 50 Abs. 7 AI-Act fördert und erleichtert das Amt für künstliche Intelligenz die Ausarbeitung von Verhaltenskodizes für die Umsetzung der Pflichten zur Feststellung und Kennzeichnung künstlich erzeugter oder manipulierter Inhalte. Die Kommission darf Durchführungsrechtsakte zur Genehmigung dieser Verhaltenskodizes erlassen.

Für KI mit einem niedrigen bzw. minimalen Risiko gelten keine Pflichten. Das Amt für künstliche Intelligenz und die Mitgliedstaaten fördern und erleichtern gemäß Art. 56, 95 AI-Act die Ausarbeitung von Verhaltenskodizes („codes of conduct“). Verhaltenskodizes müssen nach Art. 56 Abs. 9 AI-Act spätestens neun Monate nach Inkrafttreten des AI-Acts vorliegen. Kann ein Verhaltenskodex 12 Monate nach Inkrafttreten nicht fertiggestellt werden oder erachtet das Amt für künstliche Intelligenz dies für nicht angemessen, kann die Kommission im Wege von Durchführungsrechtsakten gemeinsame Vorschriften für die Umsetzung der in den Artikeln 53 (Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck) und 55 (Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko) vorgesehenen Pflichten festlegen.

In den Regelungen betreffend KI-Modelle mit allgemeinem Verwendungszweck (general-purpose AI – GPAI) wird zwischen KI-Modellen mit allgemeinem Verwendungszweck und KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko (general-purpose AI model with systemic risk) unterschieden. Es wurde somit der von der spanischen EU-Ratspräsidentschaft vorgeschlagene abgestufte Ansatz (2-tiered approach) umgesetzt.

In Art. 53 AI-Act werden Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck aufgestellt. Die Anbieter von Open Source Modellen müssen die Vorgaben nach Art. 53 Abs. 1a) und b) bzw. Art. 54 Abs. 5 nicht erfüllen, wenn die Parameter, einschließlich der Gewichte, der Informationen über die Modellarchitektur und der Informationen über die Verwendung des Modells, öffentlich zugänglich gemacht werden, Art. 53 Abs. 2 AI-Act. Diese Einschränkung gilt nicht für die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko. Die Anbieter dürfen sich gemäß Art. 53 Abs. 3 AI-Act auf Verhaltenskodizes stützen, bis harmonisierte Standards veröffentlicht werden. Es ist der Erlass von mehreren delegierten Rechtsakten durch die Kommission geplant.

Die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko müssen gemäß Art. 55 AI-Act weitere Anforderungen erfüllen. Eine automatische Kategorisierung als Modell mit hohen systemischen Risiken erfolgt gemäß Art. 51 Abs. 2 AI-Act, wenn die kumulierte Menge der für sein Training verwendeten Berechnungen, gemessen in FLOPs, mehr als 10^25 beträgt. Zudem hat die Europäische Kommission die Befugnis, auch andere KI-Modelle mit allgemeinem Verwendungszweck aufgrund verschiedener Faktoren (Fähigkeiten mit hohem Wirkungsgrad, Kriterien in Anhang XIII, qualifizierte Warnung des wissenschaftlichen Gremiums) als KI-Modelle mit systemischem Risiko einzustufen, Art. 51 Abs. 1 AI-Act. Auch die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko dürften sich nach § 55 Abs. 2 AI-Act auf Verhaltenskodizes stützen, bis harmonisierte Standards veröffentlicht werden.

Die Vorschriften zu KI-Modellen mit allgemeinem Verwendungszweck (GPAI) gelten nach zwölf Monate nach Veröffentlichung der Verordnung.

Der Anhang III Ziff. 6 nennt zahlreiche Einsatzzwecke von KI-Systemen durch Strafverfolgungsbehörden, die als Hochrisiko-KI eingestuft werden, soweit ihr Einsatz nach einschlägigem Unionsrecht oder nationalem Recht zugelassen ist. KI-Systeme, die bestimmungsgemäß von Strafverfolgungsbehörden oder in deren Namen oder von Organen, Einrichtungen und sonstigen Stellen der Union zur Unterstützung von Strafverfolgungsbehörden oder in deren Namen verwendet werden, fallen bei folgenden Einsatzzwecken unter den Bereich Hochrisiko-KI:

• a)

  Bewertung des Risikos einer natürlichen Person, zum Opfer von Straftaten zu werden,

• b)

  Lügendetektoren oder ähnliche Instrumente

• c)

  Bewertung der Verlässlichkeit von Beweismitteln im Zuge der Ermittlung oder Verfolgung von Straftaten

• d)

  Bewertung der Wahrscheinlichkeit, dass eine natürliche Person eine Straftat begeht oder erneut begeht, nicht nur auf der Grundlage der Erstellung von Profilen natürlicher Personen gemäß Artikel 3 Absatz 4 der Richtlinie (EU) 2016/680 oder zur Bewertung persönlicher Merkmale und Eigenschaften oder vergangenen kriminellen Verhaltens von natürlichen Personen oder Gruppen

• e)

  Erstellung von Profilen natürlicher Personen gemäß Artikel 3 Absatz 4 der Richtlinie (EU) 2016/680 im Zuge der Aufdeckung, Ermittlung oder Verfolgung von Straftaten.

In Anhang III Ziff. 8 werden Einsatzzwecke in den Gebieten Rechtspflege und demokratische Prozesse aufgelistet, die als Hochrisiko-KI-Systeme eingestuft werden. Gemäß Anhang III Ziff. 8 a) gilt dies für KI-Systeme, die bestimmungsgemäß von einer oder im Namen einer Justizbehörde verwendet werden sollen, um eine Justizbehörde bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte zu unterstützen, oder die auf ähnliche Weise für die alternative Streitbeilegung genutzt werden sollen.

Hierzu wird in Erwägung 61 des AI-Acts ergänzend ausgeführt

„Bestimmte KI-Systeme, die für die Rechtspflege und demokratische Prozesse bestimmt sind, sollten angesichts ihrer möglichen erheblichen Auswirkungen auf die Demokratie, die Rechtsstaatlichkeit, die individuellen Freiheiten sowie das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht als hochriskant eingestuft werden. Um insbesondere den Risiken möglicher Verzerrungen, Fehler und Undurchsichtigkeiten zu begegnen, sollten KI-Systeme, die von einer Justizbehörde oder in ihrem Auftrag dazu genutzt werden sollen, Sachverhalte und Rechtsvorschriften zu ermitteln und auszulegen und das Recht auf konkrete Sachverhalte anzuwenden, als hochriskant eingestuft werden. KI-Systeme, die von Stellen für die alternative Streitbeilegung für diese Zwecke genutzt werden sollen, sollten ebenfalls als hochriskant gelten, wenn die Ergebnisse der alternativen Streitbeilegung Rechtswirkung für die Parteien entfalten.“

Begrüßenswert ist, dass in Erwägung 61 ebenfalls klargestellt wird, dass der Einsatz von KI-Instrumenten die Entscheidungsgewalt von Richtern oder die Unabhängigkeit der Justiz unterstützen kann, sie aber nicht ersetzen sollte; die endgültige Entscheidungsfindung muss eine von Menschen gesteuerte Tätigkeit bleiben. Dies hatte der Bundesrat zu Recht schon in seiner Stellungnahme zu dem Kommissionsentwurf angeregt.

Gemäß Art. 6 Abs. 3 AI-Act gilt ein KI-System abweichend von Absatz 2 nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Dies ist der Fall, wenn es zu einer oder mehrerer der folgenden Aufgaben bestimmt ist:

a) Durchführung einer eng gefassten Verfahrensaufgabe

b) Verbesserung des Ergebnisses einer zuvor abgeschlossenen menschlichen Tätigkeit

c) Erkennung von Entscheidungsmustern oder Abweichungen von früheren Entscheidungsmustern (nicht: Ersatz oder Beeinflussung einer zuvor abgeschlossenen menschlichen Bewertung ohne eine angemessene menschliche Überprüfung)

d) Durchführung einer vorbereitenden Aufgabe für eine Bewertung, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist.

Ein in Anhang III aufgeführtes KI-System gilt immer als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt. Anbieter, die der Auffassung sind, dass ein in Anhang III aufgeführtes KI-System nicht hochriskant ist, müssen gemäß Art. 6 Abs. 4 AI-Act ihre Bewertung dokumentieren und unterliegen der Registrierungspflicht gemäß Art. 49 Abs. 2 AI-Act.

Weitere Einschränkungen enthält Erwägung 61, wonach die Einstufung von KI-Systemen als hochriskant sich nicht auf KI-Systeme erstreckt, die für rein begleitende Verwaltungstätigkeiten bestimmt sind, die die tatsächliche Rechtspflege in Einzelfällen nicht beeinträchtigen, wie etwa die Anonymisierung oder Pseudonymisierung gerichtlicher Urteile, Dokumente oder Daten, die Kommunikation zwischen dem Personal oder Verwaltungsaufgaben.

Gemäß Art. 57 AI-Act müssen die nationalen Behörden in jedem Mitgliedstaat mindestens ein Reallabor (Art. 57 bis 62 AI-Act) einrichten. Details zur Umsetzung werden gem. Art. 58 AI-Act durch die Kommission in Durchführungsrechtsakten geregelt.

Aus Art. 64 AI-Act ergibt sich, dass ein neues europäisches KI-Büro (European Artificial Intelligence Office) innerhalb der Europäischen Kommission eingerichtet wird, das die Koordinierung auf europäischer Ebene sicherstellen soll. Es wird auch die Umsetzung und Durchsetzung der neuen Vorschriften für GPAI-Modelle überwachen und insbesondere zur Förderung von Standards und Testmethoden beitragen und die gemeinsamen Regeln in allen Mitgliedstaaten durchsetzen. Es wurde am 24.1.2024 durch die Europäische Kommission eingerichtet.

Gemäß Art. 65 AI-Act wird ein Europäischer Ausschuss für künstliche Intelligenz (European Artificial Intelligence Board) geschaffen, in den jeder Mitgliedstaat einen Vertreter entsendet und an dem der Europäische Datenschutzbeauftragte und das europäische KI-Büro als Beobachter teilnehmen. Der Ausschuss berät und unterstützt die Kommission und die Mitgliedstaaten, um die einheitliche und wirksame Anwendung des AI-Acts zu erleichtern, Art. 66 AI-Act.

Darüber hinaus wird nach Art. 67 AI-Act ein Beratungsforum (Advisory Forum) aus Interessensträgern (u.a. Industrie, Start-up-Unternehmen, KMU, Zivilgesellschaft und Wissenschaft) gebildet, das technisches Fachwissen bereitstellt, den Ausschuss und die Kommission berät und zur Umsetzung von deren Aufgaben aus dem AI-Act beiträgt. Die Agentur der Europäischen Union für Grundrechte, ENISA, das Europäische Komitee für Normung (CEN), das Europäische Komitee für elektrotechnische Normung (CENELEC) und das Europäische Institut für Telekommunikationsnormen (ETSI) sind ständige Mitglieder des Beratungsforums.

Zudem wird ein wissenschaftliches Gremium unabhängiger Sachverständiger (Scientific panel of independent experts), Art. 68, geschaffen.

Im Übrigen sollen die zuständigen nationalen Marktaufsichtsbehörden die Umsetzung der neuen Vorschriften auf nationaler Ebene überwachen. Gemäß Art. 70 AI-Act muss jeder Mitgliedstaat für die Zwecke dieser Verordnung eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde als zuständige nationale Behörde einrichten oder benennen.

Die Nichteinhaltung der Vorschriften kann zu Geldbußen führen. Bei Missachtung des Verbots der in Artikel 5 genannten KI-Praktiken werden Geldbußen von bis zu 35 000 000 EUR oder – im Falle von Unternehmen – von bis zu 7 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist, Art. 99 Abs. 3 AI-Act.

Verstößt ein KI-System gegen sonstige für Akteure oder notifizierte Stellen geltende Bestimmungen, werden gemäß Art. 99 Abs. 4 AI-Act Geldbußen von bis zu 15 000 000 EUR oder – im Falle von Unternehmen – von bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt, je nachdem, welcher Betrag höher ist.