Menü Schließen
Klicke hier zur PDF-Version des Beitrags!

I. Ein­lei­tung
II. Defi­ni­ti­on von KI-Sys­te­men
III. Das Pro­blem der Intrans­pa­renz KI-basier­ter Ent­schei­dun­gen und des­sen recht­li­che Konsequenzen

  1. Ursa­chen der Intrans­pa­renz KI-basier­ter Entscheidungen
  2. Recht­li­che Kon­se­quen­zen der Intrans­pa­renz KI-basier­ter Entscheidungen
  3. Qua­li­ta­ti­ve Unter­schie­de zu ande­ren „Black Boxes“
    IV. Men­schen­recht­li­che Vor­ga­ben an die Trans­pa­renz KI-basier­ter Entscheidungen
  4. Staat­li­che KI-basier­te Ent­schei­dun­gen
    a) Begrün­dungs­pflicht aus dem Will­kür­ver­bot
    b) Begrün­dungs­pflicht aus dem Recht auf wirk­sa­me Beschwer­de in Ver­bin­dung mit dem Diskriminieaarungsverbot
  5. Nicht­staat­li­che KI-basier­te Ent­schei­dun­gen
    a) Kei­ne indi­rek­te Bin­dung an die Men­schen­rech­te
    b) Staat­li­che Schutz- und Sorgfaltspflichten
  6. Recht­fer­ti­gung
  7. Zusam­men­fas­sung
    V. Trans­pa­renz in bestehen­den Regulierungsansätzen
  8. Die EU-Daten­schutz­grund­ver­ord­nung
  9. Der Ent­wurf der EU-KI-Verordnung
  10. OECD-Emp­feh­lun­gen zu KI
    VI. Zusam­men­fas­sung und Aus­blick
    I. Ein­lei­tung
    Ent­schei­dun­gen, die frü­her aus­schließ­lich von Men­schen getrof­fen wur­den, wer­den zuneh­mend an Sys­te­me der künst­li­chen Intel­li­genz (KI-Sys­te­me) delegiert.1 Wo immer KI-Sys­te­me – indi­rekt als Ent­schei­dungs­un­ter­stüt­zungs­sys­te­me oder direkt als auto­no­me Ent­schei­dungs­trä­ger – über Men­schen ent­schei­den, ist es für die Betrof­fe­nen bis­her schwie­rig nach­zu­voll­zie­hen, wie es zu der kon­kre­ten Ent­schei­dung kam. Die­se Intransparenz2 KI-basier­ter Ent­schei­dun­gen resul­tiert dar­aus, dass die Nutzer3 und Ent­wick­ler von KI-Sys­te­men ent­we­der nicht wil­lens oder nicht in der Lage sind, die tra­gen­den Grün­de für eine KI-basier­te Ent­schei­dung offenzulegen.4 Aus men­schen­recht­li­cher Sicht pro­ble­ma­tisch ist dies, wenn KI-Sys­te­me in poli­tisch und sozi­al sen­si­blen Berei­chen ein­ge­setzt wer­den, in denen Men­schen­rechts­ver­let­zun­gen, ins­be­son­de­re unge­recht­fer­tig­te Dis­kri­mi­nie­run­gen, mög­lich sind. In den USA wer­den bei­spiels­wei­se KI-Sys­te­me zur Bewer­tung des Rück­fall­ri­si­kos straf­fäl­li­ger Per­so­nen ein­ge­setzt oder zur Pro­gno­se künf­ti­ger Straf­ta­ten im Rah­men des sog. Pre­dic­ti­ve Policing.5 In Groß­bri­tan­ni­en und in den USA unter­stüt­zen KI-Sys­te­me zudem Arbeit­ge­ber bei der Per­so­nal­aus­wahl, indem sie eigen­stän­di­ge Vor­auswah­len treffen.6 Viel Auf­se­hen erreg­te zudem der 2020 wäh­rend der COVID-19-Pan­de­mie in Groß­bri­tan­ni­en ein­ge­setz­te Algo­rith­mus, der Schü­le­rin­nen und Schü­ler auf Basis ihrer bis­he­ri­gen Noten bewer­ten sollte.7 In Deutsch­land wird der Ein­satz KI-basier­ter auto­ma­ti­scher Gesichts­er­ken­nung im Rah­men der Straf­ver­fol­gung erwogen,8 wäh­rend ande­re euro­päi­sche Staa­ten wie Groß­bri­tan­ni­en und Frank­reich sol­che Sys­te­me bereits einsetzen.9 Zu nen­nen
    Dani­el Feu­er­stack
    Men­schen­recht­li­che Vor­ga­ben an die Trans­pa­renz KI-basier­ter Ent­schei­dun­gen und deren Berück­sich­ti­gung in bestehen­den Regulierungsansätzen*
  • Ich dan­ke Frau Prof. Dr. Sil­ja Vöne­ky sowie Tobi­as Cro­ne und Dani­el Becker für ihre wert­vol­len Anmer­kun­gen. Des Wei­te­ren dan­ke ich der Baden-Würt­tem­berg Stif­tung für die För­de­rung im Rah­men des Pro­jek­tes „AI Trust“.
    1 Kroll et al., Accoun­ta­ble Algo­rith­ms, Uni­ver­si­ty of Penn­syl­va­nia Law Review 165 (2017), 633, 636.
    2 Das Pro­blem wird auf Eng­lisch häu­fig mit dem Aus­druck „opa­ci­ty“ (dt. Undurchsichtigkeit/Opazität) umschrie­ben, vgl. Bur­rell, How the machi­ne ‘thinks’: Under­stan­ding opa­ci­ty in machi­ne lear­ning algo­rith­ms, Big Data & Socie­ty, 2016, 1; de Laat, Algo­rith­mic Decisi­on-Making Based on Machi­ne Lear­ning from Big Data: Can Trans­pa­ren­cy Res­to­re Accoun­ta­bi­li­ty?, Phi­lo­so­phy & tech­no­lo­gy 2018, Vol. 31, 525, 536.
    3 Sofern in die­sem Auf­satz das gene­ri­sche Mas­ku­li­num ver­wen­det wird, und sich die­ses nicht aus­schließ­lich auf juris­ti­sche Per­so­nen bezieht, sind alle Geschlech­ter umfasst.
    4 Zusam­men­fas­send Bur­rell, How the machi­ne ‘thinks’: Under­stan­ding opa­ci­ty in machi­ne lear­ning algo­rith­ms, Big Data & Socie­ty, 2016.
    5 Brayne/Christin, Tech­no­lo­gies of Crime Pre­dic­tion: The Recep­ti­on of Algo­rith­ms in Poli­cing and Cri­mi­nal Courts, Social Pro­blems, 2020, 1, 2.
    6 Lischka/Klingel, Wenn Maschi­nen Men­schen bewer­ten – Inter­na­tio­na­le Fall­bei­spie­le für Pro­zes­se algo­rith­mi­scher Ent­schei­dungs­fin­dung, Arbeits­pa­pier der Ber­tels­mann Stif­tung, 05.2017, 22 ff.
    7 Kaun, Suing the algo­rithm: the munda­niz­a­ti­on of auto­ma­ted decisi­on-making in public ser­vices through liti­ga­ti­on, Com­mu­ni­ca­ti­on and Socie­ty 2021, 2.
    8 Mar­ti­ni, Gesichts­er­ken­nung im Span­nungs­feld zwi­schen Sicher­heit und Frei­heit, NVwZ Extra 2022, 2 f.
    9 Mar­ti­ni, Ebd., 3.
    Ord­nung der Wis­sen­schaft 2022, ISSN 2197–9197
    1 6 8 O R D N U N G D E R WI S S E N S C H A F T 3 ( 2 0 2 2 ) , 1 6 7 — 1 8 0
    10 Szi­get­va­ri, Beruf, Aus­bil­dung, Alter, Geschlecht: Der Algo­rith­mus
    des AMS, Der Stan­dard, 15.10.2018, https://derstandard.
    at/2000089325546/­Be­ruf-Aus­bil­dung-Alter­Ge­schlecht-Das-sind­die-
    Zuta­ten-zum-neu­en.
    11 Kaun, Suing the algo­rithm: the munda­niz­a­ti­on of auto­ma­ted
    decisi­on-making in public ser­vices through liti­ga­ti­on, Com­mu­ni­ca­ti­on
    and Socie­ty 2021, 2.
    12 Mar­ti­ni, Auto­ma­tisch Erlaubt? Fünf Anwen­dungs­fäl­le algo­rith­mi­scher
    Sys­te­me auf dem juris­ti­schen Prüf­stand, Arbeits­pa­pier
    der Ber­tels­mann Stif­tung, Mai 2020, 12 ff.
    13 Sie­he hier­zu den Vor­la­ge­be­schluss des VG Wies­ba­den, ZD 2022,
    121, 122.
    14 Cris­pin, Wel­co­me to dys­to­pia: get­ting fired from your job as an
    Ama­zon worker by an app, The Guar­di­an, 05.07.2021, https://
    www.theguardian.com/commentisfree/2021/jul/05/amazon-worker-
    fired-app-dystopia?CMP=fb_a-technology_b-gdntech.
    15 Bericht der Enquete-Kom­mis­si­on Künst­li­che Intel­li­genz – Gesell­schaft­li­che
    Ver­ant­wor­tung und wirt­schaft­li­che, sozia­le und
    öko­lo­gi­sche Poten­zia­le (2020), BT-Drucks. 19/23700, 2020, 63.
    16 Bei­ning, Wie Algo­rith­men ver­ständ­lich wer­den, 2019, Ber­tels­mann-
    Stif­tung, 15.
    17 Vgl. Klein­berg et al., Discri­mi­na­ti­on in the Age of Algo­rith­ms,
    Jour­nal of Legal Ana­ly­sis 2018, Vol. 10, 113, 160.
    18 Vgl. Hinsch, Dif­fe­ren­ces that Make a Dif­fe­rence – Com­pu­ta­tio­nal
    Pro­filing and Fair­ness to Indi­vi­du­als, in Vöne­ky et al., The Cam­bridge
    Hand­book of Respon­si­ble Arti­fi­cial Intel­li­gence – Inter­di­sci­pli­na­ry
    Per­spec­ti­ves (erscheint 2022). Sta­tis­ti­sche Dis­kri­mi­nie­run­gen
    sind unge­recht­fer­tig­te Ungleich­be­hand­lun­gen mit­hil­fe
    von Ersatz­in­for­ma­tio­nen, vgl. Orwat, Dis­kri­mi­nie­rungs­ri­si­ken
    durch Ver­wen­dung von Algo­rith­men, Anti­dis­kri­mi­nie­rungs­stel­le
    des Bun­des, 2019, 5, mit Nach­wei­sen.
    19 Vgl. UN-Aus­schuss für die Besei­ti­gung der Ras­sen­dis­kri­mi­nie­rung,
    Gene­ral Com­ment No. 36, CERD/C/GC/36 (2020), 7.
    20 Wischmey­er, Regu­lie­rung intel­li­gen­ter Sys­te­me, AöR 143 (2018) 1,
    55.
    21 Zum Begriff der Trans­pa­renz all­ge­mein vgl. Mei­jer, Trans­pa­ren­cy,
    in Bovens/Goodin/Schillemans, The Oxford Hand­book of Public
    Accoun­ta­bi­li­ty, 2014, 507. Zur Trans­pa­renz von KI-Sys­te­men vgl.
    u.a. Flo­ridi et al., AI4People: An Ethi­cal Frame­work for a Good AI
    Socie­ty: Oppor­tu­nities, Risks, Princi­ples, and Recom­men­da­ti­ons,
    Minds and Machi­nes 28 (2018), 689, 700; Wischmey­er, Arti­fi­cial
    Intel­li­gence and Trans­pa­ren­cy: Ope­ning the Black Box, in Wischmeyer/
    Rade­ma­cher, Regu­la­ting Arti­fi­cial Intel­li­gence (2019), 76.
    Zur Kri­tik der Abs­trakt­heit vgl. Krish­n­an, Against Inter­pre­ta­bi­li­ty:
    a Cri­ti­cal Exami­na­ti­on of the Inter­pre­ta­bi­li­ty Pro­blem in Machi­ne
    Lear­ning, Sci­ence & Phi­lo­so­phy 2019, Vol. 33, 487.
    sind auch der Ein­satz von Algo­rith­men zur Ent­schei­dung
    über die Gewäh­rung von Sozi­al­hil­fe in Österreich10
    und Schweden11 sowie der Ein­satz von KI-Sys­te­men
    zur Ent­schei­dung über den Zugang zu Uni­ver­si­tä­ten
    in Frankreich.12 Die deut­sche Wirt­schafts­aus­kunf­tei
    Schufa bewer­tet mit­hil­fe algo­rith­mi­scher Ver­fah­ren die
    Kre­dit­wür­dig­keit ein­zel­ner Personen.13 Ein von dem
    Unter­neh­men Ama­zon in den USA genutz­tes KI-Sys­tem
    ent­lässt sogar auto­nom Arbeitskräfte.14
    In die­sen Fäl­len wer­den Men­schen von KI-Sys­te­men
    beur­teilt und ihnen dro­hen auf Grund­la­ge die­ser Bewer­tung
    Nach­tei­le, etwa die Ableh­nung einer Bewer­bung für
    einen Aus­bil­dungs- oder Arbeits­platz, die Auf­lö­sung des
    Arbeits­ver­hält­nis­ses, die Ver­weh­rung eines Kre­dits oder
    die Attes­tie­rung eines hohen Rückfallrisikos.15 Anders
    als bei KI-gestütz­ten Emp­feh­lungs­sys­te­men wie Musik‑,
    Strea­ming- oder Kauf­emp­feh­lun­gen, bei Spracherkennungs‑,
    Über­set­zungs- oder Navi­ga­ti­ons­sys­te­men nut­zen
    die Betrof­fe­nen nicht selbst das KI-Sys­tem und kön­nen
    sich die­sen Ent­schei­dun­gen daher auch nicht durch
    Nicht­nut­zung entziehen.16
    Die sta­tis­tik- und wahr­schein­lich­keits­ba­sier­te Ent­schei­dungs­fin­dung
    von KI-Sys­te­men ermög­licht zwar
    genaue­re und effi­zi­en­te­re Entscheidungen,17 birgt jedoch
    auch das Risi­ko sta­tis­ti­scher Diskriminierungen.18
    Sofern den Betrof­fe­nen weder die tra­gen­den Grün­de für
    die Ent­schei­dung noch sons­ti­ge Anhalts­punk­te mit­ge­teilt
    wer­den, kön­nen sie Dis­kri­mi­nie­run­gen nicht nach­wei­sen
    und in der Regel nicht vor Gericht gel­tend machen.
    19 Zwar sind auch mensch­li­che Ent­schei­dun­gen intrans­pa­rent.
    Men­schen sind jedoch in der Lage, ihre Ent­schei­dun­gen
    zu begrün­den und Betrof­fe­nen die
    tra­gen­den Grün­de für die Ent­schei­dung mit­zu­tei­len.
    Dadurch kann eine hin­rei­chen­de Ent­schei­dungs­trans­pa­renz
    her­ge­stellt werden.20 Nach hier ver­tre­te­ner Ansicht
    ist die­se Form der Ent­schei­dungs­trans­pa­renz in man­chen
    Berei­chen durch die völ­ker­recht­lich ver­bind­li­chen
    Men­schen­rech­te vor­ge­schrie­ben. Dies gilt einer­seits für
    staat­li­che Ent­schei­dun­gen, ins­be­son­de­re der Exe­ku­ti­ve
    und der Judi­ka­ti­ve. Ande­rer­seits kön­nen aber auch Pri­va­te
    ver­pflich­tet sein, Betrof­fe­nen die tra­gen­den Grün­de
    einer Ent­schei­dung mit­zu­tei­len, wenn sie eine
    staats­ähn­li­che Funk­ti­on besit­zen und Drit­te von grund­le­gen­den
    Leis­tun­gen, etwa im Bereich der Daseins­vor­sor­ge,
    aus­schlie­ßen kön­nen.
    Die­se sich aus den völ­ker­recht­lich ver­bind­li­chen
    Men­schen­rech­ten erge­ben­den Infor­ma­ti­ons- bzw. Begrün­dungs­pflich­ten
    gel­ten auch, wenn Ent­schei­dun­gen
    von KI-Sys­te­men getrof­fen wer­den oder auf die­sen basie­ren.
    Wenn und soweit eine Begrün­dungs­pflicht für
    mensch­li­che Ent­schei­dun­gen besteht, müs­sen auch KIba­sier­te
    Ent­schei­dun­gen begrün­det wer­den und damit
    grds. auch begründ­bar sein.
    Mit dem Fokus auf Ent­schei­dungs­trans­pa­renz
    durch Begrün­dun­gen zeigt die­ser Bei­trag eine kon­kre­te
    Lösung für das Pro­blem der Intrans­pa­renz KI-basier­ter
    Ent­schei­dun­gen aus men­schen­recht­li­cher Per­spek­ti­ve
    auf. Gleich­zei­tig wird der in die­sem Kon­text viel­fach
    beschwo­re­ne aber doch häu­fig abs­trakt blei­ben­de Begriff
    der Transparenz21 kon­kre­ti­siert und recht­lich fass­ba­rer
    gemacht. Die in der Dis­kus­si­on um trans­pa­ren­te
    KI ver­wen­de­ten Begrif­fe der Erklär­bar­keit, Ver­steh­bar­keit,
    Inter­pre­tier­bar­keit und Nachvollziehbarkeit22
    wer­den damit nicht abge­lehnt. Sie wer­den viel­mehr um
    Feu­er­stack · Vor­ga­ben an die Trans­pa­renz KI-basier­ter Ent­schei­dun­gen 1 6 9
    22 Bart­neck et al., An Intro­duc­tion to Ethics in Robo­tics and AI,
    2020, 36.
    23 Inter­na­tio­nal Covenant on Civil and Poli­ti­cal Rights, 19.12.1966,
    999 UNTS 171.
    24 Euro­päi­sche Kom­mis­si­on, Vor­schlag für eine Ver­ord­nung des
    Euro­päi­schen Par­la­ments und des Rates zur Fest­le­gung har­mo­ni­sier­ter
    Vor­schrif­ten für künst­li­che Intel­li­genz (Gesetz über
    künst­li­che Intel­li­genz) und zur Ände­rung bestimm­ter Rechts­ak­te
    der Uni­on COM(2021) 206 final (KI-VO).
    25 Kri­tik jedoch in Mül­ler, Der Arti­fi­cial Intel­li­gence Act der EU:
    Ein risi­ko­ba­sier­ter Ansatz zur Regu­lie­rung von Künst­li­cher
    Intel­li­genz, EuZ 1 (2022), A 14, wonach der Begriff der algo­rith­mi­schen
    Ent­schei­dungs­fin­dung (ADM) sach­ge­rech­ter gewe­sen
    wäre.
    26 Vgl. Bur­rell, How the machi­ne ‘thinks’: Under­stan­ding opa­ci­ty in
    machi­ne lear­ning algo­rith­ms, Big Data & Socie­ty, 2016, 1.
    27 Hier­auf beruft sich bspw. die Schufa bzgl. des von ihr ver­wen­de­ten
    Algo­rith­mus, AG Wies­ba­den, ZD 2022, 121, 123 Rn. 29.
    28 Für die deut­sche Ver­fas­sung mit zahl­rei­chen Nach­wei­sen vgl.
    Mar­ti­ni, Black­box Algo­rith­mus – Grund­fra­gen einer Regu­lie­rung
    Künst­li­cher Intel­li­genz, 2019, 37 ff.
    29 Sie­he unten unter III.3.
    30 BGH NJW 2014, 1235, 1237.
    eine (menschen-)rechtliche Per­spek­ti­ve ergänzt. Zunächst
    ist dabei eine Defi­ni­ti­on von KI-Sys­te­men (II.)
    und eine Ein­füh­rung in das Pro­blem der Intrans­pa­renz
    KI-basier­ter Ent­schei­dun­gen erfor­der­lich (III.). Sodann
    wird unter­sucht, wel­che Anfor­de­run­gen an die
    Trans­pa­renz KI-basier­ter Ent­schei­dun­gen sich aus den
    völ­ker­recht­lich ver­bind­li­chen Men­schen­rech­ten, wie
    sie im Inter­na­tio­na­len Pakt über bür­ger­li­che und poli­ti­sche
    Rech­te (IPBPR)23 ver­an­kert sind, ablei­ten las­sen
    (IV.). Der dar­aus abge­lei­te­te kon­kre­te Regu­lie­rungs­vor­schlag
    soll mit bestehen­den Regu­lie­rungs­an­sät­zen kri­tisch
    ver­gli­chen wer­den (V.). Schließ­leich wer­den die
    gefun­de­nen Ergeb­nis­se zusam­men­ge­fasst (VI.).
    II. Defi­ni­ti­on von KI-Sys­te­men
    Die­ser Bei­trag ori­en­tiert sich an der Defi­ni­ti­on von KISys­te­men,
    wie sie in dem von der EU-Kom­mis­si­on im
    April 2021 ver­öf­fent­lich­ten Vor­schlag für eine KI-Ver­ord­nun­g24
    ent­hal­ten ist. Dem­nach ist ein KI-Sys­tem
    „eine Soft­ware, die mit einer oder meh­re­ren der in
    Anhang I auf­ge­führ­ten Tech­ni­ken und Kon­zep­te ent­wi­ckelt
    wor­den ist und im Hin­blick auf eine Rei­he von
    Zie­len, die vom Men­schen fest­ge­legt wer­den, Ergeb­nis­se
    wie Inhal­te, Vor­her­sa­gen, Emp­feh­lun­gen oder Ent­schei­dun­gen
    her­vor­brin­gen kann, die das Umfeld
    beein­flus­sen, mit dem sie inter­agie­ren“.
    Die im genann­ten Anhang I auf­ge­führ­ten Tech­ni­ken
    umfas­sen sowohl Ansät­ze des maschi­nel­len Ler­nens,
    ein­schließ­lich Deep Lear­ning, als auch logik- und
    wis­sens­ba­sier­te Ansät­ze, inklu­si­ve Exper­ten­sys­te­me,
    sowie ver­schie­de­ne sta­tis­ti­sche Ansät­ze, wie etwa
    Bayes­sche Net­ze. Dem Vor­schlag zufol­ge kann die im
    Anhang ent­hal­te­ne Lis­te von der EU-Kom­mis­si­on erwei­tert
    und ange­passt wer­den, wenn neue Tech­ni­ken
    auf­tau­chen.
    Die­se Defi­ni­ti­on ver­mei­det eine Aus­ein­an­der­set­zung
    mit dem juris­tisch kaum zu defi­nie­ren­den Begriff
    der Intel­li­genz und beschreibt statt­des­sen die wesent­li­chen
    Eigen­schaf­ten und Funk­ti­ons­wei­sen von KI-Sys­te­men.
    Die Defi­ni­ti­on ist zudem hin­rei­chend bestimmt
    und gleich­zei­tig offen und fle­xi­bel hin­sicht­lich neu­er
    tech­no­lo­gi­scher Ent­wick­lun­gen im Bereich der KI.25
    III. Das Pro­blem der Intrans­pa­renz KI-basier­ter Ent­schei­dun­gen
    und des­sen recht­li­che Konsequenzen
  1. Ursa­chen der Intrans­pa­renz KI-basier­ter Ent­schei­dun­gen
    Wenn in die­sem Bei­trag von der Intrans­pa­renz KIba­sier­ter
    Ent­schei­dun­gen gespro­chen wird, so ist die
    feh­len­de Kennt­nis der Grün­de für die KI-basier­te Ent­schei­dung
    durch Betrof­fe­ne gemeint. Die­se erfah­ren
    nicht, war­um die sie betref­fen­de Ent­schei­dung gera­de so
    und nicht anders aus­ge­fal­len ist.26 Sie kön­nen daher
    nicht fest­stel­len, aus wel­chen Grün­den ihnen ein KI-Sys­tem
    bei­spiels­wei­se ein hohes Rück­fall­ri­si­ko oder eine
    gerin­ge Kre­dit­wür­dig­keit attes­tiert hat, wes­halb sie von
    einem KI-Sys­tem als Gefähr­der ein­ge­stuft wur­den oder
    wes­halb ihre Bewer­bung für einen Aus­bil­dungs- oder
    Arbeits­platz abge­lehnt wur­de. Die­se Ent­schei­dungs­in­trans­pa­renz
    hat ver­schie­de­ne Ursa­chen, die in der Regel
    nicht iso­liert, son­dern kumu­la­tiv auf­tre­ten.
    Infor­ma­tio­nen, wie etwa die Gewich­tung ein­zel­ner
    Daten oder die rele­van­te Ver­gleichs­grup­pe, anhand
    derer die Rück­fall­ge­fahr, Kre­dit­wür­dig­keit oder Gefähr­d­er­ei­gen­schaft
    der betrof­fe­nen Per­son beur­teilt wer­den,
    sind häu­fig als Geschäfts­ge­heim­nis geschützt.27 Denn
    KI-Sys­te­me wer­den in der Regel von pri­va­ten Unter­neh­men
    ent­wi­ckelt, die ein – zum Teil auch ver­fas­sungs-28
    und völkerrechtlich29 geschütz­tes – Inter­es­se an der
    Geheim­hal­tung die­ser Infor­ma­tio­nen haben. So ver­nein­te
    bspw. der BGH in sei­nem Schufa-Urteil 2014 in
    Bezug auf das deut­sche Recht einen Anspruch auf Aus­kunft
    gegen die Schufa über die genaue Gewich­tung der
    Daten bei der Erstel­lung des Scores, da die­se Infor­ma­ti­on
    als Geschäfts­ge­heim­nis geschützt sei.30
    Ein wei­te­rer Grund für die Intrans­pa­renz KI-basier­ter
    Ent­schei­dun­gen ist deren hoch­kom­ple­xes, für Men­schen
    schlecht­hin nicht mehr nach­voll­zieh­ba­res Zustan­de­kom­men.
    Das gilt nicht für sym­bo­li­sche Ansät­ze oder
    ler­nen­de Sys­te­me, die ihre Out­puts auf linea­re Regressi1
    7 0 O R D N U N G D E R WI S S E N S C H A F T 3 ( 2 0 2 2 ) , 1 6 7 — 1 8 0
    31 Bibal et al, ‘Legal requi­re­ments on exp­laina­bi­li­ty in machi­ne
    lear­ning’ (2021) 29 Arti­fi­cial Intel­li­gence and Law 149, 149, 161.
    32 Bur­rell, How the machi­ne ‘thinks’: Under­stan­ding opa­ci­ty in
    machi­ne lear­ning algo­rith­ms, Big Data & Socie­ty, 2016, 5. Die­se
    Form der KI ist in ihrer Funk­ti­on dem mensch­li­chen Gehirn
    nach­emp­fun­den. Sie bestehen aus meh­re­ren Schich­ten mit­ein­an­der
    ver­knüpf­ter sog. künst­li­cher neu­ro­na­ler Net­ze. Jeder ein­zel­ne
    neu­ro­na­le Kno­ten kom­bi­niert einen bestimm­te Input­wert, um
    einen Out­put­wert zu erzeu­gen, der wie­der­um an die ande­re
    nach­ge­schal­te­te Ein­heit wei­ter­ge­ge­ben wird, vgl. etwa Kel­le­her,
    Deep Lear­ning (2019), 65 ff.
    33 Mar­ti­ni, Black­box Algo­rith­mus – Grund­fra­gen einer Regu­lie­rung
    Künst­li­cher Intel­li­genz, 2019, 41, Zed­nik, Sol­ving the Black Box
    Pro­blem: A Nor­ma­ti­ve Frame­work for Exp­lainab­le Arti­fi­cial
    Intel­li­gence, Phi­lo­so­phy & Tech­no­lo­gy, Phi­lo­so­phy & Tech­no­lo­gy
    (2019), 3.
    34 Bur­rell, How the machi­ne ‘thinks’: Under­stan­ding opa­ci­ty in
    machi­ne lear­ning algo­rith­ms, Big Data & Socie­ty, 2016, 5.
    35 Vgl. de Laat, Algo­rith­mic Decisi­on-Making Based on Machi­ne
    Lear­ning from Big Data: Can Trans­pa­ren­cy Res­to­re Accoun­ta­bi­li­ty?,
    Phi­lo­so­phy & tech­no­lo­gy 2018, Vol. 31, 525, 536. Zum Begriff
    der Black Box aus tech­nik­so­zio­lo­gi­scher Per­spek­ti­ve vgl. Mie­bach,
    Sozio­lo­gi­sche Hand­lungs­theo­rie, 5.Aufl. 2022, 613.
    36 Krish­n­an, Against Inter­pre­ta­bi­li­ty: a Cri­ti­cal Exami­na­ti­on of the
    Inter­pre­ta­bi­li­ty Pro­blem in Machi­ne Lear­ning, Sci­ence & Phi­lo­so­phy,
    Phi­lo­so­phy and Tech­no­lo­gy 2019, Vol. 33, 487, 488.
    37 UN-Aus­schuss für die Besei­ti­gung der Ras­sen­dis­kri­mi­nie­rung,
    Gene­ral Com­ment No. 36, CERD/C/GC/36 (2020), 7.
    38 Barocas/Selbst, Big Data’s Dis­pa­ra­te Impact, Cali­for­nia Law
    Review 2016, Vol. 104, 671.
    39 Mar­ti­ni, Algo­rith­men als Her­aus­for­de­rung für die Rechts­ord­nung,
    JZ 2017, 1017, 1018.
    40 Eine indi­rek­te Ein­be­zie­hung geschütz­ter Merk­ma­le liegt vor,
    wenn Varia­blen, wie bspw. der Wohn­ort oder das Ein­kom­men
    stark mit dem geschütz­ten Merk­mal kor­re­lie­ren.
    41 Lischka/Klingel, Wenn Maschi­nen Men­schen bewer­ten – Inter­na­tio­na­le
    Fall­bei­spie­le für Pro­zes­se algo­rith­mi­scher Ent­schei­dungs­fin­dung,
    Arbeits­pa­pier der Ber­tels­mann Stif­tung, 05.2017,
    9.
    42 Supre­me Court of Wis­con­sin, Sta­te v. Lomis, 881 N.W.2d 749
    (Wis. 2016), Rn. 13.
    43 Angwin et al., Machi­ne Bias, Pro­Pu­bli­ca, 23.05.2016, https://
    www.propublica.org/article/machine-bias-risk-assessmentsin-
    cri­mi­nal-sen­ten­cing. Die­ses Ergeb­nis wur­de jedoch vom
    Ent­wick­ler North­poin­te bestrit­ten und den Autoren wur­den
    sta­tis­ti­sche Feh­ler vor­ge­wor­fen, Dietrich/Mendoza/Brennan,
    COMPAS Risk Sca­les:
    Demons­tra­ting Accu­ra­cy Equi­ty and Pre­dic­ti­ve Pari­ty, 2016, 1, 20
    ff. In die­sem Streit wur­den unter­schied­li­che, mit­ein­an­der nicht
    ver­ein­ba­re Fair­ness­kon­zep­te zugrun­de gelegt. Dass am Ende
    jeden­falls ein Sys­tem steht, dass bei dun­kel­häu­ti­gen Betrof­fe­nen
    dop­pelt so häu­fig wie bei hell­häu­ti­gen fälsch­li­cher­wei­se eine
    hohe Rück­fall­ge­fahr annimmt, wird von North­poin­te aller­dings
    nicht bestrit­ten. Die dis­kri­mi­nie­ren­den Ten­den­zen bei der KIba­sier­ten
    Bewer­tung des Rück­fall­ri­si­kos wur­den zudem auch
    bei ande­ren Model­len nach­ge­wie­sen, vgl. etwa Tolan et al., Why
    Machi­ne Lear­ning May Lead to Unfair­ness: Evi­dence from Risk
    Assess­ment for Juve­ni­le Jus­ti­ce in Cata­lo­nia, ICAIL ‘19, 17.–21.
    Juni 2019.
    onen oder Ent­schei­dungs­bäu­me stützen,31 wohl aber für
    sol­che KI-Sys­te­me, die auf tie­fen neu­ro­na­len Net­zen und
    der Metho­de des Deep Lear­ning basieren.32 Die nicht­li­nea­re
    Inter­ak­ti­on der ver­schie­de­nen neu­ro­na­len Kno­ten,
    die Gewich­tung und Kom­bi­na­ti­on einer Viel­zahl abs­trak­ter
    Varia­blen sowie die rie­si­gen Daten­men­gen, die
    von den Sys­te­men ver­ar­bei­tet wer­den, machen es auch
    für die Ent­wick­ler unmög­lich, die genau­en Grün­de für
    einen kon­kre­ten Out­put eines KI-Sys­tems fest­zu­stel­len.
    33 Zudem ändern sich die Ver­knüp­fun­gen der ver­schie­de­nen
    Kno­ten und damit die Gewich­tung und
    Kom­bi­na­ti­on der Varia­blen mit jedem Lernprozess.34
    Dadurch lässt sich kaum noch bestim­men, wel­che Varia­blen
    zum Zeit­punkt einer bestimm­ten Aus­ga­be signi­fi­kant
    waren, da sich deren Klas­si­fi­zie­rung mög­li­cher­wei­se
    bereits geän­dert hat. Aus die­sem Grund wer­den sol­che
    KI-Sys­te­me häu­fig als „Black Boxes“35 bezeich­net,
    deren Innen­le­ben für uns „opak“ ist.36 Ob das Sys­tem bei
    einer bestimm­ten Ent­schei­dung an unzu­läs­si­ge, dis­kri­mi­nie­ren­de
    Para­me­ter ange­knüpft hat, kön­nen inso­fern
    weder die Betrof­fe­nen noch die Ent­wick­ler selbst
    fest­stel­len.
  2. Recht­li­che Kon­se­quen­zen der Intrans­pa­renz KIba­sier­ter
    Ent­schei­dun­gen
    Die Intrans­pa­renz KI-basier­ter Ent­schei­dun­gen hat zur
    Fol­ge, dass sich unge­recht­fer­tig­te Dis­kri­mi­nie­run­gen in
    ein­zel­nen Fäl­len nicht nach­wei­sen lassen.37 Bewer­tet ein
    KI-Sys­tem Men­schen, so besteht eine nicht zu unter­schät­zen­de
    Gefahr sta­tis­ti­scher Diskriminierungen.38
    Men­schen wer­den anhand bestimm­ter Eigen­schaf­ten
    einer Ver­gleichs­grup­pe zuge­ord­net und auf Grund­la­ge
    von die­ser Grup­pe anhaf­ten­den Wahr­schein­lich­keits­wer­ten
    beurteilt.39 Dabei kön­nen geschütz­te Merk­ma­le
    wie eth­ni­sche Her­kunft, Geschlecht, Reli­gi­ons­zu­ge­hö­rig­keit
    oder Alter direkt oder indirekt40 als Varia­blen in
    die Ver­gleichs­grup­pen­bil­dung ein­flie­ßen. Führt die der­ar­ti­ge
    Anknüp­fung an ein geschütz­tes Merk­mal zu einer
    für die betrof­fe­ne Per­son nach­tei­li­gen Ent­schei­dung, so
    kann dies eine pri­ma facie ver­bo­te­ne (sta­tis­ti­sche) Dis­kri­mi­nie­rung
    dar­stel­len.
    Ein Bei­spiel für eine indi­rek­te Dis­kri­mi­nie­rung auf­grund
    der Haut­far­be ist die Soft­ware COMPAS. Das Sys­tem
    wird in den USA von Gerich­ten ver­wen­det, um das
    Rück­fall­ri­si­ko von straf­fäl­li­gen Per­so­nen zu bewerten.41
    Die für die Risi­ko­ein­schät­zung erfor­der­li­chen Infor­ma­tio­nen
    bezieht COMPAS aus den Strafak­ten und aus
    Selbst­aus­künf­ten der Angeklagten.42 Obwohl COMPAS
    bei der Erstel­lung des Scores kei­ne Infor­ma­tio­nen über
    die eth­ni­sche Zuge­hö­rig­keit erhält, wur­de Per­so­nen mit
    dunk­ler Haut­far­be fast dop­pelt so häu­fig ein hohes Rück­fall­ri­si­ko
    attes­tiert wie Per­so­nen mit hel­ler Haut­far­be,
    ohne dass sich die­ses realisierte.43 Da sich der Ent­wick­ler
    über die inter­ne Logik und Funk­ti­ons­wei­se des Sys­tems
    Feu­er­stack · Vor­ga­ben an die Trans­pa­renz KI-basier­ter Ent­schei­dun­gen 1 7 1
    44 Larson/Mattu et al., How We Ana­ly­zed the COMPAS Reci­di­vism
    Algo­rithm, Pro­Pu­bli­ca, 23.05.2016, https://www.propublica.org/
    arti­cle/how-we-ana­ly­zed-the-com­pas-reci­di­vism-algo­rithm.
    45 Klein­berg et al., Discri­mi­na­ti­on in the Age of Algo­rith­ms, Jour­nal
    of Legal Ana­ly­sis 2018, Vol. 10, 113, 129.
    46 Vgl. Zu Art. 14 IPBPR Men­schen­rechts­aus­schuss, Gene­ral Com­ment
    No. 32, CCPR/C/GC/32, 23.08.2007, Rn. 9.
    47 Zu der Fra­ge, ob eine sol­che Dis­kri­mi­nie­rung aus sach­li­chen
    Grün­den gerecht­fer­tigt ist, ist damit frei­lich noch nichts gesagt.
    Die Ebe­ne der Recht­fer­ti­gung kann jedoch erst erör­tert wer­den,
    wenn bekannt ist, ob über­haupt eine per se dis­kri­mi­nie­ren­de
    Ent­schei­dung vor­liegt. Inso­fern ist die For­de­rung nach Ent­schei­dungs­trans­pa­renz
    der Fra­ge der Recht­fer­ti­gung algo­rith­mi­scher
    Ungleich­be­hand­lun­gen vor­ge­la­gert.
    48 Vgl. Zit­train, Intel­lec­tu­al Debt: With Gre­at Power Comes Gre­at
    Igno­ran­ce, Berk­man Klein Cen­ter Collec­tion, 2019, https://medium.
    com/­berk­man-klein-cen­ter/­from-tech­ni­cal-debt-to-intel­lec­tu­al-
    debt-in-ai-e05ac56a502c.
    49 Vgl. World Con­fe­rence on Human Rights, Vien­na Decla­ra­ti­on and
    Pro­gram­me of Action, A/CONF.157/23, I.5: „All human rights
    are uni­ver­sal, indi­vi­si­ble and inter­de­pen­dent and inter­re­la­ted.“
    50 Vgl. Vöne­ky, Key Ele­ments of Respon­si­ble AI, OdW 2020, 9, 19.
    51 Wischmey­er, Regu­lie­rung intel­li­gen­ter Sys­te­me, AöR 143 (2018)
    1, 54. Vgl. auch die sys­tem­theo­re­ti­sche Begrün­dung Luh­manns,
    wonach psy­chi­sche Sys­te­me Black Boxes sind, zu denen nur sehr
    ein­ge­schränk­ter Zugang besteht, vgl. Mie­bach, Sozio­lo­gi­sche
    Hand­lungs­theo­rie, 5. Aufl. 2022, 689.
    52 Inter­na­tio­nal Covenant on Civil and Poli­ti­cal Rights, United Nati­ons
    Trea­ty Collec­tion, https://treaties.un.org/Pages/ViewDetails.aspx?src=
    TREATY&mtdsg_no=IV‑4&chapter=4&clang=_en.
    53 Con­ven­ti­on for the Pro­tec­tion of Human Rights and Fun­da­men­tal
    Free­doms, 4.11.1950, ETS No. 005.
    54 Craw­ford, Brownlie’s Princi­ples of Public Inter­na­tio­nal Law, 9. Aufl.
    2019, 618.
    55 Für eine men­schen­rechts­ba­sier­te KI-Regu­lie­rung argu­men­tiert auch
    Vöne­ky, Key Ele­ments of Respon­si­ble AI, OdW 2020, 9, 19.
    bedeckt hält, konn­te dies erst nach sta­tis­ti­scher Aus­wer­tung
    von über 11 000 Fäl­len fest­ge­stellt werden.44 Wel­che
    Ent­schei­dung im Ein­zel­fall tat­säch­lich dis­kri­mi­nie­rend
    war, lässt sich über sol­che sta­tis­ti­schen Metho­den nicht
    fest­stel­len, was jedoch aus juris­ti­scher Sicht erfor­der­lich
    ist.45 Gerech­tig­keit ist individualisiert46: Nur durch die
    Mög­lich­keit, eine im kon­kre­ten Fall sie betref­fen­de Dis­kri­mi­nie­rung
    fest­zu­stel­len, kön­nen die jeweils Betrof­fe­nen
    ihre sub­jek­ti­ven Rech­te effek­tiv wahrnehmen.47
  3. Qua­li­ta­ti­ve Unter­schie­de zu ande­ren „Black Boxes“
    Pro­ble­ma­tisch ist die Intrans­pa­renz KI-basier­ter Ent­schei­dun­gen
    beson­ders dort, wo sie sich qua­li­ta­tiv von
    ande­ren Trans­pa­renz­pro­ble­men unter­schei­det und bestehen­de
    recht­li­che Lösungs­kon­zep­te daher nicht unmit­tel­bar
    anwend­bar sind bzw. ange­passt wer­den müs­sen. So
    benut­zen Men­schen im All­tag häu­fig kom­ple­xe Tech­no­lo­gien,
    deren genaue Funk­ti­ons­wei­se sie nicht ver­ste­hen,
    sei­en dies Autos, Com­pu­ter oder Smart­pho­nes. Auch bei
    vie­len Arz­nei­mit­teln kann zwar fest­ge­stellt wer­den, dass
    sie wir­ken, nicht jedoch erklärt wer­den, war­um dies der
    Fall ist.48 In die­sen Berei­chen neh­men die Nut­zer Intrans­pa­renz
    jedoch in Kauf, da der Nut­zen die Risi­ken über­wiegt.
    Eine sol­che Risi­ko-Nut­zen-Abwä­gung über­zeugt bei
    KI-basier­ten Ent­schei­dun­gen, denen Men­schen unfrei­wil­lig
    aus­ge­setzt und bei denen die Betrof­fe­nen nicht die
    Nut­zer des Sys­tems sind, jedoch nicht. Ein solch uti­li­ta­ris­ti­scher
    Ansatz wür­de dem Grund­satz der Uni­ver­sa­li­tät
    und Unver­äu­ßer­lich­keit der Menschenrechte49
    widersprechen.50
    Vor allem geht es bei Arz­nei­mit­teln und ande­ren teil­wei­se
    in ihrer Wir­kungs­wei­se intrans­pa­ren­ten Pro­duk­ten
    und Tech­no­lo­gien nicht um die Intrans­pa­renz von Ent­schei­dun­gen.
    KI-Sys­te­me sind die ein­zi­ge Tech­no­lo­gie,
    die auto­nom Out­puts erzeu­gen und damit auf­grund eige­ner
    Schluss­fol­ge­run­gen dis­kri­mi­nie­ren kann.
    Die sich inso­fern von ande­ren For­men der Intrans­pa­renz
    qua­li­ta­tiv unter­schei­den­de Intrans­pa­renz von Ent­schei­dun­gen
    exis­tiert zwar auch, wenn Men­schen Ent­schei­dun­gen
    tref­fen. Auch Men­schen sind in die­sem Sin­ne
    „Black Boxes“.51 Sie sind jedoch in der Lage, Betrof­fe­nen
    die tra­gen­den Grün­de für die Ent­schei­dung
    mit­zu­tei­len und kön­nen dadurch Ent­schei­dungs­trans­pa­renz
    her­stel­len. Zwar sind dies nicht immer die ursäch­li­chen
    Grün­de, sie ver­set­zen Betrof­fe­ne und Gerich­te jedoch
    in die Lage zu prü­fen, ob die Ent­schei­dung auf dis­kri­mi­nie­ren­den
    Para­me­tern oder unzu­tref­fen­den Annah­men
    basiert. Sofern jedoch weder Nut­zer noch Ent­wick­ler
    in der Lage oder wil­lens sind, die tra­gen­den Grün­de für
    eine KI-basier­te Ent­schei­dung offen­zu­le­gen, sind die­se
    kei­ner der­ar­ti­gen Über­prü­fung zugäng­lich.
    IV. Men­schen­recht­li­che Vor­ga­ben an die Trans­pa­renz
    KI-basier­ter Ent­schei­dun­gen
    Die völ­ker­recht­lich ver­bind­li­chen Men­schen­rech­te
    sind sowohl in uni­ver­sel­len Men­schen­rechts­ver­trä­gen
    wie dem IPBPR mit 173 Vertragsparteien52, als auch in
    regio­na­len Abkom­men wie der Euro­päi­schen Men­schen­rechts­kon­ven­ti­on
    (EMRK)53 sowie zum Teil auch
    völkergewohnheitsrechtlich54 ver­an­kert. Auf­grund die­ser
    Ver­brei­tung und Ver­an­ke­rung stel­len sie eine hin­rei­chend
    legi­ti­mier­te Basis für eine ver­hält­nis­mä­ßi­ge
    KI-Regu­lie­rung dar.55 Die für mensch­li­che Ent­schei­dun­gen
    aus den Men­schen­rech­ten ableit­ba­ren Trans­pa­renz­an­for­de­run­gen
    las­sen sich auch auf KI-basier­te
    Ent­schei­dun­gen anwen­den. Dadurch kann die in der
    Lite­ra­tur häu­fig abs­trakt blei­ben­de For­de­rung nach
    Trans­pa­renz von KI-Sys­te­men ange­mes­sen und inter­es­sens­ge­recht
    kon­kre­ti­siert wer­den. Nach­fol­gend wer­den
    exem­pla­risch eini­ge rele­van­te Rech­te, wie sie im
    IPBPR ent­hal­ten sind erör­tert. Zu unter­schei­den ist
    zwi­schen Ent­schei­dun­gen staat­li­cher und nichtstaatli1
    7 2 O R D N U N G D E R WI S S E N S C H A F T 3 ( 2 0 2 2 ) , 1 6 7 — 1 8 0
    56 Fun­da­men­tal Rights Agen­cy, Get­ting the future right – Arti­fi­cial intel­li­gence
    and fun­da­men­tal rights, 2020, https://fra.europa.eu/sites/
    default/files/fra_uploads/fra-2020-artificial-intelligence_en.pdf, 75;
    Kriebitz/Lütge, Arti­fi­cial Intel­li­gence and Human Rights: A Busi­ness
    Ethi­cal Assess­ment, Busi­ness and Human Rights Jour­nal 5 (2020),
    84, 89.
    57 Vgl. Barfield/Pagallo, Law and Arti­fi­cial Intel­li­gence, 2020, 25.
    58 Mar­ti­ni, Black­box Algo­rith­mus – Grund­fra­gen einer Regu­lie­rung
    Künst­li­cher Intel­li­genz, 2019, 70.
    59 UN-Men­schen­rechts­rat, Sur­veil­lan­ce and human rights – Report of
    the Spe­cial Rap­por­teur on the pro­mo­ti­on and pro­tec­tion of the right
    to free­dom of opi­ni­on and expres­si­on, A/HRC/41/35, 28.05.2019, Rn.
    12.
    60 Scha­bas, Nowak’s CCPR Com­men­ta­ry, 3. Ed. 2019, Arti­cle 26, Rn. 16.
    61 Scha­bas, Ebd., Rn. 17; Men­schen­rechts­aus­schuss, Bor­zov v. Esto­nia,
    Com­mu­ni­ca­ti­on No. 1136/2002, CCPR/C/81/D/1136/2002,
    25.08.2004, Rn. 7.2; zur deut­schen Ver­fas­sung vgl. u.a. BVerfG NJW
    1954, 1153, 1153.
    62 Ähn­lich argu­men­tiert auch die die UN-Son­der­be­richt­erstat­te­rin für
    gegen­wär­ti­ge For­men des Ras­sis­mus: Sie ent­nimmt dem Recht auf
    Gleich­be­hand­lung und Nicht­dis­kri­mi­nie­rung aus der UN-Ras­sen­dis­kri­mi­nie­rungs­kon­ven­ti­on
    die Pflicht der Staa­ten, im öffent­li­chen
    Sek­tor bei der Nut­zung neu­er digi­ta­ler Tech­no­lo­gien Trans­pa­renz
    zu gewähr­leis­ten, indem nur über­prüf­ba­re Sys­te­me ver­wen­det
    wer­den, UN-Men­schen­rechts­rat, Racial discri­mi­na­ti­on and emer­ging
    digi­tal tech­no­lo­gies: a human rights ana­ly­sis – Report of the Spe­cial
    Rap­por­teur on con­tem­pora­ry forms of racism, racial discri­mi­na­ti­on,
    xeno­pho­bia and rela­ted into­le­ran­ce, A/HRC/44/57 (2020), Rn. 57.
    63 Men­schen­rechts­aus­schuss, Kazan­tis v Cyprus, Com­mu­ni­ca­ti­on No.
    972/2001 (2003), Rn. 6.6.
    64 EGMR, Gui­de on Arti­cle 13 of the Con­ven­ti­on – Right to an
    effec­ti­ve reme­dy (last updated 31.08.2021) https://www.echr.coe.int/
    Documents/Guide_Art_13_ENG.pdf, Rn. 10 ff.
    65 Men­schen­rechts­aus­schuss, Kazan­tis v Cyprus, Com­mu­ni­ca­ti­on No.
    972/2001 (2003), Rn. 6.6.
    66 Scha­bas, Nowak’s CCPR Com­men­ta­ry, 3. Ed. 2019, Arti­cle 2 CCPR,
    Rn. 73.
    cher (pri­va­ter) Akteu­re, da sich bei die­sen Fall­grup­pen
    jeweils ver­schie­de­ne men­schen­recht­li­che Vor­ga­ben
    erge­ben.
  4. Staat­li­che KI-basier­te Ent­schei­dun­gen
    Nut­zen Staa­ten KI-Sys­te­me, so sind sie bei der Nut­zung
    stets an die Men­schen­rech­te gebun­den, die für sie ver­trag­lich
    oder gewohn­heits­recht­lich gel­ten. Dass die
    Ent­schei­dung direkt oder indi­rekt durch ein KI-Sys­tem
    und nicht von einem Men­schen getrof­fen wird, ändert
    an der Anwend­bar­keit die­ser Men­schen­rech­te nichts.56
    a) Begrün­dungs­pflicht aus dem Will­kür­ver­bot
    Wird bei einer KI-gestütz­ten Bewer­tung bspw. der
    Rück­fall­ge­fahr oder der Gefähr­d­er­ei­gen­schaft einer
    Per­son direkt oder indi­rekt an Kri­te­ri­en wie Haut­far­be,
    Her­kunft, Geschlecht oder Reli­gi­ons­zu­ge­hö­rig­keit
    ange­knüpft, kommt ein Ver­stoß gegen das Recht auf
    Nicht­dis­kri­mi­nie­rung aus Art. 26 IPBPR in Betracht.57
    Eben­so ver­hält es sich, wenn Per­so­nen auf­grund der
    genann­ten Kri­te­ri­en staat­li­che Leis­tun­gen versagt58 oder
    sie von einer Gesichts­er­ken­nungs­soft­ware falsch iden­ti­fi­ziert
    und dadurch fälsch­li­cher­wei­se ver­däch­tigt werden.59
    Sofern eine staat­li­che Ent­schei­dung jedoch mit einem
    hohen, durch ein KI-Sys­tem berech­ne­ten Risi­kowert
    begrün­det wird, ohne des­sen Zustan­de­kom­men zu
    begrün­den, kann allein auf­grund die­ses Scores im Ein­zel­fall
    weder durch die Betrof­fe­nen noch durch die Gerich­te
    ermit­telt wer­den, ob die Ent­schei­dung dis­kri­mi­nie­rend
    war oder nicht.
    Sol­che intrans­pa­ren­ten Ent­schei­dun­gen staat­li­cher
    Stel­len kön­nen bereits für sich genom­men einen Ver­stoß
    gegen das in Art. 26 S. 1 IPBPR ver­an­ker­te Recht auf
    Gleich­heit vor dem Gesetz dar­stel­len: Dem Gleich­heits­satz
    lässt sich ein all­ge­mei­nes Will­kür­ver­bot für Ent­schei­dun­gen
    der Gerich­te und der Ver­wal­tung entnehmen.60
    Das Will­kür­ver­bot ist ver­letzt, wenn eine nach­tei­li­ge Ent­schei­dung
    nicht auf ver­nünf­ti­gen und objek­ti­ven Grün­den
    beruht und sich daher nicht recht­fer­ti­gen lässt.61 Sofern
    sich eine für den Betrof­fe­nen nach­tei­li­ge staat­li­che
    Ent­schei­dung aus­schließ­lich auf den Out­put eines intrans­pa­ren­ten
    KI-Sys­tems stützt, dürf­te dies eine Ver­let­zung
    des Will­kür­ver­bo­tes dar­stel­len, da das Vor­lie­gen ver­nünf­ti­ger
    und objek­ti­ver Grün­de im Ein­zel­fall nicht über­prüf­bar
    ist. Die Ver­wen­dung intrans­pa­ren­ter KI-Sys­te­me
    durch die Gerich­te sowie die Ein­griffs- und Leis­tungs­ver­wal­tung
    bei der Ent­schei­dungs­fin­dung ver­stößt folg­lich
    gegen den Gleichheitssatz.62
    b) Begrün­dungs­pflicht aus dem Recht auf wirk­sa­me
    Beschwer­de in Ver­bin­dung mit dem Dis­kri­mi­nie­rungs­ver­bot
    Ein Recht auf Infor­ma­ti­on über die tra­gen­den Grün­de
    einer Ent­schei­dung kann sich nach hier ver­tre­te­ner Auf­fas­sung
    zudem aus dem Recht auf eine wirk­sa­me
    Beschwer­de (engl. effec­ti­ve reme­dy) in Ver­bin­dung mit
    dem Dis­kri­mi­nie­rungs­ver­bot erge­ben. Art. 2 Abs. 3 lit. a
    IPBPR bestimmt, dass „jeder der in sei­nen Rech­ten ver­letzt
    wor­den ist, das Recht hat, eine wirk­sa­me Beschwer­de
    ein­zu­le­gen“. Ent­ge­gen dem Wort­laut von Art. 2 Abs. 3
    lit. a) IPBPR muss aber eine Men­schen­rechts­ver­let­zung
    nicht bereits statt­ge­fun­den haben, damit das Recht auf
    wirk­sa­me Beschwer­de zum Tra­gen kommt.63 Viel­mehr
    genügt bereits die glaub­haf­te Gel­tend­ma­chung – sog.
    argu­able claim64 – einer Menschenrechtsverletzung.65
    Wann eine Beschwer­de wirk­sam ist, kann nur in Bezug
    auf die Ver­let­zung eines ande­ren im IPBPR ent­hal­te­nen
    Rechts beur­teilt werden.66 Geht es um Ver­let­zun­gen des
    Dis­kri­mi­nie­rungs­ver­bo­tes aus Art. 26 IPBPR, so ist eine
    Beschwer­de im Ein­zel­fall nur wirk­sam, wenn der betrof­fe­nen
    Per­son die­je­ni­gen Infor­ma­tio­nen mit­ge­teilt wer­den,
    die sie benö­tigt, um eine Dis­kri­mi­nie­rung nach­zu­Feu­er­stack
    · Vor­ga­ben an die Trans­pa­renz KI-basier­ter Ent­schei­dun­gen 1 7 3
    wei­sen und gel­tend zu machen. Nach hier ver­tre­te­ner
    Auf­fas­sung müs­sen sich Betrof­fe­ne dem­nach über die
    tra­gen­den Grün­de der sie betref­fen­den Ent­schei­dung
    infor­mie­ren können.67
    Eine sol­che Infor­ma­ti­ons- bzw. Begrün­dungs­pflicht
    ergibt sich aus Art. 2 Abs. 3 lit. a IPBPR in Ver­bin­dung
    mit Art. 26 IPBPR frei­lich nicht aus­drück­lich. Jedoch
    kön­nen völ­ker­recht­li­che Ver­trä­ge nach dem Grund­satz
    der „necessa­ry implication“68 auch nicht expli­zit garan­tier­te
    Rech­te ent­hal­ten, wenn dies zur Errei­chung des
    Rege­lungs­ziels erfor­der­lich ist.69 Dies ergibt sich auch
    aus dem völ­ker­recht­lich weit­hin aner­kann­ten Effektivitätsgrundsatz70,
    wonach Ver­trä­ge so aus­zu­le­gen sind,
    dass sie ihren Zweck best­mög­lich erreichen.71 Bei Anwen­dung
    die­ser Aus­le­gungs­grund­sät­ze gelangt man zu
    einer staat­li­chen Pflicht, Betrof­fe­nen in Berei­chen, in denen
    Dis­kri­mi­nie­run­gen mög­lich sind, Infor­ma­tio­nen
    über die tra­gen­den Grün­de der Ent­schei­dung mit­zu­tei­len.
    Ohne eine sol­che Pflicht wäre kein effek­ti­ver Schutz
    des Dis­kri­mi­nie­rungs­ver­bo­tes und des Rechts auf eine
    wirk­sa­me Beschwer­de mög­lich, da Dis­kri­mi­nie­run­gen
    im Ein­zel­fall weder iden­ti­fi­zier­bar noch nach­weis­bar
    wären.72 Der Annah­me einer Begrün­dungs­pflicht lie­ße
    sich zwar ent­ge­gen­hal­ten, dass eine wirk­sa­me Beschwer­de
    bereits bei einer Beweis­last­um­kehr hin­sicht­lich der
    Dis­kri­mi­nie­rung mög­lich wäre.73 Da die Wider­le­gung
    einer Dis­kri­mi­nie­rung jedoch nur durch die Dar­le­gung
    der tra­gen­den Grün­de für die Ent­schei­dung mög­lich
    wäre, lie­fe eine sol­che Beweis­last­um­kehr letzt­lich eben­falls
    auf eine Begrün­dungs­pflicht hin­aus.
    Die­ses Recht auf Infor­ma­ti­on über die tra­gen­den
    Grün­de einer Ent­schei­dung muss auch gel­ten, wenn
    Staa­ten für die Ent­schei­dungs­fin­dung KI-Sys­te­me nut­zen.
    Dies ergibt sich aus einer dyna­mi­schen Vertragsauslegung74
    und unter Berück­sich­ti­gung des Sinns und
    Zwecks des IPBPR, mög­lichst effek­ti­ven Men­schen­rechts­schutz
    zu gewährleisten.75 Denn gegen eine unge­recht­fer­tig­te
    Dis­kri­mi­nie­rung durch ein KI-Sys­tem kön­nen
    Betrof­fe­ne nur vor­ge­hen, wenn ihnen Infor­ma­tio­nen
    zur Ver­fü­gung gestellt wer­den, die die Iden­ti­fi­ka­ti­on
    oder jeden­falls die glaub­haf­te Gel­tend­ma­chung einer
    Dis­kri­mi­nie­rung ermög­li­chen. Bei staat­li­chen KI-basier­ten
    Ent­schei­dun­gen müs­sen sich die­se Infor­ma­tio­nen
    auf das kon­kre­te Zustan­de­kom­men des Out­puts bezie­hen.
    Die Betrof­fe­nen müs­sen wis­sen, wel­cher Ver­gleichs­grup­pe
    sie auf­grund wel­cher Eigen­schaf­ten zuge­ord­net
    wurden.76 Da es sich bei den genann­ten
    Infor­ma­tio­nen um die tra­gen­den Grün­de der Ent­schei­dung
    han­delt, kann inso­fern auch hier von einer Begrün­dungs­pflicht
    gespro­chen werden.77
  5. Nicht­staat­li­che KI-basier­te Ent­schei­dun­gen
    Die Haupt­ent­wick­ler und ‑ver­wen­der von KI-Sys­te­men
    sind jedoch kei­ne staat­li­chen, son­dern pri­va­te Akteu­re,
    ins­be­son­de­re mul­ti­na­tio­na­le Großkonzerne.78
    a) Kei­ne indi­rek­te Bin­dung an die Men­schen­rech­te
    Inwie­weit Pri­va­te und ins­be­son­de­re Wirt­schafts­un­ter­neh­men
    an die Men­schen­rech­te gebun­den sind, ist im
    Ein­zel­nen umstrit­ten. Nach ganz über­wie­gen­der Auf­fas­sung
    sind die Men­schen­rech­te nicht direkt hori­zon­tal
    anwendbar.79 Eine unmit­tel­ba­re Bin­dung trans­na­tio­na­ler
    Unter­neh­men (engl. trans­na­tio­nal cor­po­ra­ti­ons, kurz
    TNCs) an die Men­schen­rech­te schei­tert zum einen an
    deren begrenz­tem Völkerrechtssubjektstatus80, zum
    ande­ren am Feh­len einer uni­ver­sel­len völ­ker­ver­trag­li-
    67 Zur Her­lei­tung einer Begrün­dungs­pflicht aus Art. 13 EMRK vgl.
    EGMR, Al-Nashif v. Bul­ga­ria, No. 50963/99, § 13. Zur Begrün­dungs­pflicht
    aus Art. 47 EU-Grund­rech­te­char­ta vgl. EuGH, Rs.
    C‑372/09, 373/09 Beck­RS 2011, 80245 Rn. 63. Zur Her­lei­tung einer
    Begrün­dungs­pflicht aus dem Recht auf effek­ti­ven Rechts­schutz
    aus Art. 19 Abs. 4 GG vgl. BVerfGE 103, 142, 160 f.
    68 IGH, Repa­ra­ti­on for Inju­ries Suf­fe­red in the Ser­vice of the United
    Nati­ons (Gut­ach­ten) ICJ Rep. 1949, 174 (182).
    69 v. Arnauld, Völ­ker­recht, 4. Aufl. 2019, Rn. 231.
    70 Fitz­mau­rice, Inter­pre­ta­ti­on of Human Rights Trea­ties, in Shel­ton,
    The Oxford Hand­book of Inter­na­tio­nal Human Rights Law, 751 f.
    71 v. Arnauld, Völ­ker­recht, 4. Aufl. 2019, Rn. 231. Mit die­ser Metho­de
    ent­nahm der EGMR in Gol­der v United King­dom dem Recht auf
    ein fai­res Ver­fah­ren aus Art. 6 EMRK das Recht auf Zugang zu
    einem Gericht, vgl. Smith, Inter­na­tio­nal Human Rights Law, 10.
    Aufl. 2022, 188.
    72 Dass Per­so­nen, in deren Rech­te die Ver­wal­tung ein­greift, nur
    durch Begrün­dun­gen ihre Rech­te sach­ge­mäß ver­tei­di­gen kön­nen,
    ver­tritt auch BVerwG, DVBl 1982, 198 f.
    73 So etwa Mar­ti­ni, Algo­rith­men als Her­aus­for­de­rung für die Rechts­ord­nung,
    JZ 2017, 1017, 1023 f.
    74 EGMR, Tyrer v. UK, Beck­RS 1978, 108297, Rn. 31; Men­schen­rechts­aus­schuss,
    Judge v. Cana­da, 13.8.2003, Com­mu­ni­ca­ti­on No.
    829/1998, § 10.3.
    75 Vgl. Shel­ton, Advan­ced Intro­duc­tion to Inter­na­tio­nal Human
    Rights Law, 2. Aufl. 2020, 114 ff.
    76 In die­se Rich­tung auch Mar­ti­ni, Black­box Algo­rith­mus – Grund­fra­gen
    einer Regu­lie­rung Künst­li­cher Intel­li­genz, 2019, 72, aller­dings
    nur zum deut­schen Ver­fas­sungs­recht.
    77 Zu einer sich aus Art. 3 GG erge­ben­den Begrün­dungs­pflicht in
    Bezug auf algo­rith­men­ba­sier­te Ent­schei­dun­gen vgl. Kischel in
    Epping/Hillgruber, Beck­OK GG, Art. 3 Rn. 218c.
    78 UN-Men­schen­rechts­rat, Racial discri­mi­na­ti­on and emer­ging
    digi­tal tech­no­lo­gies: a human rights ana­ly­sis – Report of the
    Spe­cial Rap­por­teur on con­tem­pora­ry forms of racism, racial discri­mi­na­ti­on,
    xeno­pho­bia and rela­ted into­le­ran­ce, A/HRC/44/57,
    18.06.2020, Rn. 15.
    79 Men­schen­rechts­aus­schuss, Gene­ral Com­ment No. 31, CCPR/C/21/
    Rev.1/Add. 13, 26.05.2004, Rn. 8.
    80 Mucho­linsky, Cor­po­ra­ti­ons in Inter­na­tio­nal Law, MPEPIL, 2014,
    Rn. 30; Wei­lert, Trans­na­tio­na­le Unter­neh­men im rechts­frei­en
    Raum? Gel­tung und Reich­wei­te völ­ker­recht­li­cher Stan­dards,
    ZaöRV 2009, 883 910.
    1 7 4 O R D N U N G D E R WI S S E N S C H A F T 3 ( 2 0 2 2 ) , 1 6 7 — 1 8 0
    81 Mucho­linsky, Ebd., Rn. 31; Craw­ford, Brownlie’s Princi­ples of
    Public Inter­na­tio­nal law, 9. Aufl. 2019, 630.
    82 UN-Men­schen­rechts­rat, Report of the Spe­cial Repre­sen­ta­ti­ve of
    the Secreta­ry Gene­ral on the issue of human rights and trans­na­tio­nal
    cor­po­ra­ti­ons and other busi­ness enter­pri­ses, John Rug­gie,
    A/HRC/17/31, 21.03.2011.
    83 UN-Wirt­schafts- und Sozi­al­rat, Norms on the respon­si­bi­li­ties of
    trans­na­tio­nal cor­po­ra­ti­ons and other busi­ness enter­pri­ses with
    regard to human rights, E/CN.4/Sub.2/2003/12/Rev.2, 26.8.2003.
    84 OECD, OECD-Gui­de­li­nes for Mul­ti­na­tio­nal Enter­pri­ses, 2011,
    http://www.oecd.org/daf/inv/mne/48004323.pdf.
    85 ILO, Tri­par­ti­te decla­ra­ti­on of princi­ples con­cer­ning mul­ti­na­tio­nal
    enter­pri­ses and social poli­cy (MNE decla­ra­ti­on), 5. Aufl. 2017.
    86 Clapham, Non-Sta­te Actors, in Moeckli/Shah/Sivakumaran,
    Inter­na­tio­nal Human Rights Law, 3. Aufl. 2018, 557, 569.
    87 Shaw, Inter­na­tio­nal Law, 9. Aufl. 2021, 198; Kra­jew­ski, Wirtschaftsvölkerrecht,
  6. Aufl. 2017, Rn. 63.
    88 Vgl. Recht­bank Den Haag, Milieu­de­fen­sie v. Roy­al Dut­ch Shell
    PLC, C/09/571932/HA ZA 19–379 (engel­se ver­sie), Rn. 4.4.11. ff.
    89 Urba­ser S.A. and Con­sor­cio de Agu­as Bil­bao Bizka­ia, Bil­bao
    Bis­ka­ia Ur Par­tu­erg­oa v The Argen­ti­ne Repu­blic, ICSID Case No.
    ARB/07/26, Award, 08.12.2016, Rn. 1194 ff.; Kra­jew­ski, A Night­ma­re
    or a Noble Dream?, Busi­ness and Human Rights Jour­nal 5:1
    (2020), 105, 121 ff.
    90 v. Arnauld, Völ­ker­recht, 4. Aufl. 2019, Rn. 633.
    91 Vgl. Men­schen­rechts­aus­schuss, Gene­ral Com­ment No. 31,
    CCPR/C/21/Rev.1/Add. 13, 26.05.2004, Rn. 6–8.
    92 Zum genau­en Inhalt von men­schen­recht­li­chen Sorg­falts­pflich­ten
    vgl. Monn­hei­mer, Due Dili­gence Obli­ga­ti­ons in Inter­na­tio­nal
    Human Rights Law, 2021, 204 ff.
    93 Men­schen­rechts­aus­schuss, Gene­ral Com­ment No. 31, CCPR/C/21/
    Rev.1/Add. 13, 26.05.2004, Rn. 8; UN-Men­schen­rechts­rat, Report
    of the Spe­cial Repre­sen­ta­ti­ve of the Secreta­ry Gene­ral on the
    issue of human rights and trans­na­tio­nal cor­po­ra­ti­ons and other
    busi­ness enter­pri­ses, John Rug­gie, UN Doc. A/HRC/17/31 (2011),
    Rn. 1 ff.
    94 v. Arnauld, Völ­ker­recht, 4. Aufl. 2020, Rn. 665.
    95 Ebd., Rn. 665.
    96 Stahl, Schutz­pflich­ten im Völ­ker­recht – Ansatz einer Dog­ma­tik,
    2012, 315.
    97 Scha­bas, Nowak’s CCPR Com­men­ta­ry, 3. Ed. 2019, Arti­cle 26, Rn.
    100.
    98 So das BVerfG in sei­ner Ent­schei­dung zum Sta­di­on-Ver­bot, vgl.
    BVerfG NVwZ 2018, 813, 816; die­se Argu­men­ta­ti­on gilt auch für
    den IPBPR, vgl. Scha­bas, Nowak’s CCPR Com­men­ta­ry, 3. Ed.
    2019, Arti­cle 26, Rn. 100 mit Nach­wei­sen.
    99 Eng­lisch: „qua­si-public sec­tor“, vgl. Men­schen­rechts­aus­schuss,
    Nah­lik v. Aus­tra­lia, Com­mu­ni­ca­ti­on No. 608/1995 (1996), Rn. 8.2;
    Scha­bas, Nowak’s CCPR Com­men­ta­ry, 3. Ed. 2019, Arti­cle 26, Rn.
    100 f.
    100 Vgl. BVerfG, NVwZ 2018, 813, 815 Rn. 33.
    101 Scha­bas, Nowak’s CCPR Com­men­ta­ry, 3. Ed. 2019, Arti­cle 26, Rn.
    100 f.
    chen oder ‑gewohn­heits­recht­li­chen Regel, die TNCs
    unmit­tel­bar an die Men­schen­rech­te bindet.81
    Zwar exis­tie­ren auf inter­na­tio­na­ler Ebe­ne inzwi­schen
    zahl­rei­che Ver­hal­tens­ko­di­zes, die sich direkt an TNCs
    rich­ten, allen vor­an die UN Gui­ding Princi­ples on Busi­ness
    and Human Rights,82 der von der UN initi­ier­te Glo­bal
    Compact83, die OECD-Gui­de­li­nes for Mul­ti­na­tio­nal
    Enterprises84 sowie die Tri­par­ti­te Decla­ra­ti­on der ILO.85
    Die­se Ver­hal­tens­ko­di­zes sind als inter­na­tio­na­les soft law
    jedoch für TNCs nur moralisch,86 nicht aber recht­lich
    verbindlich.87 In jüngs­ter Zeit gab es zwar ver­stärkt Bemü­hun­gen
    durch Gerich­te, teil­wei­se über die UN Gui­ding
    Principles88, teil­wei­se über bila­te­ra­le Investitionsschutzabkommen89,
    TNCs rechts­ver­bind­li­che Men­schen­rechts­pflich­ten
    auf­zu­er­le­gen. Die­se Bemü­hun­gen
    konn­ten jedoch bis­lang kei­ne (völ­ker­ge­wohn­heits-)
    rechts­kon­sti­tu­ie­ren­de Kraft ent­fal­ten.
    b) Staat­li­che Schutz- und Sorg­falts­pflich­ten
    Es besteht jedoch eine mit­tel­ba­re Bin­dung trans­na­tio­na­ler
    Unter­neh­men an die Men­schen­rech­te, die sich aus
    staat­li­chen Schutz­pflich­ten ergibt.90 Wie sich auch aus
    Art. 2 Abs. 1 und 2 IPBPR ergibt, ent­hal­ten die Men­schen­rech­te
    nicht nur nega­ti­ve, son­dern auch posi­ti­ve
    Pflichten.91 Die Staa­ten sind ver­pflich­tet, Men­schen­rechts­ver­let­zun­gen
    durch nicht­staat­li­che Akteu­re im
    Rah­men der gebo­te­nen Sorg­falt (due diligence92) zu ver­hin­dern.
    93
    Bei der Wahr­neh­mung die­ser Schutz­pflicht haben
    die Staa­ten bzgl. der geeig­ne­ten Mit­tel zwar einen gro­ßen
    Ermessensspielraum.94 Die­ser ist jedoch durch das
    Unter­maß­ver­bot begrenzt.95 Jeden­falls dort, wo gar kei­ne
    oder nur offen­kun­dig inef­fek­ti­ve Maß­nah­men zum
    Schutz der Men­schen­rech­te ergrif­fen wer­den, ver­let­zen
    die Staa­ten ihre Schutzpflichten.96
    Auch aus dem Wort­laut von Art. 26 S. 2 IPBPR ergibt
    sich, dass die Staa­ten auch vor Dis­kri­mi­nie­run­gen durch
    Pri­va­te wirk­sa­men Schutz gewähr­leis­ten müs­sen. Es besteht
    jedoch Einig­keit, dass sich die­se Schutz­pflicht nicht
    auf die Ver­hin­de­rung jed­we­der Dis­kri­mi­nie­rung im All­tag
    bezie­hen kann.97 So gehört es zu den Frei­hei­ten jeder
    Per­son, nach eige­nen Prä­fe­ren­zen zu bestim­men, mit
    wem sie unter wel­chen Bedin­gun­gen Ver­trä­ge abschlie­ßen
    will.98 Effek­ti­ve Schutz­maß­nah­men gegen Dis­kri­mi­nie­run­gen
    Pri­va­ter müs­sen die Staa­ten jedoch nach herr­schen­der
    Ansicht im sog. „qua­si-öffent­li­chen Sek­tor“ ergrei­fen.
    99 Dies betrifft sol­che Berei­che, in denen Pri­va­te
    die Ent­schei­dungs­macht besit­zen, Drit­te von exis­ten­zi­el­len
    Leis­tun­gen und der Teil­ha­be an wich­ti­gen Res­sour­cen
    des täg­li­chen Lebens auszuschließen.100 In einer sol­chen
    Stel­lung befin­den sich unter ande­rem Arbeit­ge­ber.
    101 Auch Wirt­schafts­aus­kunftei­en wie die Schufa, die
    durch ihre Bewer­tun­gen Men­schen fak­tisch von der Gewäh­rung
    eines Kre­dits aus­schlie­ßen kön­nen, dürf­ten
    dar­un­ter fal­len. Wer­den KI-Sys­te­me von Arbeit­ge­bern
    bei der Ein­stel­lung von Arbeits­kräf­ten oder von Kre­dit­Feu­er­stack
    · Vor­ga­ben an die Trans­pa­renz KI-basier­ter Ent­schei­dun­gen 1 7 5
    102 So auch das BVerfG in sei­ner Ent­schei­dung zum Sta­di­on­ver­bot,
    NVwZ 2018, 813, 816 Rn. 45.
    103 So müs­sen Betrof­fe­ne nach § 22 AGG nur Indi­zi­en für eine Dis­kri­mi­nie­rung
    bewei­sen. Indi­zi­en für eine unglei­che Bezah­lung
    auf­grund des Geschlechts kön­nen aller­dings nur bewie­sen wer­den,
    wenn die betrof­fe­ne Per­son Zugang zu Infor­ma­tio­nen über
    die Gehäl­ter der Mit­ar­bei­ter hat. Hier ergibt sich in Deutsch­land
    ein Aus­kunfts­an­spruch aus dem Ent­gelt­trans­pa­renz­ge­setz.
    104 Zur Recht­fer­ti­gung auf­grund recht­lich geschütz­ter Geschäfts­ge­heim­nis­se
    sie­he unten IV.3.
    105 Men­schen­rechts­aus­schuss, Gene­ral Com­ment No. 31, CCPR/C/21/
    Rev.1/Add. 13, 26.05.2004, Rn. 5.
    106 Dressel/Farid, The accu­ra­cy, fair­ness, and limits of pre­dic­ting
    reci­di­vism, Sci­ence Advan­ces 2018 Vol. 4: eaao5580, 1.
    107 In Betracht kommt auch der Schutz von Geschäfts­ge­heim­nis­sen
    über das Recht auf (geis­ti­ges) Eigen­tum gem. Art. 15 Abs. 1 lit. c
    IPWSKR oder Art. 1 des ers­ten Zusatz­pro­to­kolls zur EMRK.
    108 Agree­ment on Tra­de-Rela­ted Aspects of Intel­lec­tu­al Pro­per­ty
    Rights (as amen­ded on 23 Janu­a­ry 2017), https://www.wto.org/
    english/docs_e/legal_e/31bis_trips_01_e.htm.
    109 Vgl. Art. 10 zu Com­pu­ter­pro­gram­men und Art. 39 zum Schutz
    von Geschäfts­ge­heim­nis­sen; Barfield/Pagallo, Law and Arti­fi­cial
    Intel­li­gence, 2020, 172.
    110 Pro­ble­ma­tisch ist frei­lich, dass das TRIPS kei­ne all­ge­mei­ne
    Schran­ken­klau­sel ent­hält. Inwie­fern Ein­schrän­kun­gen von
    Art. 10 und 39 TRIPS damit über­haupt noch mög­lich sind und
    wel­che Impli­ka­tio­nen sich hier­aus für den Schutz mit dem Geheim­nis­schutz
    kol­li­die­ren­der Men­schen­rech­te erge­ben, scheint
    des­halb frag­lich.
    111 So die Argu­men­ta­ti­on der Schufa, die des­halb die­se Infor­ma­tio­in­sti­tu­ten
    bei der Bewer­tung von Kre­dit­be­wer­bern ver­wen­det,
    so ent­fal­tet das Dis­kri­mi­nie­rungs­ver­bot mit­tel­ba­re
    Bin­dungs­wir­kung. Fol­ge­rich­tig muss auch in die­sen
    Fäl­len eine wirk­sa­me Beschwer­de gegen Dis­kri­mi­nie­run­gen
    mög­lich sein. Dies kann einer­seits eben­falls aus
    dem Recht auf eine wirk­sa­me Beschwer­de aus Art. 2
    Abs. 3 lit. a IPBPR abge­lei­tet wer­den. Ande­rer­seits ergibt
    es sich aus der Pflicht aus Art. 26 S. 2 IPBPR, wirk­sa­men
    Schutz gegen Dis­kri­mi­nie­run­gen im qua­si-öffent­li­chen
    Sek­tor zu gewähr­leis­ten.
    Begrün­det man eine mit­tel­ba­re Dritt­wir­kung des
    Dis­kri­mi­nie­rungs­ver­bots mit einer qua­si-staat­li­chen
    Funk­ti­on, so kann dar­an auch eine Infor­ma­ti­ons- bzw.
    Begrün­dungs­pflicht bei intrans­pa­ren­ten Ent­schei­dun­gen
    ange­knüpft werden.102 Ohne Min­dest­in­for­ma­tio­nen
    über die tra­gen­den Grün­de einer Ent­schei­dung wären
    Betrof­fe­ne andern­falls gänz­lich schutz­los gestellt. Der
    Beweis einer Dis­kri­mi­nie­rung, auch der Beweis von Indi­zi­en
    für eine sol­che, wäre kaum möglich.103 Frei­lich ist
    hier der sou­ve­rä­ni­täts­be­dingt wei­te staat­li­che Ermes­sens­spiel­raum,
    sowie die abge­stuf­te, mit­tel­ba­re Bin­dung
    der pri­va­ten Akteu­re zu beach­ten. Dies kann berück­sich­tigt
    wer­den, indem in ein­fach­ge­setz­li­chen Kon­kre­ti­sie­run­gen
    nur das gerings­te Min­dest­maß an Infor­ma­tio­nen
    über das kon­kre­te Zustan­de­kom­men der Ent­schei­dung
    gefor­dert wird.104
  7. Recht­fer­ti­gung
    Ein­schrän­kun­gen der Men­schen­rech­te kön­nen jedoch
    gerecht­fer­tigt sein, wenn sie zur Errei­chung eines legi­ti­men
    Ziels erfor­der­lich und ange­mes­sen sind.105 In der
    Dis­kus­si­on um KI-Sys­te­me wird häu­fig argu­men­tiert,
    dass deren Ein­satz schnel­le­re, genaue­re und objek­ti­ve­re
    Ergeb­nis­se her­vor­brin­ge. Allein die­ses Argu­ment ver­mag
    die Intrans­pa­renz KI-basier­ter Ent­schei­dun­gen und
    die Hin­nah­me etwai­ger Dis­kri­mi­nie­run­gen jedoch nicht
    zu recht­fer­ti­gen.
    Zum einen wird die Behaup­tung, KI-basier­te Pro­gno­se­ent­schei­dun­gen
    sei­en genau­er und objek­ti­ver als
    mensch­li­chen Ent­schei­dun­gen berech­tig­ter­wei­se in
    Zwei­fel gezo­gen. So ergab eine Stu­die etwa, dass COMPAS
    nicht genau­er ent­schei­det als zufäl­lig aus­ge­wähl­te
    Internetnutzer.106 Jeden­falls darf die Intrans­pa­renz einer
    Ent­schei­dung zuguns­ten von mehr Effi­zi­enz nicht dazu
    füh­ren, dass Betrof­fe­ne gar kei­ne wirk­sa­me Beschwer­de
    gegen KI-basier­te Dis­kri­mi­nie­run­gen erhe­ben kön­nen.
    Dies wäre eine unver­hält­nis­mä­ßi­ge Ein­schrän­kung des
    Rechts auf wirk­sa­me Beschwer­de.
    Bei der Nut­zung von KI-Sys­te­men durch Pri­va­te hat
    der Staat bei der Ergrei­fung ange­mes­se­ner Schutz­maß­nah­men
    indes auch die Men­schen­rech­te und sons­ti­ge
    recht­lich geschütz­te Inter­es­sen der Nut­zer bzw. Ent­wick­ler
    zu berück­sich­ti­gen. Dem Inter­es­se der Betrof­fe­nen,
    die Grün­de für die Ent­schei­dung zu erfah­ren, um dage­gen
    recht­lich vor­ge­hen zu kön­nen, steht das Inter­es­se
    der Ent­wick­ler gegen­über, die genaue Funk­ti­ons­wei­se
    aus wirt­schaft­li­chen Grün­den geheim zu hal­ten. Je nach
    Kon­stel­la­ti­on kön­nen KI-Sys­te­me bspw. als Inves­ti­ti­on
    in den Schutz­be­reich bila­te­ra­ler oder mul­ti­la­te­ra­ler Inves­ti­ti­ons­schutz­ab­kom­men
    fallen.107 Com­pu­ter­pro­gram­me
    und Geschäfts­ge­heim­nis­se wer­den zudem expli­zit
    im TRIPS-Abkom­men108 geschützt.109 Der Schutz
    von Geschäfts­ge­heim­nis­sen kann jedoch nicht so schwer
    wie­gen, dass er kom­plet­te Intrans­pa­renz zu recht­fer­ti­gen
    ver­mag. Viel­mehr sind die kol­li­die­ren­den Inter­es­sen
    mit­ein­an­der in Aus­gleich zu bringen.110 Die Pflicht der
    voll­stän­di­gen Offen­le­gung des Quell­codes gegen­über
    der betrof­fe­nen Per­son dürf­te dabei unver­hält­nis­mä­ßig,
    aber auch nicht ziel­füh­rend sein: Da die meis­ten Men­schen
    nicht in der Lage sind, Com­pu­ter­codes zu lesen
    und zu ver­ste­hen, dürf­te dies ohne­hin für die wenigs­ten
    Betrof­fe­nen von Nut­zen sein. Viel­mehr genügt es, wenn
    Betrof­fe­ne über die vom Sys­tem ver­wen­de­ten Daten, deren
    Gewich­tung im Ein­zel­fall und die Ein­ord­nung in die
    jewei­li­ge Ver­gleichs­grup­pe infor­miert wer­den. Zwar
    wer­den auch hier­durch bereits sen­si­ble Details über die
    Funk­ti­ons­wei­se des ver­wen­de­ten KI-Sys­tems offen­bart.
    111 Dies ist jedoch hin­zu­neh­men, da andern­falls für
    1 7 6 O R D N U N G D E R WI S S E N S C H A F T 3 ( 2 0 2 2 ) , 1 6 7 — 1 8 0
    nen unter Ver­schluss hält, vgl. VG Wies­ba­den, ZD 2022, 121.
    112 Vgl. de Laat, Algo­rith­mic Decisi­on-Making Based on Machi­ne
    Lear­ning from Big Data: Can Trans­pa­ren­cy Res­to­re Accoun­ta­bi­li­ty?,
    Phi­lo­so­phy & tech­no­lo­gy 2018, Vol. 31, 525, 536; Citron/
    Pas­qua­le, The Scored Socie­ty: Due Pro­cess for Auto­ma­ted
    Pre­dic­tions, Washing­ton Law Review 2014, Vol. 89, 1, 28.
    113 Zu die­sem Schluss kommt auch Mar­ti­ni in Black­box Algo­rith­mus
    – Grund­fra­gen einer Regu­lie­rung Künst­li­cher Intel­li­genz, 2019, 71.
    114 Vgl. Krish­n­an, Against Inter­pre­ta­bi­li­ty: a Cri­ti­cal Exami­na­ti­on
    of the Inter­pre­ta­bi­li­ty Pro­blem in Machi­ne Lear­ning, Sci­ence &
    Phi­lo­so­phy, Phi­lo­so­phy and Tech­no­lo­gy 2019, Vol. 33, 487, 492.
    115 Vgl. zu § 39 VwVfG, Schü­ler-Harms in Schoch/Schneider, Ver­wal­tungs­recht,
    2021, § 39 VwVfG, Rn. 56.
    116 Wischmey­er, Arti­fi­cial Intel­li­gence and Trans­pa­ren­cy: Ope­ning
    the Black Box, in Wischmeyer/Rademacher, Regu­la­ting Arti­fi­cial
    Intel­li­gence (2019), 77.
    117 Vgl. auch Mar­ti­ni, Black­box Algo­rith­mus – Grund­fra­gen einer
    Regu­lie­rung Künst­li­cher Intel­li­genz, 2019, 72. A.A. der BGH in
    sei­ner Schufa-Ent­schei­dung 2014, der einen sol­chen Anspruch
    auf­grund des Schut­zes des Betriebs- und Geschäfts­ge­heim­nis­ses
    ablehn­te, vgl. BGH NJW 2014, 1235.
    118 Etwa am Vor­bild von § 34 GenTG oder § 6 UmwHG, vgl. Zech,
    Künst­li­che Intel­li­genz und Haf­tungs­fra­gen, ZfPW 2019, 198, 218.
    119 Zech, Ebd., 214 f; Wen­de­horst, Lia­bi­li­ty for Arti­fi­cial Intel­li­gence
    – the Need to Address both Safe­ty Risks and Fun­da­men­tal Rights
    Risks, in Vöne­ky et al., The Cam­bridge Hand­book of Respon­si­ble
    Arti­fi­cial Intel­li­gence – Inter­di­sci­pli­na­ry Per­spec­ti­ves (erscheint
    2022).
    die Betrof­fe­nen kein Men­schen­rechts­schutz mög­lich
    und infol­ge­des­sen das Unter­maß­ver­bot ver­letzt wäre.
    Außer­dem lässt sich ein ange­mes­se­ner Inter­es­sens­aus­gleich
    bspw. auch dadurch erzie­len, dass die Offen­le­gung
    nur gegen­über zur Geheim­hal­tung ver­pflich­te­ten unab­hän­gi­gen
    Sach­ver­stän­di­gen erfolgt.112
  8. Zusam­men­fas­sung
    Die Men­schen­rech­te schrei­ben Ent­schei­dungs­trans­pa­renz
    sowohl bei staat­li­chen als auch bei nicht­staat­li­chen
    Ent­schei­dun­gen im qua­si-öffent­li­chen Sek­tor vor. Die
    tra­gen­den Grün­de für die Ent­schei­dung müs­sen den
    Betrof­fe­nen dann, aber auch nur dann, mit­ge­teilt wer­den,
    wenn andern­falls kein wirk­sa­mer Rechts­schutz
    mög­lich ist. Die­se Vor­aus­set­zung ist bei intrans­pa­ren­ten
    KI-basier­ten Ent­schei­dun­gen in Berei­chen, in denen
    Dis­kri­mi­nie­run­gen mög­lich sind, erfüllt: Ohne Kennt­nis
    der tra­gen­den Grün­de für eine Ent­schei­dung kann im
    Ein­zel­fall eine Dis­kri­mi­nie­rung nicht fest­ge­stellt wer­den.
    113
    Aus die­ser Erwä­gung lässt sich fol­gen­der Regu­lie­rungs­vor­schlag
    ablei­ten: Ent­schei­dun­gen eines KI-Sys­tems
    oder auf Basis eines KI-Sys­tems müs­sen so trans­pa­rent
    sein, dass der betrof­fe­nen Per­son die­je­ni­gen wesent­li­chen
    tat­säch­li­chen und recht­li­chen Grün­de für die Ent­schei­dung
    mit­ge­teilt wer­den kön­nen, deren Kennt­nis für
    den effek­ti­ven Schutz der Rech­te die­ser Per­son not­wen­dig
    ist.
    Inso­fern kann auch von der Not­wen­dig­keit der Begründ­bar­keit
    KI-basier­ter Ent­schei­dun­gen gespro­chen
    wer­den. Zen­tral ist die Fra­ge nach dem „War­um“ – nicht
    in einem kau­sa­len, son­dern in einem recht­fer­ti­gen­den
    Sinn.114 So geben Men­schen, wenn sie eine Ent­schei­dung
    begrün­den, nicht not­wen­dig die wirk­lich ursäch­li­chen
    Grün­de für die Ent­schei­dung an. Dies wür­de etwa
    die Ver­knüp­fung bestimm­ter Neu­ro­nen beinhal­ten.
    Viel­mehr beinhal­tet eine juris­tisch trag­fä­hi­ge Begrün­dung
    nur die­je­ni­gen Grün­de, die aus Sicht des Ent­schei­dungs­trä­gers
    die Ent­schei­dung tragen.115 Nicht erfor­der­lich
    – und jeden­falls für Lai­en auch nicht sinnvoll116 – ist
    es, in die­sen Berei­chen Betrof­fe­nen den Quell­code des
    Sys­tems offen­zu­le­gen. Viel­mehr müs­sen die tra­gen­den
    Grün­de für den Out­put für die betrof­fe­ne Per­son ver­ständ­lich
    und nach­voll­zieh­bar sein und sie in die Lage
    ver­set­zen, eine mög­li­che Rechts­ver­let­zung zu iden­ti­fi­zie­ren
    und vor Gericht glaub­haft und sub­stan­ti­iert dar­zu­le­gen.
    Hier­zu kann es bspw. erfor­der­lich sein, die betrof­fe­ne
    Per­son dar­über zu infor­mie­ren, auf wel­chen Daten
    die Klas­si­fi­ka­ti­on durch das algo­rith­mi­sche Sys­tem basiert,
    wel­cher Ver­gleichs­grup­pe sie durch das Sys­tem zuge­ord­net
    wur­de, wes­halb die­se Zuord­nung erfolgt ist
    und wie ein­zel­ne Varia­blen bei der Klas­si­fi­ka­ti­on gewich­tet
    wurden.117
    Nicht in die­sem Sin­ne trans­pa­rent müs­sen indes KIba­sier­te
    Ent­schei­dun­gen sein, bei denen der effek­ti­ve
    Schutz der Men­schen­rech­te auch ander­wei­tig erreicht
    wer­den kann. Dies betrifft etwa mate­ri­el­le Schä­den, bei
    denen ledig­lich Kau­sa­li­täts­zu­sam­men­hän­ge nicht durch
    die betrof­fe­ne Per­son nach­ge­wie­sen wer­den kön­nen, der
    Scha­den selbst jedoch fest­steht. In die­sen Fäl­len kön­nen
    eine erleich­ter­te Beweis- und Darlegungslast118 oder
    eine Gefährdungshaftung119 Abhil­fe schaf­fen.
    V. Trans­pa­renz in bestehen­den Regu­lie­rungs­an­sät­zen
    Es fragt sich, inwie­fern die soeben her­aus­ge­ar­bei­te­ten,
    sich aus den Men­schen­rech­ten erge­ben­den Vor­ga­ben an
    die Trans­pa­renz von KI-Sys­te­men in bestehen­den Regu­lie­rungs­an­sät­zen
    bereits berück­sich­tigt werden.
  9. Die EU-Daten­schutz­grund­ver­ord­nung
    Die Intrans­pa­renz von KI-Sys­te­men wird in der juris­ti­schen
    Lite­ra­tur haupt­säch­lich im Zusam­men­hang mit
    dem sich aus der EU-Daten­schutz­grund­ver­ord­nung
    Feu­er­stack · Vor­ga­ben an die Trans­pa­renz KI-basier­ter Ent­schei­dun­gen 1 7 7
    120 Ver­ord­nung (EU) 2016/679 des euro­päi­schen Par­la­ments und des
    Rates vom 27. April 2016 zum Schutz natür­li­cher Per­so­nen bei der
    Ver­ar­bei­tung per­so­nen­be­zo­ge­ner Daten zum frei­en Daten­ver­kehr
    und zur Auf­he­bung der Richt­li­nie 95/46/EG (Daten­schutz-
    Grund­ver­ord­nung), ABl. L 119/1.
    121 Wischmey­er, Regu­lie­rung intel­li­gen­ter Sys­te­me AöR 143 (2018),
    49 ff.; Wachter/Mittelstadt/Floridi, Why a Right to Explana­ti­on
    of Auto­ma­ted Decisi­on-Making Does Not Exist in the GDPR,
    Inter­na­tio­nal Pri­va­cy Law 7 (2017), 76.
    122 Wischmey­er, Arti­fi­cial Intel­li­gence and Trans­pa­ren­cy: Ope­ning
    the Black Box, in Wischmeyer/Rademacher, Regu­la­ting Arti­fi­cial
    Intel­li­gence (2019), 83, mit Nach­wei­sen. Die Reich­wei­te des
    Anwen­dungs­be­reichs von Art. 22 DSGVO ist im Ein­zel­nen
    umstrit­ten, vgl. auch die aktu­el­le Vor­la­ge des VG Wies­ba­den, ZD
    2022, 121.
    123 Wachter/Mittelstadt/Floridi, Why a Right to Explana­ti­on of Auto­ma­ted
    Decisi­on-Making Does Not Exist in the GDPR, Inter­na­tio­nal
    Pri­va­cy Law 7 (2017), 76, 82.
    124 Wachter/Mittelstadt/Floridi, Ebd., 82.
    125 Wachter/Mittelstadt/Floridi, Why a Right to Explana­ti­on of Auto­ma­ted
    Decisi­on-Making Does Not Exist in the GDPR, Inter­na­tio­nal
    Pri­va­cy Law 7 (2017), 76, 79, mit Nach­wei­sen.
    126 Wachter/Mittelstadt/Floridi, Ebd., 80.
    127 EuGH, NVwZ 1998, 269, 270.
    128 Vgl. Bibal et al., Legal requi­re­ments on exp­laina­bi­li­ty in machi­ne
    lear­ning Arti­fi­cial intel­li­gence and Law, 29 (2021), 149, 152; Wachter/
    Mittelstadt/Floridi, Why a Right to Explana­ti­on of Auto­ma­ted
    Decisi­on-Making Does Not Exist in the GDPR, Inter­na­tio­nal
    Pri­va­cy Law, 7 (2017), 76, 81.
    (DSGVO)120 erge­ben­den Recht auf Erklä­rung dis­ku­tiert.
    121 Im Fal­le einer aus­schließ­lich auf einer auto­ma­ti­sier­ten
    Ver­ar­bei­tung per­so­nen­be­zo­ge­ner Daten beru­hen­den
    Ent­schei­dung gem. Art. 22 Abs. 1 DSGVO haben
    betrof­fe­ne Per­so­nen gem. Art. 13 Abs. 2 lit. f, 14 Abs. 2 lit.
    g, 15 Abs. 1 lit. h DSGVO ein Recht auf „aus­sa­ge­kräf­ti­ge
    Infor­ma­tio­nen über die invol­vier­te Logik sowie die Trag­wei­te
    und die ange­streb­ten Aus­wir­kun­gen einer der­ar­ti­gen
    Ver­ar­bei­tung“.
    Die­se in Art. 15 DSGVO als sub­jek­ti­ves Recht aus­ge­stal­te­te
    Infor­ma­ti­ons­pflicht genügt den sich aus den
    Men­schen­rech­ten erge­ben­den Anfor­de­run­gen an Ent­schei­dungs­trans­pa­renz
    jedoch nicht. Abge­se­hen davon,
    dass sie nur bei aus­schließ­lich auto­ma­ti­sier­ten Ent­schei­dun­gen
    ohne mensch­li­che Betei­li­gung besteht122, bezieht
    sich das behaup­te­te Recht auf Erklä­rung nur auf
    abs­trak­te, nicht jedoch auf kon­kre­te Infor­ma­tio­nen. Eine
    Pflicht, Betrof­fe­nen die tra­gen­den Grün­de für die Ent­schei­dung
    im Ein­zel­fall offen­zu­le­gen, lässt sich dar­aus
    nicht ablei­ten. Dies ergibt sich neben dem Wort­laut der
    Art. 13 Abs. 2 lit. f, Art. 14 Abs. 2 lit. gund Art. 15 Abs. 1 lit.
    h DSGVO auch aus deren Sys­te­ma­tik. Denn Art. 13 und
    14 DSGVO bezie­hen sich auf den Zeit­punkt der Daten­er­he­bung,
    zu dem eine Begrün­dung der kon­kre­ten Ent­schei­dung
    noch gar nicht mög­lich ist und for­dern daher
    nur eine Ex-ante-Erklärung.123 Nichts ande­res kann somit
    für das Aus­kunfts­recht in Art. 15 Abs. 1 lit h DSGVO
    gel­ten, das zwar auch nach der Daten­er­he­bung besteht,
    jedoch mit dem Wort­laut der Art. 13 Abs. 2 lit. f und Art.
    14 Abs. 2 lit. g DSGVO iden­tisch ist.124
    Ande­re ver­su­chen, ein Recht auf Erklä­rung aus Art.
    22 Abs. 3 DSGVO abzuleiten.125 Dem­nach müs­sen die
    Ver­wen­der des KI-Sys­tems „ange­mes­se­ne Maß­nah­men
    [tref­fen], um die Rech­te und Frei­hei­ten sowie die berech­tig­ten
    Inter­es­sen der betrof­fe­nen Per­son zu wah­ren,
    wozu min­des­tens das Recht auf Erwir­kung des Ein­grei­fens
    einer Per­son sei­tens des Ver­ant­wort­li­chen, auf Dar­le­gung
    des eige­nen Stand­punkts und auf Anfech­tung der
    Ent­schei­dung gehört.“ Bereits der Begriff „min­des­tens“
    sug­ge­riert, dass es sich in der Vor­schrift ledig­lich um einen
    Min­dest­stan­dard handelt.126 Ein Recht auf Erklä­rung
    ergibt sich hier­aus nicht. Etwas Ande­res kann sich
    auch nicht in Zusam­men­schau mit Erw­Gr 71 der DSGVO
    erge­ben, wonach bei auto­ma­ti­sier­ten Ent­schei­dun­gen
    auch eine „Erläu­te­rung der nach einer ent­spre­chen­den
    Bewer­tung getrof­fe­nen Ent­schei­dung“ garan­tiert
    wer­den „soll­te“. Die Erwä­gungs­grün­de kön­nen zwar
    trotz feh­len­der Ver­bind­lich­keit bei der Aus­le­gung des
    ope­ra­ti­ven Teils der Ver­ord­nung von Bedeu­tung sein.127
    In Bezug auf die vor­lie­gen­de Fra­ge spricht hier­ge­gen jedoch
    der ent­ge­gen­ste­hen­de Wil­le des Ver­ord­nungs­ge­bers.
    Denn das in Erw­Gr 71 for­mu­lier­te Recht auf Erklä­rung
    war auch ursprüng­lich in Art. 22 DSGVO ent­hal­ten,
    wur­de jedoch im Lau­fe des Gesetz­ge­bungs­ver­fah­rens
    aus der Vor­schrift entfernt.128
    Die DSGVO ent­hält folg­lich kei­ne Vor­ga­ben an die
    Trans­pa­renz KI-basier­ter Ent­schei­dun­gen, die den Men­schen­rech­ten
    hin­rei­chend Rech­nung tra­gen. Denn sie
    ermög­licht es Betrof­fe­nen nicht, die für eine Ent­schei­dung
    ursäch­li­chen Grün­de zu erfah­ren und ggf. Dis­kri­mi­nie­run­gen
    fest­zu­stel­len und vor Gericht zu beweisen.
  10. Der Ent­wurf der EU-KI-Ver­ord­nung
    In dem im April 2021 von der EU-Kom­mis­si­on ver­ab­schie­de­ten
    Ent­wurf zu einer KI-VO fin­det sich in Art. 13
    eine expli­zi­te Vor­ga­be an die Trans­pa­renz von Hoch­ri­si­ko-
    KI-Sys­te­men. Die­se müs­sen dem­nach so kon­zi­piert
    und ent­wi­ckelt wer­den, „dass ihr Betrieb hin­rei­chend
    trans­pa­rent ist, damit die Nut­zer die Ergeb­nis­se des Sys­tems
    ange­mes­sen inter­pre­tie­ren und ver­wen­den kön­nen.“
    Auch die­se Trans­pa­renz­pflicht ist gemes­sen an den –
    oben dar­ge­leg­ten – sich aus den Men­schen­rech­ten erge­ben­den
    Vor­ga­ben an die Trans­pa­renz von KI-Sys­te­men
    jedoch unzu­rei­chend. Ins­be­son­de­re bleibt völ­lig unklar,
    wie der aus juris­ti­scher Sicht neue Begriff der Interpre1
    7 8 O R D N U N G D E R WI S S E N S C H A F T 3 ( 2 0 2 2 ) , 1 6 7 — 1 8 0
    129 Bur­ri, The New Regu­la­ti­on of the Euro­pean Uni­on on Arti­fi­cial
    Intel­li­gence – Fuz­zy Ethics Dif­fu­se into Domestic Law and
    Side­li­ne Inter­na­tio­nal Law, in Vöne­ky et al., The Cam­bridge
    Hand­book of Respon­si­ble Arti­fi­cial Intel­li­gence – Inter­di­sci­pli­na­ry
    Per­spec­ti­ves (erscheint 2022).
    130 Zur­zeit wird der Ent­wurf noch im Aus­schuss für Bin­nen­markt
    und Ver­brau­cher­schutz (IMCO) und im Aus­schuss für
    bür­ger­li­che Frei­hei­ten, Jus­tiz und Inne­res (LIBE) dis­ku­tiert. Das
    KI-Gesetz soll Ende Sep­tem­ber von den bei­den Aus­schüs­sen
    gemein­sam ver­ab­schie­det wer­den, vgl. https://www.europarl.
    europa.eu/news/de/press-room/20220429IPR28228/kunstlicheintelligenz-
    eu-soll-welt­weit-stan­dards-set­zen.
    131 OECD, Recom­men­da­ti­on of the Coun­cil on Arti­fi­cial Intel­li­gence,
    OECD/LEGAL/0449, 22.05.2019, https://legalinstruments.
    oecd.org/en/instruments/OECD-LEGAL-0449; Zur (inof­fi­zi­el­len)
    deut­sche Über­set­zung vgl. “Emp­feh­lung des Rats zu künst­li­cher
    Intel­li­genz” http://www.oecd.org/berlin/presse/Empfehlungdes-
    Rats-zu-kuenstlicher-Intelligenz.pdf.
    132 OECD, Ebd.
    133 Vgl. hier­zu auch umfas­sen­der Vöne­ky, Key Ele­ments of Respon­si­ble
    AI, OdW 2020, 9, 17 f.
    134 Yeung/Lodge, Algo­rith­mic Regu­la­ti­on, 2019, 72.
    tier­bar­keit zu ver­ste­hen ist. Die Kom­mis­si­on über­nimmt
    einen aus der ethisch-phi­lo­so­phi­schen Debatte129 zu KI
    stam­men­den Begriff, ohne die­sen zu defi­nie­ren. Es bleibt
    zudem unklar, ob ledig­lich das Ergeb­nis an sich inter­pre­tier­bar
    sein muss oder ob sich die Trans­pa­renz­pflicht
    auch auf das Zustan­de­kom­men des spe­zi­fi­schen Ergeb­nis­ses
    bezieht. Der Hin­weis auf den Zweck der Rege­lung
    in Art. 13 Abs. 1 S. 2 KI-VO, wonach Trans­pa­renz es den
    Nut­zern von KI-Sys­te­men unter ande­rem ermög­li­chen
    soll, Anbie­ter über poten­zi­el­le Risi­ken für den Schutz
    der Grund­rech­te von Per­so­nen zu infor­mie­ren, kann die
    Unklar­hei­ten bei der Aus­le­gung des Begriffs der Inter­pre­tier­bar­keit
    nicht besei­ti­gen.
    Es han­delt sich zudem aus­schließ­lich um eine Pflicht
    der Anbie­ter gegen­über den Nut­zern. Ein Recht von Betrof­fe­nen,
    die ursäch­li­chen Grün­de für die sie betref­fen­de
    Ent­schei­dung zu erfah­ren und die­ses Recht gege­be­nen­falls
    gericht­lich durch­zu­set­zen, fehlt dem­ge­gen­über
    und lässt sich auch durch Aus­le­gung nicht her­lei­ten.
    Hier fällt die neue KI-VO sogar hin­ter dem Stan­dard der
    (eben­falls unzu­rei­chen­den) DSGVO zurück, deren
    Recht auf Erklä­rung jeden­falls ein sub­jek­ti­ves und
    durch­setz­ba­res Recht dar­stellt. Es bleibt zu hof­fen, dass
    die­se Miss­stän­de bis zur geplan­ten Ver­ab­schie­dung der
    Ver­ord­nung im Sep­tem­ber 2022130 beho­ben werden.
  11. OECD-Emp­feh­lun­gen zu KI
    Einen ers­ten inter­na­tio­na­len Regu­lie­rungs­an­satz stel­len
    die Emp­feh­lun­gen der OECD zu KI131 dar. In Prin­zip 1.3
    heißt es unter der Über­schrift „Trans­pa­ren­cy and exp­laina­bi­li­ty“:
    „AI Actors should com­mit to trans­pa­ren­cy and respon­si­ble
    dis­clo­sure regar­ding AI sys­tems. To this end,
    they should pro­vi­de mea­ning­ful infor­ma­ti­on, appro­pria­te
    to the con­text, and con­sis­tent with the sta­te of art […]
    to enab­le tho­se affec­ted by an AI sys­tem to under­stand
    the out­co­me, and, […] to enab­le tho­se adver­se­ly affec­ted
    by an AI sys­tem to chal­len­ge its out­co­me based on plain
    and easy-to-under­stand infor­ma­ti­on on the fac­tors, and
    the logic that ser­ved as the basis for the pre­dic­tion, recom­men­da­ti­on
    or decision.“132
    Zwar fehlt ein Ver­weis auf die tra­gen­den Grün­de für
    die kon­kre­te KI-basier­te Ent­schei­dung. Posi­tiv zu bewer­ten
    ist jedoch der deut­li­che Fokus auf die Rech­te der
    von einer Ent­schei­dung nega­tiv betrof­fe­nen Per­so­nen.
    Nega­tiv zu bewer­ten ist jedoch der unver­bind­li­che
    Wort­laut („should“) sowie die Tat­sa­che, dass es sich nur
    um eine völ­ker­recht­lich unver­bind­li­che Emp­feh­lung,
    also soft law, han­delt, die zudem auch nur für die 38 Mit­glied­staa­ten
    der OECD.133 Als soft law könn­ten die Emp­feh­lun­gen
    jedoch einen Aus­gangs­punkt für einen uni­ver­sel­len
    völ­ker­recht­li­chen Ver­trag zu KI dar­stel­len.
    VI. Zusam­men­fas­sung und Aus­blick
    Die Trans­pa­renz von Ent­schei­dun­gen ist jeden­falls in
    bestimm­tem Umfang durch die bür­ger­li­chen und poli­ti­schen
    Men­schen­rech­te vor­ge­schrie­ben, wenn sie not­wen­di­ge
    Vor­aus­set­zung für deren effek­ti­ven Schutz ist.
    Ent­schei­dungs­trans­pa­renz ergibt sich ins­be­son­de­re als
    eine Art „Hintergrundrecht“134 aus dem Recht auf eine
    wirk­sa­me Beschwer­de und dem Dis­kri­mi­nie­rungs­ver­bot.
    Die­se Vor­ga­ben las­sen sich auch auf Fäl­le des Ein­sat­zes
    von KI-Sys­te­men über­tra­gen: Ent­schei­dun­gen, die
    auf dem Out­put eines KI-Sys­tems basie­ren, müs­sen
    begrün­det wer­den, wenn dies für den Schutz ver­bind­li­cher
    Men­schen­rech­te erfor­der­lich ist. Dies gilt ins­be­son­de­re
    dort, wo andern­falls Dis­kri­mi­nie­run­gen unent­deckt
    blie­ben und wo die Gefahr besteht, dass sich Vor­ur­tei­le
    zu sozia­len Tat­sa­chen ver­fes­ti­gen.
    Ent­schei­dungs­trans­pa­renz muss dabei nicht nur bei
    staat­li­chem Han­deln im Rah­men der Ein­griffs- und
    Leis­tungs­ver­wal­tung, son­dern auch bei pri­va­tem Han­deln
    im soge­nann­ten qua­si-öffent­li­chen Sek­tor gewähr­leis­tet
    wer­den. Bei der Ver­wen­dung von KI-Sys­te­men
    durch Pri­va­te besteht jedoch ein gro­ßer regu­la­ti­ver
    Hand­lungs­spiel­raum der Staa­ten. Wenn Staa­ten nicht in
    der Lage oder nicht wil­lens sind, die erfor­der­li­chen gesetz­li­chen
    Maß­nah­men zu ergrei­fen, kann dies zu erheb­li­chen
    Rechts­schutz­lü­cken für Betrof­fe­ne füh­ren, ohne
    dass die han­deln­den Unter­neh­men juris­tisch zur Ver­ant­wor­tung
    gezo­gen wer­den kön­nen.
    Die DSGVO, der Ent­wurf der neu­en KI-VO und die
    Emp­feh­lun­gen der OECD rich­ten sich auch an pri­va­te
    Feu­er­stack · Vor­ga­ben an die Trans­pa­renz KI-basier­ter Ent­schei­dun­gen 1 7 9
    Akteu­re und schlie­ßen damit in der EU ver­bind­lich und
    für die OECD-Staa­ten als soft law zum Teil bestehen­de
    Nor­mie­rungs­lü­cken. Aus men­schen­recht­li­cher Per­spek­ti­ve
    sind jedoch zumin­dest die in der DSGVO und im
    Ent­wurf der KI-VO ent­hal­te­nen Vor­ga­ben an die Trans­pa­renz
    von KI-Sys­te­men nicht geeig­net, um die ent­ste­hen­den
    Rechts­schutz­lü­cken auf Sei­ten der von KI-basier­ten
    Ent­schei­dun­gen betrof­fe­nen Per­so­nen zu
    schlie­ßen.
    Der Autor ist aka­de­mi­scher Mit­ar­bei­ter am Insti­tut für
    öffent­li­ches Recht (Abt II: Völ­ker­recht, Rechts­ver­glei­chung)
    der Albert-Lud­wigs-Uni­ver­si­tät Frei­burg. Er ist dort tätig
    im Teil­pro­jekt „Ethi­cal, Legal and Socie­tal Ana­ly­sis of the
    AI-based Assis­ti­ve Sys­tem“ (Teil­pro­jekt­lei­tung: Prof. Dr.
    Sil­ja Vöne­ky, Dr. Phil­ipp Kell­mey­er, Prof. Dr. Oli­ver Mül­ler)
    des Pro­jek­tes „AI-Trust: Inter­pre­ta­ble Arti­fi­cial Intel­li­gence
    Sys­tems for Trust­worthy App­li­ca­ti­ons in Medi­ci­ne”
    (Pro­jekt­lei­tung: Dr. Phil­ipp Kell­mey­er) der Baden-Würt­tem­berg
    Stif­tung. Er pro­mo­viert bei Prof. Dr. Sil­ja Vöne­ky
    zum The­ma „Men­schen­recht­li­che Vor­ga­ben an die Trans­pa­renz
    KI-basier­ter Ent­schei­dun­gen“.
    1 8 0 O R D N U N G D E R WI S S E N S C H A F T 3 ( 2 0 2 2 ) , 1 6 7 — 1 8 0