Über­sicht

I. Ein­lei­tung

Pas­cal Bronner

Selbst­ler­nen­de Sys­te­me in Lern­um­ge­bun­gen
Der Ein­satz von KI-Sys­te­men in der Schul­bil­dung und die KI-Ver­ord­nung der EU

I. Ein­lei­tung

Die dis­rup­ti­ve Wir­kungs­macht von KI hält auch Ein­zug in die Schul­bil­dung. Einer aktu­el­len Stu­die zufol­ge nut- zen bereits 74 Pro­zent der befrag­ten Jugend­li­chen zwi- schen 14 und 20 Jah­ren KI-Sys­te­me gene­rell und davon immer­hin 39 Pro­zent der Befrag­ten min­des­tens wöchent­lich (wei­te­re 29 Pro­zent zumin­dest monat­lich) zu schu­li­schen Zwecken.1 Gleich­wohl geht aus der Stu- die her­vor, dass KI-Sys­te­me an 45 Pro­zent der Schu­len ent­we­der gar kein The­ma (38 Pro­zent) oder ver­bo­ten (sie­ben Pro­zent) sind.2 Schü­le­rin­nen und Schü­ler zei­gen sich beim Ein­satz von KI also ins­ge­samt deut­lich agi­ler und ent­wick­lungs­of­fe­ner als vie­le Schu­len. Wie so häu­fig im Kon­text der Digi­ta­li­sie­rung wer­den die sich durch Bestän­dig­keit aus­zeich­nen­den Bildungseinrichtungen3 von der „nor­ma­ti­ven Kraft des Fak­ti­schen“ ein­ge­holt. KI-Tech­no­lo­gien ber­gen immense Poten­zia­le für die indi­vi­du­el­le Lern­för­de­rung sowie die Unter­stüt­zung von Schul­or­ga­ni­sa­ti­on und Lehr­kräf­ten und sind geeig­net, seit Jah­ren drän­gen­de und unge­lös­te Her­aus­for­de­run­gen im Bil­dungs­sys­tem zu bewältigen.

In eini­gen Gesell­schafts­be­rei­chen bestimmt der Ein- satz von KI-Anwen­dun­gen bereits flä­chen­de­ckend den All­tag. Wäh­rend sich die Wis­sen­schaft schon jah­re­lang umfas­send mit KI-Tech­no­lo­gien in der Schul­bil­dung be- fasst, steht die prak­ti­sche Umset­zung noch rela­tiv am Anfang. Neben Leit­li­ni­en zur inter­es­sen­ge­rech­ten An- wen­dung drän­gen sich vor allem recht­li­che Fra­ge­stel­lun- gen auf. Nun stößt zudem die mit Span­nung erwar­te­te und viel dis­ku­tier­te KI-Ver­ord­nung der EU (KI-VO) in den anlau­fen­den KI-Trans­for­ma­ti­ons­pro­zess in der

2 Stu­die von infra­test dimap im Auf­trag der Voda­fone Stif­tung Deutsch­land (Fn. 1), S. 9.

3 Nux­oll, KI in der Schu­le, APuZ 42/2023, 41, 46.

II. Digi­ta­li­sie­rung und KI in der Schu­le: (Rechts-)Politische Ziel- bestimmung

III. Ein­satz von KI-Sys­te­men in der Schu­le
1. Anwen­dungs­ebe­nen und tech­ni­sche Methoden

a) Schul­or­ga­ni­sa­ti­ons­ebe­ne

b) Unter­richts- und Lernebene

2. Anwen­dungs­pa­ra­dig­men von KI-Sys­te­men im Schul­kon- text

a) (Adap­ti­ve) Intel­li­gen­te Tuto­ring-Sys­te­me (ITS)

b) Ein­satz von gene­ra­ti­ver Künst­li­cher Intelligenz

3. Poten­zia­le und Her­aus­for­de­run­gen: Gestal­tung des KI-Ein- sat­zes in Schulen

IV. KI-Kom­pe­tenz („AI Literacy“)

V. Die KI-VO und KI in der Schu­le: Recht­li­che Impli­ka­tio­nen 1. Hin­ter­grund: Der Rege­lungs­in­halt der KI-VO
2. KI-Sys­te­me und GPAI-Model­le als Rege­lungs­ob­jekt
3. Schu­len als Akteu­re in der KI-Wertschöpfungskette

4. Recht­li­che Anfor­de­run­gen an den Betrieb von KI-Sys­te­men im Schulkontext

a) Ver­bot von KI-Sys­te­men mit unan­nehm­ba­rem Risi­ko b) Hochrisiko-KI-Systeme

aa) Anwen­dungs­be­rei­che des Art. 6 Abs. 2 i.V.m. Anh. III Nr. 3 KI-VO

bb) Anfor­de­run­gen an Schu­len als Betrei­ber von Hoch­ri­si- ko-KI-Systemen

cc) Aus­nah­me des Art. 6 Abs. 3 KI-VO

c) Bestimm­te KI-Sys­te­me, Art. 50 KI-VO: Trans­pa­renz und Kennzeichnung

d) Gene­ra­ti­ve KI-Model­le, Art. 51 ff. KI-VO VI. Fazit und Ausblick

1 „Pio­nie­re des Wan­dels – Wie Schüler:innen KI im Unter­richt nut- zen möch­ten“, Stu­die von infra­test dimap im Auf­trag der Voda­fo- ne Stif­tung Deutsch­land, März 2024, S. 10. Für die Stu­die wur­den im Janu­ar 2024 1.590 Jugend­li­che und jun­ge Erwach­se­ne im Alter von 14 bis 20 Jah­ren befragt. Die Stu­die ist hier abruf­bar: https:// www.vodafone-stiftung.de/jugendstudie-kuenstliche-intelligenz/.

Ord­nung der Wis­sen­schaft 2024, ISSN 2197–9197

318 ORDNUNG DER WISSENSCHAFT 4 (2024), 317–328

Schulbildung.4 Die­ser Bei­trag ana­ly­siert die recht­li­chen Impli­ka­tio­nen der KI-Ver­ord­nung für den Bil­dungs­be- reich vor dem Hin­ter­grund ihrer Anwen­dungs­pa­ra­dig- men und Potenziale.

II. Digi­ta­li­sie­rung und KI in der Schu­le: (Rechts-) Poli­ti­sche Zielbestimmung

Not­wen­di­ge Vor­be­din­gung des nach­hal­ti­gen KI-Ein­sat- zes in der Schul­bil­dung ist die umfas­sen­de Digi­ta­li­sie- rung des Bil­dungs­we­sens. Die Defi­zi­te der Schul­di­gi­ta­li- sie­rung sind offen­kun­dig und wur­den ganz beson­ders in der Debat­te um das pan­de­mie­be­ding­te Erfor­der­nis eines tech­no­lo­gie­ba­sier­ten Distanz­un­ter­rich­tes deut­lich. Auch das BVerfG sah in die­sem Zusam­men­hang die Not­wen- dig­keit stär­ke­rer Bemü­hun­gen um die Digi­ta­li­sie­rung im Schul­we­sen. In sei­nem Beschluss vom 19.11.2021, mit dem das BVerfG aus dem all­ge­mei­nen Per­sön­lich­keits- recht in Art. 2 Abs. 1 GG und dem staat­li­chen Auf­trag für das Schul­we­sen aus Art. 7 Abs. 1 GG das „Recht auf schu- lische Bil­dung“ ent­wi­ckel­te, lei­te­te das Gericht aus die- sem neu­en Grund­recht eine abwehr‑, leis­tungs- und teil- habe­recht­li­che Dimen­si­on her.5 Ist Prä­senz­un­ter­richt an Schu­len nicht mög­lich, folgt aus dem Recht auf schu­li- sche Bil­dung ein ein­klag­ba­rer Anspruch von Schü­le­rin- nen und Schü­lern auf Distanz­un­ter­richt als leis­tungs­di- men­sio­na­ler Aus­prä­gung „unver­zicht­ba­rer Min­dest- stan­dards“ staat­li­cher Bil­dungs­ge­währ­leis­tung, unab­hän­gig des Vor­be­halts des Mög­li­chen und des Gestal­tungs­spiel­raums der Länder.6 Dies geht mit Bemü- hun­gen um die Schul­di­gi­ta­li­sie­rung für poten­zi­ell künf- tige Schul­schlie­ßun­gen einher.7

4. 4  Ver­ord­nung (EU) 2024/1689 des Euro­päi­schen Par­la­ments und des Rates vom 13. Juni 2024 zur Fest­le­gung har­mo­ni­sier­ter Vor- schrif­ten für künst­li­che Intel­li­genz und zur Ände­rung wei­te­rer Rechts­ak­te (nach­fol­gend: KI-VO).
5. 5  BVerfG, Beschl. v. 19.11.2021 – 1 BvR 971/21, 1 BvR 1069/21, BVerfGE 159, 355. Vgl. instruk­tiv zur Grund­rechts­dog­ma­tik der Leis­tungs­rech­te vor dem Hin­ter­grund die­ser Ent­schei­dung Muna­ret­to, Das Mög­lichs­te und das Min­des­te, DER STAAT 62 (2023), 419 ff.
6. 6  BVerfG (Fn. 5), BVerfGE 159, 355, 385 f. Rn. 54 f., 428 Rn. 169, 430 Rn. 173.
7. 7  BVerfG (Fn. 5), BVerfGE 159, 355, 435 ff. Rn. 188 ff.
8. 8  Ver­wal­tungs­ver­ein­ba­rung Digi­tal­Pakt Schu­le 2019 bis 2024 zwi-schen Bund und Län­dern, https://www.digitalpaktschule.de/files/VV_DigitalPaktSchule_Web.pdf.
9. 9  Zur Ent­ste­hungs­ge­schich­te des Art. 104c GG s. Schwarz, in Dürig/Herzog/Scholz, GG, 103. EL Janu­ar 2024, Art. 104c GG Rn. 1 f.
10. 10  Gröpl, Ertrags­ho­heit, Finanz­aus­gleich und Aus­ga­ben­las­ten, in:Stern/Sodan/Möstl, Staats­recht Bd. 2, 2. Aufl. 2022, § 55 Rn. 112. Nach dem Kon­ne­xi­täts­prin­zip knüpft sich die Auf­ga­ben­last an die Auf­ga­ben­wahr­neh­mung und die jewei­li­ge Verwaltungszustän-

Die Digi­ta­li­sie­rung des Bil­dungs­sys­tems stellt auch für die Poli­tik eine höchst prio­ri­sier­te Ziel­be­stim­mung dar. Dies zeigt sich bereits dar­an, dass für den Digi­tal­Pakt Schu­le8 nicht nur eine hohe För­der­sum­me als Son­der- ver­mö­gen bereit­ge­stellt, son­dern auch die Ver­fas­sung eigens modi­fi­ziert wur­de. Mit dem Digi­tal­pakt stellt der Bund den Län­dern und Kom­mu­nen für den Zeit­raum 2019 bis 2024 ursprüng­lich ins­ge­samt fünf Mil­li­ar­den Euro für bes­se­re tech­ni­sche Schul­aus­stat­tung und päda- gogi­sche Kom­pe­tenz­för­de­rung bereit. Die hier­für erfor- der­li­che Ände­rung der Ver­fas­sung wur­de mit der Ein­fü- gung des Art. 104c GG erreicht, wonach der Bund den Län­dern Finanz­hil­fen für die kom­mu­na­le Bil­dungs­inf- rastruk­tur gewäh­ren kann.9 Die Ein­füh­rung von Art. 104c GG ist des­halb beacht­lich, da sie vor allem das finanz­ver­fas­sungs­recht­li­che Kon­ne­xi­täts­prin­zip aus Art. 104a Abs. 1 Hs. 1 GG in einer mit dem Schul­we­sen aus­schließ­lich den Län­dern nach Art. 70 Abs. 1 GG oblie­gen­den Gesetz­ge­bungs­ma­te­rie durchbricht.10 Aktu- ell ver­han­deln Bund und Län­der über den „Digi­tal­pakt 2.0“ als Fort­füh­rung der aus­lau­fen­den Vereinbarung.

Zeit­gleich meh­ren sich die For­de­run­gen, auch die so- zio-tech­ni­schen Ent­wick­lun­gen (gene­ra­ti­ver) KI in die- sen Ver­hand­lun­gen mitzudenken.11 Ins­ge­samt ist Künst- liche Intel­li­genz nicht nur ein „poli­ti­scher Ziel­be­griff “,12 son­dern der Ein­satz von KI-Sys­te­men in der Schu­le mitt­ler­wei­le poli­ti­sche Ziel­be­stim­mung. Dies zeigt sich an zahl­rei­chen Leit­li­ni­en und Hand­rei­chun­gen zum KI- Ein­satz in Schu­len auf internationaler13 , EU-14 und nati- ona­ler Ebene.15 Auch staat­lich initi­ier­te und gesteu­er­te Modell­ver­su­che und KI-Pilot­pro­jek­te unter­mau­ern die

dig­keit i.S.d. Art. 30, 83 ff. GG, vgl. ders. in Stern/Sodan/Möstl,

Staats­recht Bd. 2, 2. Aufl. 2022, § 55 Rn. 90.
11 Fül­ler, Digi­tal­pakt 2.0: Nicht ohne gene­ra­ti­ve KI, Tagesspiegel

Back­ground Digi­ta­li­sie­rung & KI vom 26.3.2024, https://back ground.tagesspiegel.de/digitalisierung/digitalpakt‑2–0‑nicht- ohne-generative-ki.

12 Vgl. Her­ber­ger, „Künst­li­che Intel­li­genz“ und Recht, NJW 2018, 2825, 2826 bezo­gen auf das Eck­punk­te­pa­pier zur KI-Stra­te­gie der Bundesregierung.

13 Miao/Holmes/Huang/Zhang, UNESCO — AI and Edu­ca­ti­on: Gui­dance for Poli­cy-Makers, 2021, https://unesdoc.unesco.org/ ark:/48223/pf0000376709.

14 EU-Kom­mis­si­on, Ethi­sche Leit­li­ni­en für Lehr­kräf­te über die Nut- zung von KI und Daten für Lehr- und Lern­zwe­cke, 2022, https:// op.europa.eu/de/publication-detail/-/publication/d81a0d54- 5348–11ed-92ed-01aa75ed71a1.

15 Vgl. statt vie­ler Köl­ler et al., Lar­ge Lan­guage Models und ihre Poten­zia­le im Bil­dungs­sys­tem — Impuls­pa­pier der Stän­di­gen Wis- sen­schaft­li­chen Kom­mis­si­on der Kul­tus­mi­nis­ter­kon­fe­renz, Janu­ar 2024, https://www.swk-bildung.org/content/uploads/2024/02/ SWK-2024-Impulspapier_LargeLanguageModels.pdf.

Bron­ner · Selbst­ler­nen­de Syte­me in Lern­um­ge­bun­gen 3 1 9

all­ge­mein erkann­te Bedeutsamkeit.16 Der „Akti­ons­plan Künst­li­che Intel­li­genz“ des BMBF sieht Ziel­vor­ga­ben für einen ver­ant­wor­tungs­vol­len KI-Ein­satz im Bil­dungs­sys- tem vor, wie die För­de­rung der KI-Kom­pe­ten­zen von Lehr­kräf­ten und Ler­nen­den, ein am „Pri­mat der Päda- gogik“ aus­ge­rich­te­ter Ein­satz sowie KI als Lerninhalt.17 Sol­che Leit­li­ni­en und Akti­ons­plä­ne sind begrü­ßens­wert, ohne eine zeit­na­he kon­kre­te und ver­ant­wor­tungs­be- wuss­te Umset­zung aber ledig­lich wir­kungs­lo­se Absichts- erklä­run­gen. Eine wich­ti­ge Erkennt­nis lässt sich aller- dings fest­ma­chen: Gre­mi­en und Ent­schei­dungs­trä­ger haben erkannt, dass ein KI-Ver­bot an Schu­len weder ange­mes­sen noch umsetz­bar ist und möch­ten einen ver- trau­ens­wür­di­gen Ein­satz fördern.

III. Ein­satz von KI-Sys­te­men in der Schule

1. Anwen­dungs­ebe­nen und tech­ni­sche Methoden

Bei der Anwen­dung von KI-Tech­no­lo­gien im Schul­we- sen las­sen sich grund­sätz­lich drei Ein­satz­ebe­nen unter- schei­den, in denen der Ein­satz von ler­nen­den algo­rith- mischen Sys­te­men poten­zi­ell sinn­stif­ten­de Wir­kung ent- fal­ten kann: die Schul­or­ga­ni­sa­ti­ons­ebe­ne, die Unter­richts­ebe­ne und die Lernebene.18 Im Hin­blick auf ein­zel­ne Anwen­dun­gen ist eine trenn­schar­fe Abgren- zung der Ebe­nen oft­mals weder mög­lich noch not­wen- dig.

a) Schul­or­ga­ni­sa­ti­ons­ebe­ne

Auf der Ebe­ne der Schul­or­ga­ni­sa­ti­on kön­nen Steue- rungs‑, Zuwei­sungs- und Pla­nungs­pro­zes­se durch KI- Anwen­dun­gen erleich­tert und unter­stützt wer­den. Die Basis für die Opti­mie­rung die­ser Pro­zes­se bil­det die i.d.R. anony­mi­sier­te Ana­ly­se von Schul- und Schü­ler­da- ten mit­tels sog. Edu­ca­tio­nal Data Minings (EDM). EDM umfasst die Anwen­dung von Data-Mining-Ana­ly­sen auf Daten aus Bil­dungs­um­ge­bun­gen und die Metho­dik zur

16. 16  Vgl. zum KI-Modell­ver­such KI@School in Bay­ern Bekannt­ma- chung des Baye­ri­schen Staats­mi­nis­te­ri­ums für Unter­richt und Kul­tus über den Schul­ver­such „Kl@school – daten­ge­stütz­te Lern- beglei­tung“ vom 20.9.2022 (BayMBl. Nr. 563), geän­dert durch Bekannt­ma­chung vom 7.8.2023 (BayMBl. Nr. 416, 499).
17. 17  Bun­des­mi­nis­te­ri­um für Bil­dung und For­schung (BMBF), Akti- ons­plan Künst­li­che Intel­li­genz, 7.11.2023, S. 20 f., https://www. bmbf.de/bmbf/de/forschung/digitale-wirtschaft-und-gesellschaft/ kuenstliche-intelligenz/ki-aktionsplan.html.
18. 18  Die­se Dif­fe­ren­zie­rung ori­en­tiert sich an mmb Insti­tut im Auf­trag der Deut­sche Tele­kom Stif­tung, KI@Bildung: Leh­ren und Ler­nen in der Schu­le mit Werk­zeu­gen Künst­li­cher Intel­li­genz – Schluss-

Erfor­schung die­ser Daten zur Lösung wich­ti­ger Fra­gen in die­sen Bildungsumgebungen.19 Mit­tels Metho­den maschi­nel­len Ler­nens und sta­tis­ti­schen Ansät­zen wer- den dabei gro­ße Daten­men­gen aus Lern­ak­ti­vi­tä­ten von Schü­le­rin­nen und Schü­lern extra­hiert und analysiert.

In der Schul­or­ga­ni­sa­ti­on kön­nen so finan­zi­el­le (Mit­tel- zuwei­sun­gen) und per­so­nel­le Res­sour­cen (Zuwei­sung von Lehr­kräf­ten, Raum- und Stun­den­plä­ne, Aus­fall und Ver­tre­tung) effi­zi­enz­stei­gernd opti­miert wer­den. Die Ana­ly­se des Lern­ver­hal­tens kann die Zusam­men­set­zung von Schü­le­rin­nen und Schü­lern in Klas­sen und Lern- grup­pen sowie die recht­zei­ti­ge Ergrei­fung päd­ago­gi- scher Maß­nah­men von Schul­sei­te (z.B. Bera­tung) inter- essen­ge­recht individualisieren.

b) Unter­richts- und Lernebene

Die Unter­richts­ebe­ne betrifft ins­be­son­de­re Lehr­kräf­te in ihren genui­nen Auf­ga­ben der Orga­ni­sa­ti­on von Lehr- und Lern­pro­zes­sen, der Wis­sens­ver­mitt­lung und der Prü­fung. Dies umfasst den Ein­satz algo­rith­men­ba­sier­ter EdTech-Tools für die bedarfs­ge­rech­te Erstel­lung von Lehr­in­hal­ten, zur Kom­mu­ni­ka­ti­on mit den Schü­le­rin- nen und Schü­lern sowie die Steue­rung von auto­ma­ti­sier- tem Feed­back auf Lern­fort­schrit­te sowie die Bewer­tung und Prü­fung von Schul­auf­ga­ben. Der Opti­mie­rung von Lehr­pro­zes­sen lie­gen häu­fig Ver­fah­ren der sog. Lear­ning Ana­ly­tics (LA) zugrun­de, die i.d.R. maschi­nel­le Lernal- gorith­men ein­set­zen. Dabei wer­den Lern­ak­ti­vi­tä­ten von Schü­le­rin­nen und Schü­lern zur Opti­mie­rung von Lern- Lehr-Pro­zes­sen kon­ti­nu­ier­lich gemes­sen, gesam­melt und analysiert.20 Bezugs­punkt für die Mes­sung des Lern- ver­hal­tens sind häu­fig Lern­ma­nage­ment- oder Tuto­ring- Systeme.

Eng ver­knüpft mit der Unter­richts­ebe­ne ist die Ler­ne­be­ne, auf der KI-Sys­te­me ein­ge­setzt wer­den kön- nen, um Schü­le­rin­nen und Schü­ler bedarfs­ge­recht im Ler­nen und ihrer Ent­wick­lung zu unter­stüt­zen. Im Zen-

bericht, 1.6.2021, https://www.telekom-stiftung.de/sites/default/ files/files/media/publications/KI%20Bildung%20Schlussbericht. pdf.

19 Romero/Ventura, Edu­ca­tio­nal Data Mining and Lear­ning Ana- lytics: An updated Sur­vey, Wiley Inter­di­sci­pli­na­ry Reviews: Data Mining and Know­ledge Dis­co­very (Janu­ary 2020), S. 2 mwN.

20 Ifen­tha­ler, in: Lear­ning Ana­ly­tics im Hoch­schul­kon­text, in: Fürst (Hrsg.), Digi­ta­le Bil­dung und Künst­li­che Intel­li­genz in Deutsch- land, 2020, 519, 522; Sie­mens, Lear­ning Ana­ly­tics: The Emer­ge of a Disci­pli­ne, Ame­ri­can Beha­vi­oral Sci­en­tist 57 (10) 2013, 1380 ff.; Lang/Siemens/Wise/Gašević, Hand­book of Lear­ning Ana­ly­tics, First Edi­ti­on 2017, S. 269.

320 ORDNUNG DER WISSENSCHAFT 4 (2024), 317–328

trum die­ser Ebe­ne ste­hen adap­ti­ves Ler­nen und indi­vi- duel­les Feedback.21 Durch KI-Anwen­dun­gen kann auf Basis cha­rak­te­ris­ti­scher Para­me­ter (Lern­fort­schritt, Prü- fungs­er­geb­nis­se, Kom­pe­ten­zen und Lern­zie­le) ein auf den Ein­zel­fall zuge­schnit­te­nes Lern- und Feed­back­kon- zept bereit­ge­stellt werden.

2. Anwen­dungs­pa­ra­dig­men von KI-Sys­te­men im Schul- kontext

Der rasan­te tech­no­lo­gi­sche Fort­schritt und das stei­gen­de Bewusst­sein für die Poten­zia­le von KI-Anwen­dun­gen füh­ren dazu, dass immer mehr KI-basier­te EdTech- Tools auf den Markt drän­gen. Dies betrifft (noch) viel mehr Anwen­dun­gen auf der Unter­richts- und Ler­ne­be- ne als auf der Schul­or­ga­ni­sa­ti­ons­ebe­ne. Der auf der Bil- dungs­mes­se Didac­ta aus­ge­zeich­ne­te Feed­back-Assis­tent Fie­te AI etwa kann Schü­le­rin­nen und Schü­lern auf tech- nischer Basis des aktu­el­len Gene­ra­ti­ve Pre-Trai­ned Trans- for­mers (GPT‑4) von Ope­nAI anhand vor­ge­ge­be­ner Kri- teri­en Echt­zeit-Feed­back zu erstell­ten Tex­ten geben. In eine ähn­li­che Rich­tung ori­en­tiert sich der von der TU Mün­chen ent­wi­ckel­te KI-Tutor PEER, der Schü­le­rin­nen und Schü­ler bei der Erstel­lung von Auf­sät­zen unter- stützt, die KI-Lern­platt­form Fobizz unter­stützt u.a. bei Erstel­lung von Lern­in­hal­ten oder Kor­rek­tu­ren. Die Bun- des­län­der koope­rie­ren bereits mit die­sen Unter­neh­men oder stre­ben Koope­ra­tio­nen an.22 Unter den viel­fäl­ti­gen Anwen­dun­gen sind mitt­ler­wei­le v.a. intel­li­gen­te Tuto- ring-Sys­te­me und der Ein­satz gene­ra­ti­ver KI verbreitet.

a) (Adap­ti­ve) Intel­li­gen­te Tuto­ring-Sys­te­me (ITS)

Intel­li­gen­te Tuto­ring-Sys­te­me (ITS) sind Bil­dungs­platt- for­men, basie­ren häu­fig auf Lear­ning-Ana­ly­tics-Ver­fah- ren, ana­ly­sie­ren ite­ra­tiv und kon­ti­nu­ier­lich Lern­fort- schrit­te und stel­len auf die­ser Grund­la­ge den Schü­le­rin- nen und Schü­lern indi­vi­dua­li­sier­te Lern­in­hal­te bereit.23

21. 21  Vgl. über­sichts­ar­tig zu KI-gestütz­ten Adap­ti­ve-Lear­ning- Metho­den Kabudi/Pappas/Olsen, AI-enab­led Adap­ti­ve Lear­ning Sys­tems: A sys­te­ma­tic Map­ping of the Lite­ra­tu­re, Com­pu­ters and Edu­ca­ti­on: Arti­fi­ci­al Intel­li­gence 2 (2021), 100017.
22. 22  So hat z.B. Rhein­land-Pfalz eine Lizenz für Fobizz erwor­ben, vgl. https://bm.rlp.de/schule/fobizz.
23. 23  Nux­oll (Fn. 3), APuZ 42/2023, 41, 44; Miao/Holmes/Huang/Zhang (Fn. 13), UNESCO — AI and Edu­ca­ti­on: Gui­dance for Poli­cy- Makers, 2021, S. 15.
24. 24  Zur Ver­gleich­bar­keit von ITS mit „her­kömm­li­chem“ Unter­richt vgl. du Bou­lay, Arti­fi­ci­al Intel­li­gence as an Effec­ti­ve Class­room Assistant, IEEE Intel­li­gent Sys­tems, Vol. 31, No. 6 (2016), 76 ff.; nach Holmes/Anastopoulou/Schaumburg/Mavrikis, Tech­no­lo­gy- enhan­ced per­so­na­li­sed lear­ning: untang­ling the evi­dence, Robert Bosch Stif­tung, 2018, S. 93 funk­tio­niert aus­schließ­lich tech­no­lo- gie­ba­sier­tes per­so­na­li­sier­tes Ler­nen ohne Berück­sich­ti­gung der

ITS beur­tei­len auf den ana­ly­sier­ten Daten zunächst die indi­vi­du­el­le Lern­kom­pe­tenz, bie­ten dar­auf­hin per­so­na- lisier­te Auf­ga­ben und Tests und kön­nen dabei i.S.e. adap­ti­ven Lern­an­sat­zes Echt­zeit-Feed­back geben. Aus der Inter­ak­ti­on der Ler­nen­den mit dem ITS erfolgt eine ste­ti­ge Anpas­sung an ein­zel­ne Lern­be­dürf­nis­se. ITS haben den Vor­teil, dass Lehr­kräf­te jeder­zeit den Fort- schritt ein­se­hen und dar­auf reagie­ren kön­nen. Sie kön- nen viel­fäl­tig inte­griert oder mit wei­te­ren Tech­no­lo­gien ver­knüpft wer­den. Dia­log­ba­sier­te Tuto­ring-Sys­te­me kön­nen z.B. mit­tels Natu­ral Lan­guage Pro­ces­sing (NLP) Gesprä­che mit Lehr­kräf­ten simu­lie­ren. Im Kon­text der Effi­zi­enz von ITS als päd­ago­gi­schem Instru­ment zeich- net die hier­zu durch­ge­führ­te bis­he­ri­ge For­schung ein ambi­va­len­tes Bild.24

b) Ein­satz von gene­ra­ti­ver Künst­li­cher Intelligenz

Die beein­dru­cken­den Fähig­kei­ten gene­ra­ti­ver KI-Sys­te- me bestehen nicht nur Abiturprüfungen,25 son­dern kön- nen gewinn­brin­gend im Unter­richt ein­ge­setzt wer­den. Als Teil­be­reich der Infor­ma­tik­dis­zi­plin der KI umfasst sie i.d.R. mit­tels maschi­nel­lem Lernen26 auf rie­si­gen Daten­sät­zen trai­nier­te Anwen­dun­gen mit der Fähig­keit zur Gene­rie­rung von Inhal­ten, wie Text, Bild, Audio und Video. Die bekann­tes­ten Anwen­dun­gen sind gro­ße text- ver­ar­bei­ten­de Sprach­mo­del­le (Lar­ge Lan­guage Models, LLMs) sowie Model­le zur Ver­ar­bei­tung mul­ti­mo­da­ler Inhal­te (Lar­ge Mul­ti­mo­dal Models, LMMs) wie z.B. von Textin­put zu Bildoutput.27 Gene­ra­ti­ve KI-Anwen­dun­gen wer­den nach der erör­ter­ten Stu­die schon am häu­figs­ten im schu­li­schen Umfeld genutzt, mit Nut­zung durch 46 Pro­zent der Befrag­ten sticht das LLM ChatGPT von Ope­nAI wenig über­ra­schend heraus.28 In einer wei­te­ren Befra­gung unter voll­jäh­ri­gen Schü­le­rin­nen und Schü- lern, bei der ins­ge­samt 68 Pro­zent der Befrag­ten anga- ben, gene­ra­ti­ve KI-Anwen­dun­gen zumin­dest einmal

mensch­li­chen Dimen­sio­nen des Ler­nens nicht.
25 Vgl. Schiffer/Gawlik, ChatGPT: So gut hat die KI das bayerische

Abitur bestan­den, BR24 vom 29.5.2023, https://www.br.de/ nach­rich­ten/­netz­wel­t/chatgpt-ki-besteht-baye­ri­sches-abitur-mit- bravour,TfB3QBw.

26 Allen bis­lang bekann­ten gene­ra­ti­ven KI-Model­len lie­gen ML- Metho­den zugrun­de, vgl. so Pesch/Böhme, Art­po­ca­lyp­se now? – Gene­ra­ti­ve KI und die Ver­viel­fäl­ti­gung von Trai­nings­bil­dern, GRUR 2023, 997, 998.

27 Ausf. zu den Poten­zia­len von LMMs im Bil­dungs­kon­text
s. Bewers­dorff et al., Taking the Next Step with Gene­ra­ti­ve Arti­fi­ci­al Intel­li­gence: The Trans­for­ma­ti­ve Role of Mul­ti­mo­dal Lar­ge Lan­guage Models in Sci­ence Edu­ca­ti­on, https://arxiv.org/ pdf/2401.00832.

28 Stu­die von infra­test dimap im Auf­trag der Voda­fone Stif­tung Deutsch­land (Fn. 1), S. 11.

Bron­ner · Selbst­ler­nen­de Syte­me in Lern­um­ge­bun­gen 3 2 1

genutzt zu haben, gaben gan­ze 89 Pro­zent die­ser Befrag- ten an, die­se Tools auch schon zur Erstellung/Prüfung von Tex­ten oder Code im Schul­kon­text ein­ge­setzt zu haben.29

Gene­ra­ti­ve KI ist von allen Sei­ten viel­fäl­tig im Schul- kon­text ein­setz­bar. Lehr­kräf­te kön­nen LLMs zur Erstel- lung von Lern­in­hal­ten und ‑mate­ria­li­en nut­zen und die Unter­richts­pla­nung hier­durch inno­va­ti­ver und maß­ge- schnei­dert auf ein­zel­ne Lern­be­dürf­nis­se gestalten.30 Ein- zel­ne Auf­ga­ben kön­nen durch leicht modi­fi­zier­te An- wei­sun­gen an das Sys­tem (Prompts) in ver­schie­de­nen Schwie­rig­keits­stu­fen vor­be­rei­tet und ange­passt wer­den. Chat­bots, die auf LLMs basie­ren, erleich­tern adap­ti­ves Ler­nen durch indi­vi­du­el­les Feedback.31 Schü­le­rin­nen und Schü­ler kön­nen LLMs zur auto­ma­ti­sier­ten Tex­ter- stel­lung einsetzen.32 Sie kön­nen eine ent­schei­den­de Un- ter­stüt­zung im Schreib­pro­zess von Auf­sät­zen oder Haus- auf­ga­ben spie­len. Zudem stel­len LLMs ein wich­ti­ges In- for­ma­ti­ons­werk­zeug für Recher­chen dar,33 das die Fä- hig­kei­ten bewähr­ter Such­ma­schi­nen teils erheb­lich übersteigt.

3. Poten­zia­le und Her­aus­for­de­run­gen: Gestal­tung des KI-Ein­sat­zes in Schulen

Die Dar­stel­lung der viel­fäl­ti­gen Anwen­dungs­po­ten­zia­le von KI-Sys­te­men im Schul­kon­text legt ihre bereichs­spe- zifi­schen Poten­zia­le nahe, ins­be­son­de­re in ohne­hin drän­gen­den Fra­gen wie Bil­dungs­ge­rech­tig­keit oder Per- sonal- und Res­sour­cen­knapp­heit. Etwa zwei Drit­tel der Schü­le­rin­nen und Schü­ler (73 Pro­zent) sehen in KI- Tech­no­lo­gien im schu­li­schen Umfeld (eher) eine Chan- ce.34 Die­se Chan­ce soll­te ver­ant­wor­tungs­be­wusst genutzt wer­den. Auf Ebe­ne der Schul­or­ga­ni­sa­ti­on kön­nen beschränk­te finan­zi­el­le Res­sour­cen und der Man­gel an qua­li­fi­zier­tem Per­so­nal durch effi­zi­enz­stei­gern­de Pla-

29. 29  Für die im Som­mer 2023 durch­ge­führ­te Befra­gung wur­den ins­ge­samt 252 voll­jäh­ri­ge Schü­le­rin­nen und Schü­ler befragt, vgl. auch Schlude/Mendel/Stürz/Fischer, Ver­brei­tung und Akzep­tanz gene­ra­ti­ver KI an Schu­len und Hoch­schu­len, bidt, 15.3.2024, https://www.bidt.digital/publikation/verbreitung-und-akzeptanz- generativer-ki-an-schulen-und-hochschulen/.
30. 30  Statt vie­ler Kas­ne­ci et al., ChatGPT for good? On Oppor­tu­ni­ties and Chal­lenges of Lar­ge Lan­guage Models for Edu­ca­ti­on, Lear- ning and Indi­vi­du­al Dif­fe­ren­ces, Vol. 103 (April 2023), 102274, S. 3.
31. 31  Seß­ler et al., PEER: Empowe­ring Wri­ting with Lar­ge Lan­guage Models, in Viberg et al. (Hrsg.), Respon­si­ve and Sus­tainable Edu- catio­nal Futures, Pro­cee­dings of the 18th Euro­pean Con­fe­rence on Tech­no­lo­gy Enhan­ced Lear­ning, EC-TEL 2023, S. 755 ff.
32. 32  Holmes/Tuomi, Sta­te of the art and prac­ti­ce in AI in edu­ca­ti­on, Euro­pean Jour­nal of Edu­ca­ti­on 57 (4) 2022, 542, 552.
33. 33  Köl­ler et al. (Fn. 15), Lar­ge Lan­guage Models und ihre Potenziale

nung und Steue­rung auf­ge­fan­gen wer­den. Lehr­kräf­te kön­nen bei der Vor­be­rei­tung und Durch­füh­rung des Unter­richts und der Bewer­tung von Auf­ga­ben unter- stützt wer­den. Der Schwer­punkt ihrer Arbeits­be­las­tung kann sich durch die resul­tie­ren­de Ent­las­tung auf die per- sön­li­che Betreu­ung von Ler­nen­den fokus­sie­ren. Die Anwen­dung ver­schie­de­ner ITS kann das per­so­na­li­sier­te und indi­vi­du­ell bedarfs­ge­recht zuge­schnit­te­ne Ler­nen von Schü­le­rin­nen und Schü­lern för­dern, Feed­back ermög­li­chen und somit auch Lern­ergeb­nis­se ver­bes- sern.35 Durch indi­vi­du­el­les Ler­nen kön­nen Ler­nen­de moti­viert wer­den, Lern­fort­schrit­te zu erzie­len. KI-Sys­te- me kön­nen einen gerech­ten und inklu­si­ven Zugang zu Bil­dung für Schü­le­rin­nen und Schü­lern mit kogni­ti­ven Defi­zi­ten (z.B. Dys­kal­ku­lie oder Leg­asthe­nie) oder sons- tigen geis­ti­gen und kör­per­li­chen Ein­schrän­kun­gen för- dern. Jede Schü­le­rin und jeder Schü­ler kann genau die Unter­stüt­zung erhal­ten, die benö­tigt wird.

Die Her­aus­for­de­run­gen des schu­li­schen KI-Ein­sat­zes müs­sen für einen nach­hal­ti­gen Ein­satz der Tech­no­lo­gie im Schul­kon­text eben­so berück­sich­tigt wer­den. Zu- nächst sind dies einer daten­ge­trie­be­nen Infor­ma­ti­ons- ver­ar­bei­tung inhä­ren­te Risi­ken für den Schutz der Pri- vat­sphä­re und die Daten­si­cher­heit in einer beson­ders schutz­wür­di­gen Umge­bung. Der ver­meint­lich objek­ti­ve- ren Bewer­tung von Ler­nen­den steht ent­ge­gen, dass der Ein­satz von KI-Tech­no­lo­gien bestehen­de Ungleich­hei- ten per­p­etu­ie­ren kann. Dies resul­tiert z.B. aus dis­kri­mi- nie­ren­dem Sys­te­m­out­put, basie­rend auf ver­zerr­ten Trai- nings­da­ten oder einer vor­ein­ge­nom­me­nen Pro­gram- mie­rung, die – eben­so wie fal­sche Ergeb­nis­se pro­ba­bi­lis- tischer KI-Anwen­dun­gen – die Qua­li­täts­si­che­rung erschwert.36 Dar­über hin­aus kann schlicht der unter- schied­li­che Zugang zu not­wen­di­ger tech­ni­scher Inf­ra- struk­tur zu Ungleich­hei­ten füh­ren. Trotz des Digital-

im Bil­dungs­sys­tem — Impuls­pa­pier der Stän­di­gen Wis­sen­schaft­li- chen Kom­mis­si­on der Kul­tus­mi­nis­ter­kon­fe­renz, Janu­ar 2024, S. 10.

34 Stu­die von infra­test dimap im Auf­trag der Voda­fone Stif­tung Deutsch­land (Fn. 1), S. 6 f.

35 Ma/Adesope/Nesbit/Liu, Intel­li­gent Tuto­ring Sys­tems and Lear- ning Out­co­mes: A Meta-Ana­ly­sis, Jour­nal of Edu­ca­tio­nal Psy- cho­lo­gy 106, 4 (2014), 901 ff.; Has­se/­Cor­te­si/­Lom­ba­na-Ber­mu­de­z/ Gas­ser, Youth and Arti­fi­ci­al Intel­li­gence: Whe­re we stand, Youth and Media, Berk­man Klein Cen­ter for Inter­net & Socie­ty (2019), S. 9.

36 Vgl. gene­rell zu Dis­kri­mi­nie­rungs­ur­sa­chen von KI Barocas/ Selbst, Cali­for­nia Law Review 104, 3 (2016), 671 ff.; zu sog. Bia­ses in LLMs vgl. Navigli et al., Bia­ses in Lar­ge Lan­guage Models: Ori- gins, Inven­to­ry, and Dis­cus­sion, Jour­nal of Data and Infor­ma­ti­on Qua­li­ty 15, 2, Artic­le 10 (2023), S. 1 ff.

322 ORDNUNG DER WISSENSCHAFT 4 (2024), 317–328

pakts geht aus einer Befra­gung her­vor, dass im Jahr 2023 nur an 15 Pro­zent der befrag­ten Schu­len für alle Schul- klas­sen Klas­sen­sät­ze an digi­ta­len End­ge­rä­ten (z.B. Lap- tops oder Tablets) zur Ver­fü­gung standen.37 Hier sind die Schu­len und über­ge­ord­net die Län­der in der Pflicht, da ansons­ten Schü­le­rin­nen und Schü­ler mit einem niedri- gen sozio-öko­no­mi­schen Hin­ter­grund wei­ter benach­tei- ligt wer­den könn­ten. KI-Anwen­dun­gen müs­sen zudem auf den jewei­li­gen Bil­dungs­kon­text und Lehr­plä­ne kon- zipiert und fort­lau­fend aktua­li­siert wer­den und an zeit- gemä­ße päd­ago­gi­sche Kon­zep­te und Metho­den ange- passt wer­den. Wei­ter­hin müs­sen Kern­kom­pe­ten­zen wie Krea­ti­vi­tät, kri­ti­sches Den­ken und empa­thi­sche Be- trach­tungs­wei­sen fes­ter Bestand­teil des schu­li­schen Kom­pe­tenz­er­werbs sein.

Schließ­lich haben gene­ra­ti­ve KI-Anwen­dun­gen und hier­bei ins­be­son­de­re LLMs die Wir­kungs­macht, das Leh­ren und Ler­nen an Schu­len im Hin­blick auf die Denk­wei­se und das Selbst­ver­ständ­nis päd­ago­gi­scher Struk­tu­ren nach­hal­tig zu beein­flus­sen. Die­se Sys­te­me sind in der Lage, Auf­sät­ze und Gedich­te zu schrei­ben, Tex­te zu über­set­zen sowie Rechen­auf­ga­ben zu lösen und dies schnel­ler und oft bes­ser als Schü­le­rin­nen und Schü- ler. Zen­tral bleibt aber eine objek­ti­ve Bewer­tung der ein- zel­nen Leis­tung als Nach­weis des Leis­tungs­stan­des (vgl. etwa Art. 52 Bay­EUG). Daher ist eine Reform der Lehr- kul­tur und eine Anpas­sung tra­di­tio­nel­ler Prü­fungs­for- mate in Haus­ar­bei­ten und Haus­auf­ga­ben unum­gäng­lich. Im Zen­trum steht dabei v.a. die Fokus­sie­rung auf Lern- pro­zes­se anstatt allein auf Lern­ergeb­nis­se. Schu­li­sche Leis­tun­gen (eben­so auch Lehr­tä­tig­kei­ten durch Lehr- kräf­te) wer­den zuneh­mend von „Co-Krea­tio­nen“ zwi- schen KI und Ler­nen­den geprägt.38 Neben der ange­spro- che­nen Refor­mie­rung von Leh­ren und Ler­nen muss Künst­li­che Intel­li­genz v.a. auch Lern­in­halt wer­den, da- mit Schü­le­rin­nen und Schü­ler die sozio-tech­ni­schen Im- pli­ka­tio­nen die­ser Tech­no­lo­gie begrei­fen können.

IV. KI-Kom­pe­tenz („AI Literacy“)

Das Fun­da­ment für einen ver­ant­wor­tungs­be­wuss­ten Ein­satz der dar­ge­stell­ten KI-Tech­no­lo­gien in der Schul-

37. 37  „Die Schu­le aus Sicht der Schul­lei­te­rin­nen und Schul­lei­ter: Digi- tali­sie­rung und digi­ta­le Aus­stat­tung“, reprä­sen­ta­ti­ve Befra­gung durch for­sa im Auf­trag des Ver­bands Bil­dung und Erzie­hung
    e.V, Novem­ber 2023, S. 3. Im Herbst 2023 wur­den hier­für 1.310 Schul­lei­tun­gen in Deutsch­land befragt. Die Befra­gung ist hier ab- ruf­bar: https://www.vbe.de/fileadmin/user_upload/VBE/Service/ Meinungsumfragen/2024–02-05_Bericht-forsa_Digitalisierung. pdf.
38. 38  S. hier­zu Köl­ler et al. (Fn. 15), Lar­ge Lan­guage Models und ihre Poten­zia­le im Bil­dungs­sys­tem — Impuls­pa­pier der Stän­di­gen Wis­sen­schaft­li­chen Kom­mis­si­on der Kultusministerkonferenz,

bil­dung unter Ent­fal­tung der Chan­cen und Mini­mie- rung der Risi­ken ist schließ­lich KI-Kom­pe­tenz von Leh- ren­den und Ler­nen­den glei­cher­ma­ßen. Die­ser sog. „AI Liter­acy“ wid­met sich mitt­ler­wei­le ein gan­zer For- schungsbereich.

Nach Long und Mager­ko bezeich­net KI-Kom­pe­tenz „eine Rei­he von Kom­pe­ten­zen, die es dem Ein­zel­nen er- mög­li­chen, KI-Tech­no­lo­gien kri­tisch zu bewer­ten, effek- tiv mit KI zu kom­mu­ni­zie­ren und zusam­men­zu­ar­bei­ten und KI als Werk­zeug online, zu Hau­se und am Arbeits- platz zu nutzen“.39 Vor dem Hin­ter­grund fünf grund­le- gen­der Fra­gen ent­wi­ckel­ten sie 17 Kern­kom­pe­ten­zen als Bestand­teil einer all­ge­mei­nen KI-Kom­pe­tenz. Es ist er- for­der­lich, dass Lehr­kräf­te und ins­be­son­de­re Schü­le­rin- nen und Schü­ler das erfor­der­li­che Kom­pe­tenz­werk­zeug besit­zen, um die Funk­ti­ons­wei­se und Wir­kungs­macht von KI zu begrei­fen und kri­tisch hin­ter­fra­gen zu kön- nen. Hier­bei ist ein prin­zi­pi­el­les Ver­ständ­nis der zu- grun­de­lie­gen­den Tech­nik eben­so erfor­der­lich wie ein Ver­ständ­nis der sozio-kul­tu­rel­len Impli­ka­tio­nen und an- wen­dungs­spe­zi­fi­scher Fra­ge­stel­lun­gen von KI.40

Auch die KI-VO sieht in Art. 4 KI-VO eine recht­li­che Oblie­gen­heit für u.a. Betrei­ber zur För­de­rung der KI- Kom­pe­tenz ihres Per­so­nals vor. Sie wird in Art. 3 Nr. 56 KI-VO auf die Anfor­de­run­gen der Ver­ord­nung bezo­gen legaldefiniert.

V. Die KI-VO und KI in der Schu­le: Recht­li­che Impli- kationen

Wäh­rend sich die KI-Trans­for­ma­ti­on des Bil­dungs­sys- tems noch in ihren Anfän­gen befin­det, tritt mit der KI- VO die welt­weit ers­te umfas­sen­de hori­zon­ta­le KI-Regu- lie­rung in Kraft und mit ihr auch spe­zi­fi­sche Anfor­de- run­gen für den Bil­dungs­be­reich. Auch wenn die ein­zel­nen Vor­schrif­ten der KI-VO nach Inkraft­tre­ten suk­zes­si­ve Gel­tung erlan­gen – mit ein­zel­nen Abwei- chun­gen gilt die Ver­ord­nung ins­ge­samt 24 Mona­te danach – sind deren recht­li­che Impli­ka­tio­nen bereits jetzt zu beachten.

Janu­ar 2024, S. 10, 16, 20 mwN. Dort wird das Zusammenspiel

von Mensch und Maschi­ne als „Koak­ti­vi­tät“ bezeich­net.
39 Long/Magerko, What is AI liter­acy? Com­pe­ten­ci­es and Design

Con­side­ra­ti­ons, Pro­cee­dings of the 2020 CHI Con­fe­rence on

Human Fac­tors in Com­pu­ting Sys­tems, 2020, S. 2.
40 Ähn­lich auch Knoth et al., Deve­lo­ping a holi­stic AI liter­acy as-

sess­ment matrix – Bridging gene­ric, domain-spe­ci­fic, and ethi­cal com­pe­ten­ci­es, Com­pu­ters and Edu­ca­ti­on Open 6 (2024) 100177, S. 3 ff.; Michaeli/Romeike/Seegerer, What stu­dents can learn about arti­fi­ci­al intel­li­gence — recom­men­da­ti­ons for K‑12 com­pu­ting edu­ca­ti­on, Pro­cee­dings of IFIP WCCE 2022, S. 5 ff.

Bron­ner · Selbst­ler­nen­de Syte­me in Lern­um­ge­bun­gen 3 2 3

1. Hin­ter­grund: Der Rege­lungs­in­halt der KI-VO

Die KI-VO ver­folgt das ehr­gei­zi­ge Ziel der För­de­rung eines ver­trau­ens­wür­di­gen und men­schen­zen­trier­ten KI- Ein­sat­zes in der EU, flan­kiert durch den Schutz von Grund­rech­ten und öffent­li­chen Inter­es­sen sowie inno­va- tions­för­dern­den Maßnahmen.41 Hier­bei ver­folgt sie einen hori­zon­ta­len Ansatz, der sich nicht auf bestimm­te Sek­to­ren beschränkt. Ein­zel­ne Anwen­dungs­fel­der wie der Ein­satz von KI-Sys­te­men aus­schließ­lich zu wis­sen- schaft­li­cher For­schung und Ent­wick­lung wer­den von der KI-VO nicht adressiert.42 Kern­ele­ment der KI-VO als pro­dukt­si­cher­heits­recht­li­che Verordnung43 ist ein risi­ko- basier­ter Regu­lie­rungs­an­satz, der KI-Sys­te­me ins­be­son- dere nach Ein­satz­be­reich, aber auch auf­grund bestimm- ter Eigen­schaf­ten als Pro­dukt oder des­sen Sicher­heits- kom­po­nen­te in ver­schie­de­ne Risi­ko­ka­te­go­rien klas­si­fi­ziert und dar­an anknüp­fend teil­wei­se stark diver- gie­ren­de Rechts­fol­gen vor­sieht. Die KI-VO dif­fe­ren­ziert zwi­schen KI-Sys­te­men mit unan­nehm­ba­rem Risi­ko (Ver­bot), Hoch­ri­si­ko-KI-Sys­te­men (umfas­sen­de Anfor- derun­gen und Kon­for­mi­täts­be­wer­tung als Instru­ment der Ko-Regu­lie­rung), bestimm­ten wei­te­ren KI-Sys­te- men (Trans­pa­renz­pflich­ten) und sol­chen ohne ein signi- fikan­tes Risi­ko. Los­ge­löst die­ser Klas­si­fi­zie­rung wer­den „KI-Model­le mit all­ge­mei­nem Ver­wen­dungs­zweck“ (Gene­ral Pur­po­se AI Models bzw. GPAI-Models), unter die auch gene­ra­ti­ve KI-Sys­te­me fallen,44 eben­falls risi­ko- ori­en­tiert abge­stuft regu­liert. Dane­ben soll durch Instru- men­te wie sog. „AI regu­la­to­ry sand­bo­xes“ auch die Inno- vati­ons­för­de­rung gewähr­leis­tet sein.45 Zur Über­wa- chung der Ein­hal­tung und Durch­set­zung der KI-VO wird eine viel­schich­ti­ge Auf­sichts­struk­tur aus EU- und mit­glied­staat­li­chen Behör­den etabliert,46 gleich­zei­tig sieht die KI-VO ver­ein­zelt Rechtsbehelfe47 sowie Sank­ti- onen für die Nicht­ein­hal­tung der Ver­ord­nung vor.48

2. KI-Sys­te­me und GPAI-Model­le als Regelungsobjekt

Regu­lie­rungs­ge­gen­stand der KI-VO sind vor allem „KI- Sys­te­me“. Die­se wer­den in Art. 3 Nr. 1 KI-VO legal­de­fi- niert als

„maschi­nen­ge­stütz­tes Sys­tem, das für einen in unter- schied­li­chem Gra­de auto­no­men Betrieb aus­ge­legt ist und das nach sei­ner Betriebs­auf­nah­me anpas­sungs­fä­hig sein kann und das aus den erhal­te­nen Ein­ga­ben für ex-

41. 41  Art. 1 Abs. 1 KI-VO.
42. 42  Vgl. Art. 2 Abs. 6 KI-VO; Erw­gr. 25 KI-VO.
43. 43  Zur Ein­stu­fung der KI-VO als pro­dukt­si­cher­heits­recht­li­cher­Ver­ord­nung vgl. statt vie­ler Krön­ke, Das euro­päi­sche KI-Gesetz:Eine Ver­ord­nung mit Licht und Schat­ten, NVwZ 2024, 529, 531.
44. 44  Erw­gr. 99 S. 1, 105 S. 1 KI-VO.
45. 45  Art. 57 ff. KI-VO.

pli­zi­te oder impli­zi­te Zie­le ablei­tet, wie Aus­ga­ben wie etwa Vor­her­sa­gen, Inhal­te, Emp­feh­lun­gen oder Ent- schei­dun­gen erstellt wer­den, die phy­si­sche oder vir­tuel- le Umge­bun­gen beein­flus­sen können“.

Die­se Defi­ni­ti­on ist auf­grund des tech­no­lo­gie­neu­tra­len Ansat­zes der KI-VO sehr aus­le­gungs­of­fen. „In unter- schied­li­chem Gra­de auto­nom“ meint die Unab­hän­gig- keit der Funk­ti­ons­wei­se des Sys­tems von mensch­li­chem Eingreifen49 und schließt somit voll­stän­dig deter­mi­nier- te regel­ba­sier­te Sys­te­me vom Anwen­dungs­be­reich der KI-VO aus. Die „Anpas­sungs­fä­hig­keit“ bezieht sich auf die Lern­fä­hig­keit von Systemen50 und durch die Eigen- schaft, selb­stän­dig aus dem Input ein Out­put abzu­lei­ten, wer­den vor allem Sys­te­me maschi­nel­len Ler­nens und logik- und wis­sens­ge­stütz­te Sys­te­me von der KI-VO adres­siert. Adap­ti­ve ITS und gene­ra­ti­ve KI-Sys­te­me wer- den somit eben­so wie algo­rith­mi­sche Ent­schei­dungs­sys- teme z.B. von Lehr­kräf­ten bei der Bewer­tung von Auf­ga- ben und Prü­fun­gen von der KI-VO erfasst. Zudem adres­siert der sach­li­che Anwen­dungs­be­reich der KI-VO auch GPAI-Model­le, die sich aus­weis­lich ihrer Legal­de­fi- niti­on in Art. 3 Nr. 63 KI-VO durch Trai­ning auf gro­ßen Daten­men­gen, all­ge­mei­ne Ver­wend­bar­keit und die Fähig­keit, ver­schie­dens­te Auf­ga­ben zu bewäl­ti­gen, aus- zeich­nen. Auch wenn der Begriff des „Modells“ in der KI-VO nicht näher geklärt wird, wird hier­un­ter wohl die infor­ma­ti­sche Archi­tek­tur der Pro­gram­mie­rung ver- stan­den werden.51

3. Schu­len als Akteu­re in der KI-Wertschöpfungskette

Die KI-VO adres­siert ver­schie­de­ne Akteu­re mit diver- gie­ren­den Pflich­ten in der KI-Wert­schöp­fungs­ket­te: Anbie­ter, deren (poten­zi­el­le) Bevoll­mäch­tig­te in der EU, Einführer,HändlerundBetreiber.InkonsequenterAus- prä­gung der Risi­ko­ori­en­tie­rung müs­sen Anbie­ter in Ver­ant­wor­tung über den Ent­wick­lungs­pro­zess des KI- Sys­tems mit den Anfor­de­run­gen der Art. 8 ff. als Basis für die Kon­for­mi­täts­er­klä­rung i.S.d. Art. 43 KI-VO die umfang­reichs­ten Pflich­ten erfül­len. Betrei­ber ist nach Art. 3 Nr. 4 KI-VO jede natür­li­che oder juris­ti­sche Per- son, Behör­de, Ein­rich­tung oder sons­ti­ge Stel­le, die ein KI-Sys­tem in eige­ner Ver­ant­wor­tung ver­wen­det. Aus­ge- schlos­sen sind zudem Betrei­ber, die KI-Sys­te­me aus- schließ­lich per­sön­lich und nicht beruf­lich ver­wen­den. Sofern Betrei­ber und ande­re Akteu­re wesent­li­che Ände-

46 Art. 64 ff. KI-VO.
47 Art. 85 ff. KI-VO.
48 Art. 99 ff. KI-VO.
49 Erw­gr. 12 S. 11 KI-VO.
50 Erw­gr. 12 S. 12 KI-VO.
51 In die­se Rich­tung auch Bomhard/Siglmüller, AI Act – das Trilog-

ergeb­nis, RDi 2024, 45, 50.

324 ORDNUNG DER WISSENSCHAFT 4 (2024), 317–328

run­gen an KI-Sys­te­men im Hoch­ri­si­ko-Bereich vor­neh- men, kön­nen auch sie unter den Vor­aus­set­zun­gen des Art. 25 KI-VO als Anbie­ter gelten.

Es ist davon aus­zu­ge­hen, dass Schu­len künf­tig kei­ne eige­nen KI-Sys­te­me ent­wi­ckeln, son­dern bestehen­de Tools ver­wen­den, die wie eini­ge gene­ra­ti­ve KI-Anwen- dun­gen ent­we­der öffent­lich zugäng­lich sind52 oder – ggf. durch Koope­ra­tio­nen mit den Bun­des­län­dern – in die Schul­sys­te­me imple­men­tiert werden.53 Öffent­li­che Schu- len in Bay­ern etwa fal­len trotz ihrer Eigen­schaft als „nicht­rechts­fä­hi­ge öffent­li­che Anstalten“54 unter den wei­ten Begriff der „Behör­de“ aus Art. 1 Abs. 2 BayV­wV- fG, da sie öffent­li­che Auf­ga­ben wahr­neh­men und Ver- wal­tungs­ak­te erlas­sen können.55 Zwar ent­schei­den Schu- len zusam­men mit den Schul­auf­wands­trä­gern – i.d.R. kom­mu­na­le Kör­per­schaf­ten bzw. Kommunen56 – über den Ein­satz digi­ta­ler Instru­men­te im Unter­richt. Die kon­kre­te, für die risi­ko­ori­en­tier­te Betrach­tung und kon- seku­tiv die Betrei­ber­pflich­ten der KI-VO maß­geb­li­che Ein­satz­ho­heit gera­de nach Inver­kehr­brin­gen selb­stän­dig wei­ter­ler­nen­der KI-Anwen­dun­gen liegt aber bei den Schulen.57 Daher sind Schu­len Betrei­ber nach der KI- VO, wenn sie KI-Sys­te­me eigen­ver­ant­wort­lich ver­wen- den, auch wenn frem­de Infra­struk­tur etwa in Form von Clouds genutzt wird.58

4. Recht­li­che Anfor­de­run­gen an den Betrieb von KI- Sys­te­men im Schulkontext

Recht­li­che Anfor­de­run­gen nach der KI-VO an Schu­len als Betrei­ber von KI-Sys­te­men ori­en­tie­ren sich an der jewei­li­gen Risi­koklas­si­fi­zie­rung ein­zel­ner Anwen­dun- gen.

a) Ver­bot von KI-Sys­te­men mit unan­nehm­ba­rem Risiko

Art. 5 KI-VO sieht ein Ver­bot für sog. KI-Sys­te­me mit unan­nehm­ba­rem Risi­ko vor, deren Ein­satz in den

52. 52  Hier bie­ten sich daten­schutz­scho­nen­de lizen­zier­te Zugän­ge für gewerb­li­che Tools an, wie bereits Hoch­schu­len in Bezug auf ChatGPT imple­men­tiert haben, vgl. „Ers­te Hoch­schu­len bie­ten ChatGPT an“, For­schung & Leh­re v. 14.11.2023, https://www. forschung-und-lehre.de/management/erste-deutsche-hochschu- len-bieten-chatgpt-an-6040.
53. 53  S.o. unter III. 2.
54. 54  Vgl. hier­zu Art. 3 Abs. 1 S. 4 Bay­EUG; ver­tie­fend zu Schu­len als„nichtrechtsfähige öffent­li­che Anstal­ten“ auch Ave­na­ri­us/H­ansch-mann, Schul­recht, 9. Aufl. 2019, Kap. 6, S. 149.
55. 55  Dirnaich­ner, in: Dirnaich­ner, Kom­men­tar zum Bay­EUG G1,Stand: 9. NL 2014, Art. 3 Bay­EUG S. 2, 3 f.
56. 56  S. für Bay­ern Art. 8 BaySchFG (staat­li­che Schu­len) bzw. Art. 15BaySchFG (kom­mu­na­le Schulen).
57. 57  Ver­glei­chend kann auch die Eigen­schaft von Schu­len als daten-

abschlie­ßend in Art. 5 Abs. 1 KI-VO auf­ge­lis­te­ten Berei- chen für schlicht unver­ein­bar mit den Grund­wer­ten der Uni­on ein­ge­stuft wird, wie z.B. KI-Sys­te­me zur Aus­nut- zung einer Schutz­be­dürf­tig­keit von Personen59 mit (poten­zi­el­lem) Schä­di­gungs­po­ten­zi­al (lit. b) oder Social Scoring, das zu einer Benach­tei­li­gung von Per­so­nen führt (lit. c). Für KI in der Schu­le von beson­de­rer Bedeu- tung ist das Ver­bot von Emo­ti­ons­er­ken­nungs­sys­te­men in Bil­dungs­ein­rich­tun­gen nach Art. 5 Abs. 1 lit. f KI-VO, das Aus­nah­men für medi­zi­ni­sche (the­ra­peu­ti­sche) oder sicher­heits­be­zo­ge­ne Zwe­cke vor­sieht. Emo­ti­ons­er­ken- nungs­sys­te­me wur­den in ande­ren Län­dern schon in der Schu­le eingesetzt.60 Da die­se Sys­te­me eini­ge Schwach- stel­len auf­wei­sen und so ein erheb­li­ches Dis­kri­mi­nie- rungs- und – in Bezug auf Grund­rech­te — Schä­di­gungs­ri- siko inne­wohnt, sol­len sie gera­de im Schul­be­reich ver- boten sein.61

b) Hoch­ri­si­ko-KI-Sys­te­me

Nach Art. 6 Abs. 2 i.V.m. Anh. III Nr. 3 KI-VO gel­ten die dort auf­ge­führ­ten KI-Sys­te­me im Kon­text der all­ge­mei- nen (Schul-) und beruf­li­chen Bil­dung als Hoch­ri­si­ko- KI-Sys­te­me. Die EU-Kom­mis­si­on kann den Kata­log durch dele­gier­te Rechts­ak­te nach Art. 7 Abs. 1 lit. a KI- VO i.V.m. Art. 97 KI-VO künf­tig um wei­te­re KI-Anwen- dun­gen in der Bil­dung erweitern.

aa) Anwen­dungs­be­rei­che des Art. 6 Abs. 2 i.V.m. Anh. III Nr. 3 KI-VO

Anh. III Nr. 3 KI-VO sieht vier kon­kre­te Hoch­ri­si­ko- Sze­na­ri­en im Bil­dungs­be­reich „auf allen Ebe­nen“ und damit auch in der Schul­bil­dung vor, wenn KI-Sys­te­me für die dor­ti­gen Anwen­dun­gen „bestim­mungs­ge­mäß“ ver­wen­det wer­den sol­len. Dies betrifft zunächst den Ein- satz von KI-Sys­te­men zur Fest­stel­lung des Zugangs, der Zulas­sung oder Zuwei­sung von Per­so­nen zu Bildungs-

schutz­recht­lich Ver­ant­wort­li­che i.S.d. Art. 4 Nr. 7 DSGVO her­an- gezo­gen wer­den, vgl. auch Sas­sen­berg, Daten­schutz in Schu­le und Schul­ver­wal­tung, in: Specht/Mantz, Hand­buch Euro­päi­sches und deut­sches Daten­schutz­recht, 2019, § 24 Rn. 25 ff.

58 Vgl. so zum KI-VO‑E auch Bomhard/Merkle, Euro­päi­sche KI- Ver­ord­nung – Der aktu­el­le Kom­mis­si­ons­ent­wurf und prak­ti­sche Aus­wir­kun­gen, RDi 2021, 276, 278.

59 Die Schutz­be­dürf­tig­keit von Kin­dern wird in Erw­gr. 48 KI-VO thematisiert.

60 Eine Über­sicht mit Dar­stel­lung der Risi­ken bie­tet Bel­lio, Pseu­do-Sci­ence ente­ring edu­ca­ti­on, Auto­ma­ted Socie­ty (106) on Algo­rith­m­Watch, https://r.algorithmwatch.org/nl3/dAy5-iYV4K- k4Edf6OpbOmg.

61 Erw­gr. 44 KI-VO.

Bron­ner · Selbst­ler­nen­de Syte­me in Lern­um­ge­bun­gen 3 2 5

ein­rich­tun­gen (Anh. III Nr. 3 lit. a KI-VO),62 also algo- rith­mi­sche Entscheidungssysteme63 (bzw. Unter­stüt- zungs­sys­te­me) auf Ebe­ne der Schul­or­ga­ni­sa­ti­on. Ein hohes Risi­ko stel­len auch KI-Sys­te­me zur Bewer­tung von Lern­ergeb­nis­sen ein­schließ­lich der Steue­rung von Lern­pro­zes­sen dar (Anh. III Nr. 3 lit. b KI-VO). Hier­von dürf­ten adap­ti­ve ITS regel­mä­ßig erfasst sein, denn ihre Funk­ti­ons­fä­hig­keit basiert gera­de auf dem Moni­to­ring von Lern­ergeb­nis­sen, um Inhal­te an einen indi­vi­du­ell bedarfs­ge­rech­ten Lern­pro­zess anzupassen.64 Neben KI- Sys­te­men zur Bewer­tung des ange­mes­se­nen Bil­dungs­ni- veaus (Anh. III Nr. 3 lit. c KI-VO) wer­den auch Sys­te­me zur Über­wa­chung und Erken­nung von ver­bo­te­nen Ver- hal­ten von Schü­lern bei Prü­fun­gen (Anh. III Nr. 3 lit. d KI-VO) etwa durch auto­ma­ti­sier­te Prü­fungs­auf­sicht mit­tels sog. Proc­to­ring-Soft­ware65 als hohes Risi­ko ein- gestuft. Die Hoch­ri­si­ko-Klas­si­fi­zie­rung betrifft neben der Orga­ni­sa­ti­ons­ebe­ne somit vor allem die Unter- richts­ebe­ne in mehr­fa­cher Aus­prä­gung und dabei Ein- satz­be­rei­che, die trotz aller Poten­zia­le von KI im Bil- dungs­be­reich bei nicht sach­ge­mä­ßem Ein­satz der KI- Sys­te­me ein beson­ders intru­si­ves Dis­kri­mi­nie­rungs­po- ten­zi­al bergen.66

bb) Anfor­de­run­gen an Schu­len als Betrei­ber von Hoch- risiko-KI-Systemen

Die Anbie­ter die­ser schul­be­zo­ge­nen Hoch­ri­si­ko-KI-Sys- teme müs­sen die Ein­hal­tung der umfang­rei­chen Anfor- derun­gen hin­sicht­lich die­ser Sys­te­me nach den Art. 8 ff. KI-VO sicher­stel­len. Schu­len als Betrei­ber von Hoch­ri­si- ko-KI-Sys­te­men wer­den durch die KI-VO z.B. durch die Infor­ma­ti­ons­be­reit­stel­lung in Art. 13 KI-VO von Anbie- tern zwar auch begüns­tigt, als Inha­ber der Ein­satz­ho­heit über KI-Sys­te­me in der kon­kre­ten Anwen­dung trifft sie aber auch eine Rei­he von Pflich­ten, die sich maß­geb­lich an Art. 26 KI-VO orientieren.67 Exem­pla­risch sind dies etwa die Ergrei­fung tech­nisch-orga­ni­sa­to­ri­scher Maß-

62. 62  Ein sol­ches Sys­tem wird bspw. seit eini­gen Jah­ren in der Stadt New York zur gerech­te­ren Ver­tei­lung von Schü­le­rin­nen und Schü­lern auf wei­ter­füh­ren­de Schu­len genutzt, s. Tul­lis, How Game Theo­ry Hel­ped Impro­ve New York City’s High School Ap- pli­ca­ti­on Pro­cess, New York Times vom 5.12.2014, https://www. nytimes.com/2014/12/07/nyregion/how-game-theory-helped- improve-new-york-city-high-school-application-process.html. Vgl. zu den Vor­tei­len und Risi­ken auch Krüger/Lischka, Damit Maschi­nen den Men­schen die­nen, 2018, S. 15 ff.
63. 63  Zum Begriff des algo­rith­mi­schen Ent­schei­dungs­sys­tems vgl. Zweig/Krafft, Fair­ness und Qua­li­tät algo­rith­mi­scher Entsch­ei- dun­gen, in: Mohab­bat Kar/Thapa/Parycek, (Un)berechenbar? Algo­rith­men und Auto­ma­ti­sie­rung in Staat und Gesell­schaft, 2018, S. 204, 208.

nah­men (Abs. 1), die Über­tra­gung der mensch­li­chen Auf­sicht über den Ein­satz des Sys­tems an eine hier­für geeig­ne­te und kom­pe­ten­te Per­son (Abs. 2), die Sicher- stel­lung, dass die Ein­ga­be­da­ten zweck­ent­spre­chend und reprä­sen­ta­tiv sind (Abs. 4), die Über­wa­chung des Betriebs des Sys­tems (Abs. 5) sowie auch die regel­mä­ßi- ge Infor­ma­ti­on gegen­über betrof­fe­nen Per­so­nen über die kon­kre­te Kon­fron­ta­ti­on mit KI-Sys­te­men (Abs. 11).

Nach Art. 27 KI-VO müs­sen Schu­len als Ein­rich­tun- gen des öffent­li­chen Rechts68 bei Hoch­ri­si­ko-KI-Sys­te- men schließ­lich eine „Grund­rech­te-Fol­gen­ab­schät­zung“ durch­füh­ren, die etwa die Beschrei­bung des Ver­fah­rens, den Zeit­raum und die Häu­fig­keit der Ver­wen­dung, die Kate­go­rie der betrof­fe­nen Per­so­nen und die Scha­dens­ri- siken umfasst. Die Wir­kung die­ser Fol­gen­ab­schät­zung muss sich in der Rechts­pra­xis erst noch her­aus­stel­len. Schu­len sind nach Art. 1 Abs. 3 GG bzw. Art. 51 GRCh ohne­hin grund­rechts­ge­bun­den, wenn sie nach ande­ren Geset­zen ver­pflich­ten­de Risi­ko- und Tech­nik­fol­gen­ab- schät­zun­gen durch­füh­ren. Um kei­ne ande­re Fol­gen­ab- schät­zung wird es sich trotz des viel­ver­spre­chend anmu- ten­den Namens bei der Grund­rech­te-Fol­gen­ab­schät- zung han­deln, mit einem klei­nen, aber wich­ti­gen Unter- schied: Die Abschät­zung der Aus­wir­kun­gen, die der Ein­satz eines KI-Sys­tems auf Grund­rech­te i.S.d. Art. 27 Abs. 1 KI-VO hat, muss auch die Chan­cen von KI-Sys­te- men in der Schu­le als Teil der Grund­rechts­ver­wirk­li- chung und ganz gene­rell berücksichtigen.

cc) Aus­nah­me des Art. 6 Abs. 3 KI-VO

Trotz der Klas­si­fi­zie­rung nach Abs. 6 Abs. 2 i.V.m. Anh. III KI-VO gilt ein KI-Sys­tem, das in die dor­ti­gen Ein- satz­be­rei­che fällt, schließ­lich dann nicht als hoch­ris­kant, wenn es das Ergeb­nis mensch­li­cher Ent­schei­dungs­fin- dung „nicht wesent­lich“ beein­flusst und dadurch kein erhöh­tes Risi­ko von ihm aus­geht. Davon wird bei Vor­lie- gen einer oder meh­re­rer der in Art. 6 Abs. 3 S. 2 lit. a – d

64 S.o. III. 2. a).
65 Vgl. zur Funk­ti­ons­wei­se von Proc­to­ring-Soft­ware und den

recht­li­chen Impli­ka­tio­nen im Hoch­schul­kon­text bei Fern­prü­fun- gen auch Rachut/Besner, Künst­li­che Intel­li­genz und Proc­to­ring- Soft­ware, MMR 2021, 851 ff.

66 Erw­gr. 56 S. 3 KI-VO.
67 Zu die­ser „Janus­köp­fig­keit“ noch bezo­gen auf den – begrifflich

unter­schied­li­chen aber inhalt­lich deckungs­glei­chen – „Nut­zer“ des KI-VO‑E auch Gless/Janal, in: Hil­gen­dor­f/Roth-Isig­keit, Die neue Ver­ord­nung der EU zur Künst­li­chen Intel­li­genz, 2023, § 2 Rn. 44 ff.

68 S.o. V. 3.

326 ORDNUNG DER WISSENSCHAFT 4 (2024), 317–328

KI-VO abschlie­ßend auf­ge­zähl­ter Bedin­gun­gen aus­ge- gan­gen. Eine wesent­li­che Beein­flus­sung wird ver­neint, wenn ein KI-Sys­tem dazu bestimmt ist, (a) eng umgrenz- te for­ma­le Ver­fah­rens­auf­ga­ben durchzuführen69, (b) das Ergeb­nis einer abge­schlos­se­nen mensch­li­chen Entsch­ei- dung zu optimieren70, © Abwei­chungs­mus­ter in abge- schlos­se­nen mensch­li­chen Ent­schei­dun­gen zu erken- nen71 oder (d) eine vor­be­rei­ten­de Auf­ga­be für eine mensch­li­che Bewer­tung i.S.d. Anh. III durchzuführen.72 Ist eine die­ser Anwen­dun­gen mit einem Pro­fil­ing i.S.d. Art. 4 Nr. 4 DSGVO, also der Ver­wen­dung per­so­nen­be- zoge­ner Daten zur Bewer­tung von Per­so­nen, ver­bun­den, gilt sie durch eine Rück­aus­nah­me von Art. 6 Abs. 3 KI- VO immer als hochriskant.

Die Aus­nah­me des Art. 6 Abs. 3 KI-VO stellt eine schlüs­si­ge Aus­prä­gung des risi­ko­ba­sier­ten Regu­lie- rungs­an­sat­zes dar,73 da hier­durch Akteu­re durch den Ein­satz von KI-Sys­te­men, die in den in Anh. III auf­ge­lis- teten Berei­chen ange­wen­det wer­den, aber kei­ne Ent- schei­dungs­er­heb­lich­keit auf­wei­sen, mit den umfan­g­rei- chen und in die­sen Fäl­len außer Ver­hält­nis ste­hen­den Anfor­de­run­gen an Hoch­ri­si­ko-KI-Sys­te­me kon­fron­tiert wären. Die ein­zel­nen Bedin­gun­gen in Art. 6 Abs. 3 S. 2 KI-VO wei­sen aller­dings ganz unter­schied­li­che Aus­wir- kun­gen in der Mensch-Maschi­ne-Inter­ak­ti­on auf: Wäh- rend sich die nach­träg­li­che Ver­bes­se­rung oder Mus- ter­er­ken­nung auf abge­schlos­se­ne Ent­schei­dun­gen bezieht und ihr Ein­fluss auf die mensch­li­che Entsch­ei- dungs­fin­dung daher gering ist, kön­nen Vor­be­rei­tungs- hand­lun­gen regel­mä­ßig einen maß­geb­li­chen Ein­fluss auf die­mensch­li­che Ent­schei­dung ausüben.74 Die genaue Abgren­zung danach, wann eine mensch­li­che Entsch­ei- dung „wesent­lich“ ist, wird künf­tig also min­des­tens genau­so wich­tig sein, wie die Vor­schrift in ihrer Bedeu- tung selbst. Für die auf der Unter­richts­ebe­ne rele­van­ten ITS wird die Aus­nah­me sel­ten grei­fen, da der indi­vi­du­el- le Lern­fort­schritt i.d.R. mit einem Pro­fil­ing zusammen-

69. 69  Bspw. die in der Schul­or­ga­ni­sa­ti­on bedeut­sa­me Struk­tu­rie­rung unstruk­tu­rier­ter Daten­men­gen oder Kate­go­ri­sie­rung ein­zel­ner Doku­men­te, vgl. auch Erw­gr. 53 S. 4 KI-VO.
70. 70  Hier­un­ter fällt etwa die Ver­bes­se­rung von Tex­ten oder Auf­sät­zen in Sprach­stil bzw. Aus­druck, vgl. auch Erw­gr. 53 S. 8 KI-VO.
71. 71  Erw­gr. 53 S. 11 KI-VO nennt hier aus­drück­lich den Ein­satz zur Erken­nung von Abwei­chun­gen im Beno­tungs­mus­ter von Lehr- kräften.
72. 72  Dies umfasst z.B. die Unter­stüt­zung bei Auf­satzer­stel­lung und Text­be­ar­bei­tung mit­tels Suche, Text­ver­ar­bei­tung oder dem Ein- satz von KI-Über­set­zungs­tools, vgl. Erw­gr. 53 S. 13 KI-VO.
73. 73  Vgl. so auch Hacker, Comm­ents on the Final Tri­lo­gue Ver­si­on of the AI Act, 13.4.2024, S. 9, https://papers.ssrn.com/sol3/papers. cfm?abstract_id=4757603.
74. 74  Vgl. vor die­sem Hin­ter­grund auch die Ent­schei­dung des EuGH

hängt. Anwen­dun­gen zur Text­be­ar­bei­tung oder Über- set­zung kön­nen aber durch­aus unter die Aus­nah­me fal- len.

c) Bestimm­te KI-Sys­te­me, Art. 50 KI-VO: Trans­pa­renz und Kennzeichnung

Art. 50 KI-VO sieht für bestimm­te KI-Sys­te­me Trans­pa- renz­pflich­ten i.S.e. Kenn­zeich­nung, dass es sich bei der Anwen­dung um ein KI-Sys­tem han­delt, vor. Ent­wi­ckelt eine Schu­le einen eige­nen Chat­bot i.S.d. Art. 50 Abs. 1 KI-VO und ist dem­nach Anbie­ter, gilt die Pflicht zur Infor­ma­ti­on gegen­über betrof­fe­nen Per­so­nen auch für sie. Andern­falls wer­den Pflich­ten für Betrei­ber im Schul- kon­text v.a. im Kon­text von Deepf­akes gem. Art. 50 Abs. 4 KI-VO rele­vant, die zur Inhalts­ver­mitt­lung durch­aus päd­ago­gisch wert­vol­le Ele­men­te auf­wei­sen kön­nen. Hier­bei ist die künst­li­che Erzeu­gung von Inhal­ten offen- zule­gen. Bei der Erfül­lung der Trans­pa­renz- und Infor- mati­ons­pflich­ten gegen­über min­der­jäh­ri­gen Schü­le­rin- nen und Schü­lern ist – ver­gleich­bar zu den Trans­pa­renz- pflich­ten der DSGVO – eine adres­sa­ten­ge­rech­te Ver­mitt­lung in ein­fa­cher Spra­che, ggf. mit bild­li­chen oder spie­le­ri­schen Ele­men­ten zur Her­stel­lung von Ver- trau­en unerlässlich.75

d) Gene­ra­ti­ve KI-Model­le, Art. 51 ff. KI-VO

Anbie­ter von GPAI-Model­len haben die in Art. 53 KI- VO ver­an­ker­ten Pflich­ten bzw. bei Vor­lie­gen eines sys­te- mischen Risi­kos von GPAI-Model­len76 die Pflich­ten des Art. 55 KI-VO ein­zu­hal­ten. Schu­len als Betrei­ber müs­sen die beson­de­ren Anfor­de­run­gen an gene­ra­ti­ve KI-Model- le nicht erfül­len. Wird ein GPAI-Modell in ein GPAI- Sys­tem inte­griert und die­ses wie­der­um in ein KI-Sys- tem,77 grei­fen hin­sicht­lich die­sem die Betrei­ber­pflich­ten aus Art. 26 KI-VO. Ins­ge­samt lässt sich aber fest­hal­ten, dass der Ein­satz von nicht eigens ent­wi­ckel­ter gene­ra­ti- ver KI im Bil­dungs­kon­text für Schu­len aus der KI-VO

im Kon­text von Art. 22 DSGVO, wonach die Boni­täts­prü­fung im Vor­feld einer Kre­dit­ge­wäh­rung einen so maß­geb­li­chen Ein­fluss auf die fina­le Ent­schei­dung hat, dass bereits von der Prü­fung
der Kre­dit­wür­dig­keit ein erhöh­tes Risi­ko­po­ten­zi­al aus­geht, vgl. EuGH, Urt. v. 7.12.2023 – C‑634/21, NJW 2024, 413, 415, Rn. 48, 50. Anm. hier­zu auch Bron­ner, juris­PR-ITR 05/2024 Anm. 4.

75 Vgl. zu Art. 12 DSGVO, an dem sich durch­aus ori­en­tiert wer­den kann Heckmann/Paschke, in: Ehmann/Selmayr, 3. Aufl. 2024, DSGVO Art. 12 Rn. 12 ff., 21.

76 Das sys­te­mi­sche Risi­ko von GPAI-Model­len wird bei „Fähig- kei­ten mit hohem Wir­kungs­grad“ nach Art. 51 Abs. 1, 2 KI-VO ange­nom­men, die u.a. mit der Leis­tungs­fä­hig­keit von Pro­zes­so- ren gemes­sen werden.

77 Erw­gr. 100 KI-VO.

Bron­ner · Selbst­ler­nen­de Syte­me in Lern­um­ge­bun­gen 3 2 7

her­aus kei­ne beson­de­ren Pflich­ten vor­sieht. Gleich­wohl stel­len sich in die­sem Kon­text eine Rei­he wei­te­rer recht- licher Fra­ge­stel­lun­gen, etwa aus dem Urhe­ber- oder Datenschutzrecht.

VI. Fazit und Ausblick

Der Ein­satz von KI-Sys­te­men in der Schu­le ist vor dem Hin­ter­grund sei­ner immensen Chan­cen, gleich­zei­tig aber der auf­ge­zeig­ten recht­li­chen Anfor­de­run­gen durch die KI-VO für Schu­len künf­tig eine Abwä­gungs­entsch­ei- dung, die auf­grund der Poten­zia­le selbst­ler­nen­der Sys­te- me in Lern­um­ge­bun­gen für Res­sour­cen- und Per- sonal­ef­fi­zi­enz sowie inklu­si­ves und indi­vi­du­ell för­der­li- ches Ler­nen immer zuguns­ten des ver­ant­wor­tungs­be- wuss­ten KI-Ein­sat­zes aus­fal­len soll­te. KI in der Schul­bil- dung steht noch am Anfang und vie­le – auch recht­li­che – Fra­ge­stel­lun­gen, z.B. im Bereich von Urhe­ber­schaft oder Daten­schutz, sind noch klä­rungs­be­dürf­tig. Die Klä­rung die­ser Fra­gen neben der gro­ßen Her­aus­for­de­rung, einen ver­trau­ens­wür­di­gen KI-Ein­satz in den Schu­len sicher­zu- stel­len, wird nur gemein­sam mög­lich sein: Kul­tus­mi­nis- teri­en, Behör­den, Schu­len, Lehr­kräf­te und Eltern sind koope­ra­tiv gefor­dert. Dabei soll­te nicht nur an Schulen,

son­dern auch aus der Erfah­rung gelernt wer­den, bevor Auf­sichts­be­hör­den ohne hin­rei­chen­de Abwä­gung KI- Sys­te­me und EdTech-Tools vor­ei­lig aus dem Unter­richt ver­ban­nen. Für die Wis­sen­schaft haben die vor­ste­hen- den Aus­füh­run­gen zum KI-Ein­satz an Schu­len eine dop- pel­te Bedeu­tung: Zum einen eröff­net sich ein wich­ti­ges For­schungs­feld der Bil­dungs­wis­sen­schaf­ten, die sowohl empi­risch als auch nor­ma­tiv wich­ti­ge Erkennt­nis­se, etwa im Hin­blick auf Lern­pro­zes­se in der Co-Krea­ti­on, gewin- nen kön­nen. Zum ande­ren gilt es, die Cur­ri­cu­la der Lehr­amts­stu­di­en­gän­ge auf die­se neue Ent­wick­lung abzu- stim­men. So gese­hen müs­sen die Fra­gen­krei­se zum KI- Ein­satz an Schu­len und an Hoch­schu­len gemein­sam betrach­tet wer­den. Die Ord­nung der Wis­sen­schaft ist in Zei­ten gene­ra­ti­ver KI auch eine Neu­ord­nung des Leh- rens und Lernens.

Pas­cal Bron­ner ist wis­sen­schaft­li­cher Mit­ar­bei­ter am Lehr­stuhl für Recht und Sicher­heit der Digi­ta­li­sie­rung (Prof. Dr. Dirk Heck­mann) an der Tech­ni­schen Uni­ver­si- tät Mün­chen. Er forscht und lehrt zu Rechts­fra­gen der Digi­ta­li­sie­rung mit den Schwer­punk­ten Daten­recht, Daten­schutz­recht und ins­be­son­de­re dem Recht der Künst­li­chen Intelligenz.

328 ORDNUNG DER WISSENSCHAFT 4 (2024), 317–328