Übersicht
I. Einführung
1. Die richtigen Noten für die falschen Studierenden?
2. Grundlegende Einsichten für KI im Hochschulbereich
II. Potenziale von KI an der Hochschule: Lehre im Fokus
III. Spannungslagen zwischen KI und Datenschutz
1. Relevante Merkmale von KI
a) Grundlagen
b) Trennung und Verschränkung der Datenverarbeitung in
Training und Einsatz
2. Ausgewählte datenschutzrechtliche Anforderungen und re-
sultierende Spannungen
a) Sachlicher und persönlicher Anwendungsbereich
b) Datenschutzgrundsätze des Art. 5 DS-GVO
c) Rechtsgrundlagen
d) Übermittlung in Drittstaaten
e) Profiling und automatisierte Entscheidung im Einzelfall
f) Technisch-organisatorischer Datenschutz und Daten-
schutz-Folgenabschätzung
V. Fazit und Ausblick
I. Einführung
1. Die richtigen Noten für die falschen Studierenden?2
Gut gemeint ist nicht immer gut. Das demonstriert ein
Beispiel aus Großbritannien, das unter dem etwas plaka-
tiven Titel „F*ck the Algorithm!“ in die jüngere Bil-
dungsgeschichte eingegangen ist. Der entsprechende
Zornesruf erklang im Sommer 2020 vor dem Parlament
in Westminster aus den Mündern hunderter Schülerin-
nen und Schüler. Er wurde zu einem Zeichen des Wider-
stands gegen ein Vorhaben des englischen Amts für die
Regulierung von Prüfungen und Abschlüssen (Office of
Qualifications and Examinations Regulation, Ofqual).
Da in der Covid-19-Pandemie keine Abschlussarbeiten
in Präsenz hatten durchgeführt werden können, wollte
Ofqual die Abschlussnoten der Schülerinnen und Schü-
ler für das zum Hochschulstudium berechtigende
Advanced bzw. A‑Level des General Certificate of Edu-
cation durch einen Algorithmus festlegen lassen.3 Dieser
sollte eigentlich für Objektivität sorgen. Da sich aus der
Forschung ergeben hatte, dass Lehrende bei einer Erset-
zung schriftlicher Examina durch Noten für den Gesamt-
eindruck von der Leistungsfähigkeit der Schülerinnen
und Schüler (was zunächst überlegt worden war) dazu
neigen, deren Leistungen positiver einzuschätzen, ent-
schied sich das Ofqual für die Festlegung der Abschluss-
note aufgrund einer parametrisierten Formel (eines
Algorithmus), aus welcher dann die Abschlussnote abge-
leitet wurde. Mit anderen Worten wurden in dem betref-
fenden „Pandemie“-Jahrgang keine Prüfungen mehr
durchgeführt, sondern die Hochschulzugangsberechti-
gung wurde aufgrund eines Algorithmus ermittelt, der
im Wesentlichen auf drei Variablen beruhte: der histori-
schen Notenverteilung der drei vergangenen Jahre der
Schule, dem Rang der Schülerin oder des Schülers inner-
halb eines Fachs an der jeweiligen Schule (anhand der
Einschätzung der Lehrenden4) sowie vorherigen Klau-
surnoten sowohl der historischen als auch der zu beur-
teilenden Schülerinnen und Schüler.
Das Problem dieser „Objektivität“ war jedoch, dass
sie einen verborgenen Bias enthielt. In Großbritannien
ist das Bildungswesen nach wie vor von großen Unter-
schieden geprägt. Allerdings sorgen eine weitgehende
Vereinheitlichung und die zeitgleiche Durchführung der
A‑Level-Prüfungen in England dafür, dass die Noten
landesweit weitgehend vergleichbar sind. Um den Zu-
gang zu den bekannten Einrichtungen in Oxford, Cam-
bridge oder auch London wird intensiv konkurriert, gute
Noten sind hierfür essenziell. Da es Ofqual zuließ, dass
es in denjenigen Fällen, in denen in einem Fach an einer
Schule weniger als 15 Schülerinnen und Schüler die Ab-
schlussprüfung abzulegen hatten, aus praktischen Grün-
den doch wieder auf die Einschätzungen der Lehrenden
Margrit Seckelmann1 und Jan Horstmann
Künstliche Intelligenz im Hochschulbereich und Da-
tenschutz
1
Der Beitrag beruht auf dem Vortrag von Prof. Dr. Margrit Seckel-
mann beim 16. Hochschulrechts tag in Erlangen am 28.09.2023.
2
Die Überschrift is t eine abgewandelte Version einer Überschrift
der FAZ zur geschilderten Begebenheit, https://www.faz.net/
aktuell/politik/ausland/britische-pruefungsergebnisse-die-not-
mit-den-noten-16915526.html (Abruf 30.01.2024).
3 In den übrigen Teilen des Vereinigten Königreichs gab es ähnli-
che Vorgänge. Ein ausführlicher technischer Bericht zu Ofquals
Erwägungen und Methodik is t im Internet verfügbar: Ofqual,
Awarding GCSE, AS, A level, advanced extension awards and
extended projec t qualifications in summer 2020: interim report,
593d61/6656–1_Awarding_GCSE__AS__A_level__advanced_ex-
tension_awards_and_extended_projec t_qualifications_in_sum-
mer_2020_-_interim_report.pdf (Abruf 31.01.2024).
4
Laut Ofqual (Fn. 2, S. 13ff.) sind die Einschätzungen der Lehren-
den in relativer Hinsicht verlässlicher als in absoluter Hinsicht.
Ordnung der Wissenschaft 2023, ISSN 2197–9197O R D N U N G D E R W I S S E N S C H A F T 3 ( 2 0 2 4 ) , 1 6 9 — 1 8 4
1 7 0
5
Zum Ganzen: Craven, Ofqual grades algorithm: A recipe for un-
fairness, https://upreach.org.uk/news/ofqual-grades-algorithm-
a‑recipe-for-unfairness, abgerufen am 31.012024; Willis/Chiusi,
United Kingdom – Research, in Chiusi et al., Automating Society
Report 2020, S. 280; Kolkman, LSE Blog vom 26.08.2020, https://
blogs.lse.ac.uk/impac tofsocialsciences/2020/08/26/fk-the-algo-
rithm-what-the-world-can-learn-from-the-uks-a-level-grading-
fiasco/, abgerufen am 31.01.2024.
6
S. die beginnende wissenschaftliche Durchdringung bei Gardner,
IEEE Tech. & Soc. Mag. Jg. 41 Ausgabe 2 (2022), 84–89; Mallett,
Reviewing the impac t of OFQUAL’s assessment ‘algorithm’ on
racial inequalities in Lander/Kay/Holloman, COVID-19 and Ra-
cism – Counter-Stories of Colliding Pandemics (2023), S. 187–198.
7
Zum Schluss von Verhaltensdaten Vieler auf das zukünftige
Handeln des Einzelnen Seckelmann, Verwaltung 2023, 1 (26f.).
8
Nach der Rechts prechung sowie langjähriger Ansicht der Auf-
sichtsbehörden is t der Personenbezug anhand des Inhalts, des
Zwecks und der Auswirkungen einer Information zu beurteilen,
s. insb. EuGH, 20.12.2017, C‑434/16 — Nowak = ZD 2018, 113; s.a.
Art.-29-Datenschutzgruppe, WP136 – Stellungnahme 4/2007 zum
Begriff „personenbezogene Daten“, 20.6.2007.
9
Seckelmann (Fn. 7), 26f.
10
Wachter/Mittels tadt, Columbia Business L. Rev. 2019, 494. In sei-
ner grundrechtlichen Konzeption is t jedenfalls das Recht auf in-
formationelle Selbs tbes timmung als akzessorischer Vorfeldschutz
vor freiheitsbegrenzenden Entscheidungen anderer angelegt, s.
Britz, Informationelle Selbs tbes timmung zwischen rechtswissen-
schaftlicher Grundsatzkritik und Beharren des Bundesverfas-
sungsgerichts in Hoffmann-Riem, Offene Rechtswissenschaft, S.
570f.; krit. zu einem datenschutzrechtlichen Schutz vor unange-
messenen Schlussfolgerungen Steinbach, Regulierung algorith-
menbasierter Entscheidungen — grundrechtliche Argumentation
im Kontext von Artikel 22 DSGVO (2021), S. 220.
11
Verordnung des Europäischen Parlaments und des Rates zur
Fes tlegung harmonisierter Vorschriften für küns tliche Intelli-
genz (Gesetz über küns tliche Intelligenz) und zur Änderung
bes timmter Rechtsakte der Union (Gesetzgebungsverfahren COD
2021/0106). Da sich der Gesetzgebungs prozess zum Zeitpunkt
des Verfassens in der finalen Phase befand, wird hier die vom
EP am 13.3.2024 angenommene Fassung (Dokument-Nr. P9_
TA(2024)0138 zugrunde gelegt, deren Annahme durch den Rat
erwartet wird. Zur Übersetzung wurde teilweise die allgemeine
Ausrichtung des Rates vom 6.12.2024 (ST 15698 2022 INIT) her-
angezogen.
gesetzt werden sollte, wäre dieses – so vermutete man je-
denfalls – Schülerinnen und Schülern an Privatschulen
und in kleinen Kursen, vor allem in bildungsbürgerlich
konnotierten Fächern wie Latein, Altgriechisch oder
Kunstgeschichte, zugutegekommen. Zudem floss die all-
gemeine Notenverteilung an der betreffenden Schule aus
den letzten Jahrgängen in die Formel ein und hätte zu-
sätzlich diejenigen fleißigen und intelligenten Personen
benachteiligt, die in der Abschlussprüfung trotz schlech-
ter Startbedingungen beachtliche Punktzahlen erzielt
hätten. Dieser implizite Bias wäre – hätte es keine Protes-
te dagegen gegeben – dadurch verstärkt worden, dass das
zur Anfechtung der Noten vorgesehene Verfahren als
kompliziert und kostenpflichtig erschien, so dass viele
hiervor zurückgescheut hätten. Als dann noch bekannt
wurde, dass aufgrund der Pandemie insgesamt weniger
Studienplätze angeboten werden sollten, lief das Fass
über – und es kam zu den eingangs erwähnten Protesten,
bei denen interessanterweise die Schuld beim Algorith-
mus gesucht wurde. Letzten Endes wurde die angekün-
digte Formel nicht angewendet, es wurden die algorith-
misch vergebenen Noten zurückgezogen und durch die
Einschätzung der Lehrenden ersetzt.5 Ob die gefundene
Lösung allerdings mehr oder vielmehr weniger Bil-
dungsgerechtigkeit enthielt, wurde danach von den
Schülerinnen und Schülern nicht mehr problematisiert,
denn in ihren Augen stand eines fest: Der Algorithmus
war schuld.
2. Grundlegende Einsichten für KI im Hochschulbe-
reich
Was lässt sich aus diesem Beispiel für den Einsatz von KI
im deutschen Hochschulbereich lernen? Einerseits fallen
zunächst die Unterschiede zu diesem (für die Bildungs-
soziologie hochinteressanten Beispiel6) auf. Es macht auf
der anderen Seite aber zwei grundlegende Einsichten für
den Datenschutz im Hochschulbereich beim KI-Einsatz
sehr deutlich:
Erstens lassen sich dieser und ähnliche Fälle des Ein-
satzes von KI mit den klassischen Begriffen des Daten-
schutzrechts nur begrenzt fassen. Denn zum einen gibt
es auf die im Falle Ofqual berechtigterweise aufgeworfe-
ne Frage, für welche Zwecke man überhaupt KI nutzen
sollte, keine Antwort. Zum anderen lag ein Großteil des
Problems gerade in der Heranziehung der statistischen
Verteilung von Noten in vorherigen Jahren für die Ent-
scheidung über die aktuellen Schülerinnen und Schüler.7
Zwar wird durch die Entscheidung über die individuelle
Note letztlich ein Personenbezug hergestellt.8 Skandali-
siert wurde jedoch die Anknüpfung an gruppenbezoge-
ne Merkmale, also ein Bias, der – wie bei KI-Applikatio-
nen häufig — daraus resultiert, dass aus dem (histori-
schen) Verhalten vieler auf das mögliche Verhalten eines
Einzelnen geschlossen wird.9 Und das wirft wiederum
eine zentrale Thematik der Debatten um Datenschutz
und KI auf: Inwieweit ist das Datenschutzrecht das rich-
tige Instrument, um einen Schutz vor „unangemessenen
Schlussfolgerungen“10 zu gewährleisten? Beide Problem-
stellungen lassen sich nicht mit dem personenbezogenen
Ansatz des Datenschutzrechts allein behandeln. Es
kommt auch auf noch offene Fragen seines Zusammen-
spiels mit anderen Normen an, insbesondere dem tech-
nikbezogenen Ansatz der KI-Verordnung (KI-VO) der
EU,11 die einen ersten Baustein des KI-Rechts darstellt.
Für KI-Systeme zur Anwendung in Einrichtungen der
allgemeinen und beruflichen Bildung aller Stufen sind
nach der KI-VO bei einer Reihe von Einsatzzwecken,Seckelmann/Horstmann · Künstliche Intelligenz im Hochschulbereich und Datenschutz 1 7 1
12
Wischmeyer, AöR 2018, 1 (20ff.).
13
In diese Richtung deutet die Lehre, die Kolkman (Fn. 5) aus dem
Eingangsbeis piel zieht: „Algorithmic accountability“ erfordert die
Ausbildung kritischer Öffentlichkeiten für Algorithmen.
14
Neben Studierenden und Lehrenden kommt auch privaten und
öffentlichen Hochschulen der Schutz der Wissenschaftsfreiheit
zu (Kempen in BeckOK Grundgesetz, Epping/Hillgruber, 56. Ed.
Stand 15.8.2023, Art. 5 Rn. 185). Dies wird relevant, wenn s taat-
liche Regelungen Vorgaben zum KI-Einsatz in Forschung oder
Lehre enthalten, wird hier aber nicht behandelt.
15
Djeffal, DuD 2021, 529 (531).
16
Os ter, JZ 2021, 167.
17
Von einem beeindruckenden Beis piel, in dem auch zusammen-
hängende Geschichten mit KI in die Form eines Comics gebracht
wurden berichtet Heaven, MIT Technology Review, 5.3.2024,
generative-ai-turn-my‑s tory-into-comic-images-lore-machine/
(Abruf 6.3.2024).
18
Für ChatGPT s. FAQ: Enterprise privacy at OpenAI, Stand
10.01.2024, https://openai.com/enterprise-privacy.
19
S. dazu Herrmann, ODW 2024, 25–44.
20
Kempen in BeckOK GG, Epping/Hillgruber, 56. Ed. Stand
15.8.2023, Art. 5 Rn. 183.
21
Hier wird davon ausgegangen, dass Lehrende den KI-Einsatz
selbs t in die Lehre aufnehmen. Die Einführung von KI kann als
äußere Beeinflussung des grundrechtlich geschützten methodi-
schen Ansatzes der Lehre (Kempen in BeckOK GG, Epping/Hill-
gruber, 56. Ed. Stand 15.8.2023, Art. 5 Rn. 183) im Einzelfall auch
einen Eingriff in die Lehrfreiheit (Art. 5 Abs. 3 GG) dars tellen (s.
Heckmann/Rachut, ODW 2024, 85 (88)). In diesem Zusammen-
hang wären auch mögliche Bedrohungen der Freiheit der Lehre
zu reflektieren, die durch die Fortentwicklung eines zunächs t
durch die Lehrperson autonom eingeführten KI-Sys tems im
Zeitverlauf ents tehen können.
insbesondere Zulassung und Bewertung
(einschließlich Zwischenbewertungen), die
Vorgaben für Hochrisiko-KI-Systeme anwendbar
(Art. 6 Abs. 2 iVm Annex III Nr. 3 KI-VO).
Zweitens sind im Bildungsbereich existenzielle Güter
der (beruflichen) Chancengleichheit und persönlichen
Entfaltung betroffen. Es ist ein Versprechen von KI, dass
diese Güter mittels Effizienz und Standardisierung nach-
gerade „automatisch“ maximiert würden. Zweifelsohne
bietet zudem insbesondere generative KI ein enormes
Potenzial zur Ausbildung und Entfaltung von Kreativi-
tät. Doch müssen Chancengleichheit und persönliche
Entfaltung als umkämpfte, diskursiv bestimmte und ver-
teilte Güter angesichts der oft verborgenen „Prägekraft
der Technik“12 auch gegen diese behauptet werden.13 Das
ruft grundrechtliche Verbürgungen (insbesondere
Art. 2 Abs. 1, Art. 2 Abs. 1 iVm Art. 1 Abs. 1, Art. 3, Art. 5
Abs. 3, Art. 12 GG sowie Art. 7, 8, 13 S. 2, 14, 15 GRCh) auf,
die hinter den hier behandelten Normen des Daten-
schutzrechts stehen. Sie müssen im weitgehend staatlich
geprägten Hochschulbereich durch die Hochschulen
selbst zur Geltung gebracht werden.14 Diese Belange sind
also bei den folgenden Ausführungen zu den Span-
nungslagen zwischen KI und Datenschutzrecht im Be-
wusstsein zu behalten.
II. Potenziale von KI an der Hochschule: Lehre im
Fokus
Künstliche Intelligenz verfügt als Querschnitts-15 oder
„Meta-Technologie“16 über kaum überschaubare Ein-
satzmöglichkeiten, die sich durch die Dynamik der tech-
nischen wie sozialen Entwicklung laufend erweitern.
Entsprechend vielfältig sind auch die Einsatzmöglichkei-
ten im Hochschulbereich. Mit der Verbreitung großer
Sprachmodelle (Large Language Models) wie ChatGPT
für den Einsatz durch private Nutzerinnen und Nutzer
ohne besondere Vorkenntnisse bestehen breite Einsatz-
möglichkeiten in allen Bereichen des Hochschulrechts
von der Bewerbung bis zur Prüfung, insbesondere in der
Produktion, im Erwerb und in der Repräsentation von
Wissen. Ein Beispiel ist die Illustration von Wissen durch
KI-Systeme, die aus Texteingaben Bilder generieren.17
Mittels Schnittstellen können auf Sprachmodellen beru-
hende KI-Systeme bei Verfügbarkeit entsprechender
Daten grundsätzlich auch für den konkreten Einsatz-
zweck angepasst werden.18
KI kann nunmehr also an allen Stationen einer Hoch-
schullaufbahn eingesetzt werden: Bei der Zulassung Stu-
dierender, in der Lehre, im Selbststudium, in der Durch-
führung und Bewertung von Prüfungsleistungen, in be-
ruflichen Auswahlentscheidungen,19 in der Forschung
sowie in der Verwaltung. Die Einsatzszenarien lassen
sich grob in bewertende Anwendungen wie Prüfungsbe-
wertung und Auswahlentscheidungen sowie vorrangig
kreative und didaktische Anwendungen einteilen. Wäh-
rend KI in die Forschung idR weniger institutionell
durch die Hochschule eingeführt werden dürfte, son-
dern von den Forschenden selbst als Arbeitsmittel her-
angezogen wird, bieten sich besonders im Bereich der
Lehre, grundrechtlich verstanden als systematisch ange-
legte Verbreitung des in der Forschung Erkannten,20
spannende Einsatzmöglichkeiten und zugleich Heraus-
forderungen durch die grundrechtliche Betroffenheit
der Studierenden.21 Besonders im Selbststudium und in
Ergänzung von Lehrangeboten können KI-Systeme eine
strukturierende und unterstützende Funktion einneh-
men. Dies kann verschiedene KI-Elemente wie beispiels-
weise Empfehlungsalgorithmen sowie Chatbots umfas-
sen und diese kombinieren. Die Übergänge sind dabei
fließend. Chatbots etwa könnten Lerninhalte – mit dem
jeweiligen relevanten Lernstoff – nicht nur empfehlen,O R D N U N G D E R W I S S E N S C H A F T 3 ( 2 0 2 4 ) , 1 6 9 — 1 8 4
1 7 2
22
Überblick bei Sabzalieva/Valentini, ChatGPT and Artificial
Intelligence in higher education – Quick s tart guide, S. 9, https://
www.iesalc.unesco.org/wp-content/uploads/2023/04/ChatGPT-
and-Artificial-Intelligence-in-higher-education-Quick-Start-
guide_EN_FINAL.pdf (Abruf 28.2.2024).
23
Eine umfassende Sy ematisierung und rechtliche Einordnung
bieten Heckmann/Rachut (Fn. 21), 85.
24
Zur datenschutzrechtlichen Bewertung ausführlich Giannopou-
lou/Ducato/Angiolini/Schneider, JIPITEC 2023, 278.
25
Dazu Hoeren in Salden/Leschke, Didaktische und rechtliche Per-
s pektiven auf KI-ges tütztes Schreiben in der Hochschuldbildung
(2023), S. 32f.
26
Dazu insb. aus prüfungsrechtlicher Pers pektive Hoeren
(Fn. 25), 35ff.
27
S. ebd.
28
Pressemitteilungen und Verfügungen des Garante per la protezi-
one dei dati personali sind, teilweise mit englischer Übersetzung,
abrufbar unter https://www.garanteprivacy.it/web/gues t/home/
docweb/-/docweb-dis play/docweb/9870847 (Abruf 7.3.2024).
29
So hat der Hamburgische Beauftragte für Datenschutz und
Informationsfreiheit (HmbBfDI) eine ers te Checklis te ers tellt:
Checklis te zum Einsatz LLM-basierter Chatbots, Stand 13.11.2023,
DI/Datenschutz/Informationen/20231113_Checklis te_LLM_Chat-
bots_DE.pdf (Abruf 7.3.2024).
sondern in unterschiedlicher Darreichungsform gene-
rieren, um die präferierte (oder gar algorithmisch als am
effektivsten ermittelte) Lernform individueller Studie-
render zu bedienen oder einfach das Lernen abwechs-
lungsreicher zu gestalten. In der Lehre ergeben sich die
Einsatzfelder des (ggf. begleiteten) Selbststudiums, der
Präsenzlehre sowie der Prüfung. Die folgenden, nur bei-
spielhaft aufgezählten Einsatzmöglichkeiten veran-
schaulichen die Breite und Vielfalt der Konstellationen:
Im Selbststudium:
– Auswahl und Empfehlung von Lerninhalten anhand
allgemeiner Vorgaben des Lehrpersonals, potenziell
auch anhand des Lernstands oder Vorlieben indivi-
dueller Studierender (Empfehlungssysteme)
– Aufbereitung und Präsentation des Lernstoffs in
immer wieder abgewandelter und ggf. personalisier-
ter Form durch Sprachmodelle, wobei ein KI-Chat-
bot neben vielen anderen beispielsweise die Rolle
eines sokratischen Dialogpartners einnehmen
kann22
– Erstellung und Auswertung von Tests zur Selbst-
überprüfung, auch mittels Abwandlung oder Perso-
nalisierung, Bewertung von Übungsaufgaben
– Erkennen von Lerndefiziten durch Auswertung des
Lernfortschritts, um Beratungs- oder Fördermaß-
nahmen zu ergreifen
In der Präsenzlehre:
– Erstellung von Lehrmaterialien
– Einbindung von generativer KI zur Vermittlung von
Fähigkeiten für den wissenschaftlichen oder künst-
lerischen Umgang mit KI
In der Prüfung:23
– Erkennung von Täuschungsversuchen (sog. E‑Proc-
toring24 oder Erkennung von KI-generiertem Text25)
– Auswertung der Prüfungsleistung vollständig oder
teilweise durch ein KI-System26
– Auswertung der Prüfungsleistung durch Lehrende,
KI-Assistenz beim Verfassen von Korrekturanmer-
kungen und Voten 27
Die Einsatzfelder gehen durchaus fließend ineinan-
der über, wie schon die unverbindliche Lernstandsüber-
prüfung, abschlussrelevante Studienleistungen ohne No-
tenbewertung oder das Selbststudium mit anlassbezoge-
ner Einbindung des Lehrpersonals verdeutlichen. Abs-
trakt gesprochen besteht eine steigende
Grundrechtsrelevanz, je mehr der KI-Einsatz von einer
ermöglichenden Erweiterung der Lernmittel im Selbst-
studium in die heteronome Prüfungssituation übergeht,
wobei er zusehends die eigene Sphäre der Studierenden
verlässt und künftige berufliche sowie persönliche Ent-
faltungschancen betroffen sind. Datenschutzrechtliche
Bestimmungen sind aber in allen Fällen relevant.
III. Spannungslagen zwischen KI und Datenschutz
Da KI-Training und der hier im Fokus stehende KI-Ein-
satz in aller Regel personenbezogene Daten benötigen,
ist zumeist auch das Datenschutzrecht einschlägig. Auch
das Aufkommen der großen Sprachmodelle blieb nicht
ohne datenschutzrechtliche Implikationen: Nachdem
die italienische Datenschutzaufsichtsbehörde den
Betrieb von ChatGPT für Italien im März 2023 vorüber-
gehend untersagt und kurz darauf unter Auflagen wieder
zugelassen hat,28 scheint sich nun – auch in Anbetracht
von Alternativen, die mehr Datenschutz bieten – bei den
Aufsichtsbehörden die Ansicht durchzusetzen, dass sie
unter Beachtung bestimmter Maßnahmen datenschutz-
konform eingesetzt werden können.29
Mit einigen Vorschriften jedoch gerät KI aufgrund
ihrer technischen Funktionsweise und den wirtschaftli-
chen Bedingungen ihrer Herstellung und ihres Einsatzes
in besondere Spannung.Seckelmann/Horstmann · Künstliche Intelligenz im Hochschulbereich und Datenschutz 1 7 3
30
S. McCarthy/Minsky/Roches ter/Shannon, A Proposal for the
Dartmouth Summer Research Projec t on Artificial Intelligence,
gekürzte Fassung in AI Magazine 2006, 12–14.
31
Ins truktiv zur Bedeutung der Datengrundlage und damit verbun-
dener Ges taltungsentscheidungen Barocas/Selbs t, 104 Cal. L. Rev.
(2016), 671–732; Lehr/Ohm, 51 UC Davis L. Rev. (2017), 653–717.
32
Einführend Burrell, Big Data & Society 2016 (1), 1–12; De Laat,
Philos. Technol. 2018, 525 (529ff.).
33
Prägnant Wischmeyer (Fn. 12), 21: ”sozio-technische Assemblage”.
S.a. Datenethikkommission der Bundesregierung, Gutachten,
2019, S. 25 (Empfehlung 36).
34
Dazu Hornung, Trainingsdaten und die Rechte von betroffenen
Personen – in der DSGVO und darüber hinaus? in BMUV/Ros-
talski, Küns tliche Intelligenz – Wie gelingt eine vertrauenswürdi-
ge Verwendung in Deutschland und Europa?, S. 91–120.
35
Zur möglichen Absicherung gruppenbezogener Ziele durch die
DS-GVO Dreyer/Schulz, Was bringt die Datenschutz-Grundver-
ordnung für automatisierte Entscheidungssysteme?, Bertelsmann
Stiftung 2018, S. 39f.
36
Außerhalb des Europäischen Wirtschaftsraums (EU-Staaten
sowie Norwegen, Liechtens tein, Island).
37
Zerdick in Ehman/Selmayr, 2. Aufl. 2018, Art. 44 DS-GVO Rn. 13.
1. Relevante Merkmale von KI
a) Grundlagen
KI bezeichnete ursprünglich ein Forschungsfeld mit
dem Ziel der Simulation möglichst aller Aspekte der
(menschlichen) Intelligenz durch Computer.30 Die hier
interessierenden KI-Systeme sind solche, die überwie-
gend auf maschinellem Lernen beruhen, also mittels der
Auswertung von Daten (Trainingsdaten) unter Verwen-
dung statistischer und mathematischer Methoden eine
Funktion ermitteln, um Eingabewerten eine Ausgabe
zuzuordnen. Dass sich die verwendeten Trainingsdaten
stark auf das finale KI-System niederschlagen, offenbart
sich im Bonmot „garbage in, garbage out“: auf einer
unzureichenden Datengrundlage lässt sich kein brauch-
bares KI-System trainieren.31
Auf diese überragenden Bedeutung von Daten, die
auch auf den hier im Fokus stehenden KI-Einsatz durch-
schlägt, gehen viele der Spannungen mit dem Daten-
schutzrecht zurück. Viele KI-Systeme, die gute Ergebnis-
se erzielen, beruhen im Übrigen auf neuronalen Netzen
oder ähnlichen Techniken (insbesondere dem sog. Deep
Learning). Dabei lassen sich aufgrund der großen Da-
tenmengen, komplexer mathematischer Gewichtungen
in den verdeckten Schichten des Netzwerks und einiger
Methoden zur Reduzierung der benötigten Rechenleis-
tung, die Faktoren, die eine bestimmte Ausgabe aus-
schlaggebend sind, nicht eindeutig und erst recht nicht
für Nutzerinnen und Nutzer intuitiv verständlich nach-
vollziehen (Black-Box-Problematik).32 Wichtig ist darü-
ber hinaus, KI-Systeme als sozio-technische Systeme33 zu
begreifen, d.h. ihre Wechselwirkung mit institutionellen,
ökonomischen und psychologischen Faktoren und Pro-
zessen zu berücksichtigen, die die konkreten Formen
und Wirkungen des KI-Einsatzes beeinflussen. Schließ-
lich geschieht die Herstellung von KI-Systemen in ver-
zweigten Wertschöpfungsketten bzw. Ökosystemen, die
im Falle vieler beliebter KI-Systeme durch US-amerika-
nische und chinesische Unternehmen dominiert wer-
den. Dass die substanzielle Durchsetzung europäischen
Datenschutzrechts gegen diese trotz beachtlicher Buß-
gelder an Grenzen stößt, ist bekannt. Für einzelne be-
troffene Personen resultiert die Kombination dieser Um-
stände darin, dass ihnen Art und Umfang der Verarbei-
tung personenbezogener Daten im Wesentlichen oft ver-
borgen bleiben und schon mangels Wissens ihrer
Kontrolle entzogen sein können.
b) Trennung und Verschränkung der Datenverarbei-
tung in Training und Einsatz
Bei KI lassen sich die Phasen des Trainings und des Ein-
satzes unterscheiden. In beiden können personenbezo-
gene Daten verarbeitet werden. Auf die Datenverarbei-
tung zu Trainingszwecken soll hier zwar nicht näher ein-
gegangen werden,34 stets zu berücksichtigen ist aber, dass
sie sich stark auf die Qualität des KI-Systems im Einsatz
auswirkt. Das Datenschutzrecht stellt dies vor das grund-
legende Problem, dass die Verarbeitung personenbezo-
gener Daten einer Gruppe natürlicher Personen im Trai-
ning Erkenntnisse über andere Personen ermöglicht und
sich auf ihre Rechte, Freiheiten und Interessen, zuweilen
auch als Gruppe, auswirken kann, während der Daten-
schutz überwiegend individuell und an der einzelnen
Verarbeitung orientiert konzipiert ist.35
Spezielle Probleme können durch die Trennung der
beiden Phasen auftauchen, wenn die Datenverarbeitung
für das Training eines Systems in Drittstaaten36 stattfin-
det. In der Regel dürften einzelne Datenverarbeitungen
(z.B. das sog. Labelling der Daten) in Form einer Auf-
tragsverarbeitung oder durch gesonderte Einheiten des
Verantwortlichen durchgeführt werden. Für Datenüber-
mittlungen an diese sind dann zusätzlich zu den allge-
meinen Anforderungen der DS-GVO die speziellen Be-
dingungen der Art. 44 ff. DS-GVO einzuhalten.37 Bei ei-
ner vollständigen Entwicklung eines Systems außerhalb
des räumlichen Anwendungsbereichs der DS-GVO hin-
gegen können EU-Datenschutzstandards im TrainingO R D N U N G D E R W I S S E N S C H A F T 3 ( 2 0 2 4 ) , 1 6 9 — 1 8 4
1 7 4
38
U.U. mag sich dies über die Datenqualität mittelbar auch auf
betroffene Personen in der Union auswirken, durch die DS-GVO
jedoch wird es nicht adressiert. Die KI-VO hingegen adressiert
den internationalen Datenverkehr indirekt: Sie gilt für in der
EU auf den Markt gebrachte und eingesetzte Sys teme und sogar,
wenn nur das Ergebnis eines Sys tems in der EU verwendet wird
(Art. 2 Abs. 1 lit. a), c)). Art. 10 des KI-VO fordert mit Blick auf
die Datenqualität u.a., dass Trainingsdatensätze geeignete s tatis ti-
sche Eigenschaften hinsichtlich der vom Einsatz eines Hochrisi-
ko-KI-Sys tems betroffenen Personen oder Gruppen aufweisen
(Abs. 3 S. 2) sowie den geographischen Kontext berücksichtigen
(Abs. 4). Dies muss nach Art. 11 auch dokumentiert werden.
39
So im Team-Abonnement von OpenAI für GPT‑4 oder bei
Verwendung einer Schnitts telle (API), s. FAQ: Enterprise privacy
at OpenAI (Fn. 18).
40
Hier wird exemplarisch das nds. Landesrecht herangezogen.
41
Grundlegend Barocas/Nissenbaum in Lane et al., Privacy, Big
data, and the Public Good: Frameworks for Engagement (Cam-
bridge UP 2014), S. 44–75; Mit reformorientierten Überlegungen
Karg, ZD 2012, 255.
42
Purtova, Law, Innovation & Technol. 2018, 40; Ziebarth in Sydow/
Marsch, 3. Aufl. 2022, Art. 4 DS-GVO Rn. 37.
43
Veale/Binns/Edwards, Phil. Trans. R. Soc. A 2018, 376:20180083;
von Maltzan/Käde, DSRITB 2020, 505; Boenisch, DuD 2021, 448.
44
Dazu mwN Winter/Battis/Halvani, ZD 2019, 489; anschaulich zur
Problematik Martini, Blackbox Algorithmus – Grundfragen einer
Regulierung Küns tlicher Intelligenz 2019, S. 160ff.
45
Winter/Battis/Halvani (Fn. 44), 492f.; Beduschi, Big Data & Socie-
ty 2024 (1), 1–5.
unterschritten werden, später aber ein Einsatz im An-
wendungsbereich der DS-GVO stattfinden.38
Überdies können Systeme eingesetzt werden, bei de-
nen in der Einsatzphase laufend neues Feedback für den
lernenden Algorithmus generiert wird und damit ein
weiteres Training erfolgt. Gerade bei KI, die als Dienst-
leistung angeboten (AI as a Service, AIaaS) oder auf
Plattformen eingebunden wird, ist es möglich, dass die
während des Einsatzes eingegebenen Daten vom Dienst-
leister wiederum als Trainingsdaten verwendet werden.
Teilweise bieten AIaaS-Anbieter gegen Aufpreis Leistun-
gen an, in denen Eingaben nicht für das Training ver-
wendet werden.39
2. Ausgewählte datenschutzrechtliche Anforderungen
und resultierende Spannungen
Die allgemeinen Vorschriften der DS-GVO gelten für die
Herstellung (insbesondere das Training) und den Ein-
satz von KI im Hochschulbereich, sofern dabei perso-
nenbezogene Daten verarbeitet werden
(Art. 2 Abs. 1 DS-GVO). Die DS-GVO wird durch Lan-
des- und Bundesrecht ausgefüllt und ergänzt insbeson-
dere die Landesdatenschutz- und Landeshochschulge-
setze.40
a) Sachlicher und persönlicher Anwendungsbereich
Die für die Anwendung der DS-GVO ausschlaggeben-
den Merkmale der Verarbeitung und der personenbezo-
genen Daten sind in Art. 4 Nr. 1, 2 DS-GVO definiert.
Eine Verarbeitung ist entsprechend der offenen Aufzäh-
lung in Art. 4 Nr. 4 DS-GVO jeder Vorgang im Zusam-
menhang mit personenbezogenen Daten, woraus sich
für den hiesigen Zusammenhang keine wesentliche Ein-
schränkung des Anwendungsbereichs ergibt.
Das wichtigste Kriterium für die Abgrenzung perso-
nenbezogener Daten von nicht erfassten Sachdaten, sta-
tistischen oder anonymen Daten (ErwG 26 DS-GVO) ist
der Bezug zu einer identifizierten oder identifizierbaren
natürlichen Person (betroffene Person). Dass durch die
Verknüpfung von Datenbeständen und leistungsstarke
mathematisch-statistische Modelle die Möglichkeiten
der Identifizierung und Ableitung von Wissen um natür-
liche Personen – oder jedenfalls von stochastisch hinrei-
chend treffsicheren Schlussfolgerungen – im hiesigen
Kontext enorm weit geworden sind, ist beinahe ein da-
tenschutzrechtlicher Allgemeinplatz.41 Dies liegt nicht
zuletzt in der weiten Auslegung des Personenbezugs
durch den EuGH und die Art.-29-Datenschutzgruppe
begründet.42 Es lässt sich sogar die noch nicht zufrieden-
stellend gelöste Frage aufwerfen, ob KI-Modelle selbst
personenbezogene Daten enthalten, da sie die in den
Trainingsdaten vorhandenen Informationen abbilden
und diese sich in informationstechnischen Angriffssze-
narien ggf. sehr granular rekonstruieren lassen.43 Die
Anonymisierung als Strategie der Vermeidung daten-
schutzrechtlicher Herausforderungen wirft selbst daten-
schutzrechtliche Fragen auf und ist bei KI oft technisch
anspruchsvoll.44 Grundsätzlich ist demnach davon aus-
zugehen, dass in allen Phasen des KI-Einsatzes in perso-
nenbezogenen Kontexten wie dem Hochschulbereich
personenbezogene Daten verarbeitet werden. Bei den
oben exemplarisch aufgeführten Einsatzzwecken sind
die betroffenen Personen vorrangig Studierende, wäh-
rend bei anderen Einsatzzwecken auch Beschäftigte be-
troffen sein können.
Perspektivisch (und im Einzelfall auch heute) scheint
es möglich, dem Personenbezug speziell für das KI-Trai-
ning mittels der Verwendung synthetischer Daten aus-
zuweichen. Diese enthalten keine Informationen über
natürliche Personen, weisen aber die für das KI-Training
notwendigen statistischen Eigenschaften auf. Für die Er-
stellung solcher Daten wird echten Datensätzen bei-
spielsweise mittels Techniken der differential privacy
randomisierte Information (noise) hinzugefügt und ein
Datensatz mit annähernd gleichen statistischen Eigen-
schaften generiert.45 Man kann jedoch nicht pauschal da-
von ausgehen, dass die Schwelle der DS-GVO zum Per-
sonenbezug durch ein verbleibendes Risiko der Re-Iden-Seckelmann/Horstmann · Künstliche Intelligenz im Hochschulbereich und Datenschutz 1 7 5
46
Überblick mwN bei Beduschi (Fn. 45).
47
Vgl. Winter/Battis/Halvani (Fn. 44), 493.
48
Für die Fes tlegung von prinzipienartigen Richtlinien für syntheti-
sche Daten Beduschi (Fn. 45).
49
Vgl. EuGH, 29.7.2019, C‑40/17 — Fashion ID Rn. 75ff.
50
EuGH, 7.12.2023, C‑634/21 — Schufa Holding (Scoring) = NJW
2024, 413 Rn. 67 mwN.
51
Schantz in BeckOK DatenschutzR, 46. Ed. Stand 1.11.2022, Art. 5
DS-GVO Rn. 2.
52
Schantz in BeckOK DatenschutzR, 46. Ed. Stand 1.11.2021,
Art. 5 DS-GVO Rn. 8.
53
Krügel/Pfeiffenbring in Datenschutzrechtliche Herausforderungen
von KI in Ebers/Heinze/Krügel/Steinrötter, Küns tliche Intelligenz
und Robotik (2020), § 11 Rn. 22.
54
Malgieri, FAT* ’20, 154 (169).
55
Bayamlioglu, EDPL 2018, 433 (435–438).
56
Prägnant Pasquale, The Black Box Society — The Secret Algo-
rithms That Control Money and Information (2016), S. 15 am
Beis piel des Finanzsektors: „patina of inevitability“. Vgl. Auch
Wischmeyer (Fn. 12), 21.
tifizierung bei synthetischen Daten nicht überschritten
wird.46 Zudem scheinen Aufwand und technische Reife
den flächendeckenden Einsatz noch nicht zu ermögli-
chen.47 Es kommt hier darauf an, mit verfeinerter Tech-
nik eine präzise Balance zwischen der Begrenzung von
Informationsverlust und Identifizierungsrisiken herzu-
stellen und diese rechtlich abzusichern. Unabhängig
vom Personenbezug stellen sich bei diesen Techniken
Fragen von Transparenz und Fairness, umso mehr mit
Blick auf einen späteren, personenbezogenen Einsatz.48
Auch wenn sie nicht zwingend den Personenbezug
ausschließen, sind die Erkenntnisse in diesem
Bereich bei der Festlegung geeigneter
technisch-organisatorischer Datenschutzmaßnahmen
(Art. 24 Abs. 1, 32, 35 Abs. 7 lit. d) DS-GVO) zu
berücksichtigen.
Persönlich treffen datenschutzrechtliche Pflichten
v.a. den Verantwortlichen. Dies ist laut
Art. 4 Nr. 7 DS-GVO die natürliche oder juristische Per-
son, Behörde, Einrichtung oder andere Stelle, die allein
oder gemeinsam mit anderen über die Zwecke und Mit-
tel der Verarbeitung von personenbezogenen Daten ent-
scheidet. Da es auf die Entscheidung über Zwecke und
Mittel der Verarbeitung ankommt, schließt die Auslage-
rung der Verarbeitung selbst an eine andere Stelle wie bei
der Auftragsverarbeitung (Art. 4 Nr. 8 DS-GVO) die
Verantwortlichkeit nicht aus. Entschließt sich die Hoch-
schule, eine bestimmte KI-Anwendung, bei deren Ein-
satz personenbezogene Daten verarbeitet werden, für
ihre Zwecke – insbesondere die Ergänzung bestimmter
Lehrtätigkeiten – einzusetzen, so entscheidet sie damit
idR über die Zwecke und Mittel der Datenverarbeitung
im Einsatz. Für die zuvor zwecks KI-Training geschehe-
ne Datenverarbeitung ist die Hochschule hingegen nur
verantwortlich, wenn sie dieses Training selbst durchge-
führt oder beauftragt hat. Manche Drittanbieter verar-
beiten die im KI-Einsatz von der Hochschule erhobenen
personenbezogenen Daten allerdings auch zu Zwecken
des fortwährenden KI-Trainings. Wenn dies nicht ausge-
schlossen ist, erscheint eine Verantwortlichkeit der
Hochschule grundsätzlich auch für ihren tatsächlichen
Veranlassungsbeitrag hierzu möglich, nämlich die Erhe-
bung und Übermittlung der Daten.49
b) Datenschutzgrundsätze des Art. 5 DS-GVO
Das Herzstück der materiellen Vorgaben der DS-GVO
sind die Datenschutzgrundsätze des
Art. 5 Abs. 1 DS-GVO. Sie sind bei jeder Datenverarbei-
tung zu beachten50 und auch bei der Umsetzung der spe-
ziellen Pflichten zu berücksichtigen, wenn diese einen
Interpretationsspielraum lassen, z.B. bei der Bestim-
mung der Speicherdauer von personenbezogenen
Daten.51
Besondere Probleme im Zusammenhang mit KI wer-
fen insbesondere die Grundsätze der Verarbeitung nach
Treu und Glauben (engl. fairness), Transparenz und
Zweckbindung auf.
Der Grundsatz von Treu und Glauben erfordert eine
Rücksichtnahme auf die Interessen der betroffenen Per-
son52 und ihre legitimen Erwartungen.53 Im Zusammen-
hang mit KI wird betont, dass dies neben einer gewissen
Transparenz auch impliziere, bei der Gestaltung der Ver-
arbeitung besonders ihre Auswirkungen auf betroffene
Personen (wie z.B. Diskriminierung) unter Berücksich-
tigung der speziellen Umstände sowie Machtasymmetri-
en abzuschätzen und die Datenverarbeitung dem ange-
messen zu gestalten.54 Machtasymmetrien können sich
v.a. aus der geringen Nachvollziehbarkeit von KI-Out-
puts sowie aus einem Mangel an Einblick in, aber auch
bereits Überschaubarkeit der einer KI zugrunde gelegten
Annahmen, Daten, Korrelationen und Schlüsse für die
betroffenen Personen ergeben.55 Auch die scheinbare
Objektivität und eingeschränkte Angreifbarkeit der Er-
gebnisse von KI-Systemen sind hier zu nennen.56
Für den eng mit dem Grundsatz von Treu und Glau-
ben verbundenen Transparenzgrundsatz bestehen vor-
dringlich ähnliche Herausforderungen aufgrund der
Black-Box-Problematik. Transparenzpflichten durchzie-
hen die DS-GVO, insbesondere in Form der Informa-
tions- und Auskunftspflichten (Art. 13–15 DS-GVO). Für
KI sind besonders die Pflichten zur Bereitstellung von
aussagekräftigen Informationen zur involvierten LogikO R D N U N G D E R W I S S E N S C H A F T 3 ( 2 0 2 4 ) , 1 6 9 — 1 8 4
1 7 6
57
Als ers te Auswahl und mwN s. Edwards/Veale, 16 Duke L. &
Tech. Rev. (2017), 18 (54ff.); Malgieri/Comandé, IPDL 2017, 243;
Kumkar/Roth-Isigkeit, JZ 2020, 277 (283ff.).
58
Grundlegend Wachter/Mittels tadt/Floridi, IDPL 2017, 76; Ed-
wards/Veale (Fn. 57), 44ff.; optimis tischer Goodman/Flaxman, AI
Mag 2017, 50 (55); Selbs t/Powles, IDPL 2017, 233. Einen weiteren
Anwendungsbereich bietet jedoch das „Recht auf Erklärung“ bei
Hochrisiko-KI-Systemen im neuen Art. 86 KI-VO.
59
Edwards/Veale (Fn. 57), 65ff.; Dreyer/Schulz (Fn. 35), S. 26f.
60
Vgl. Hornung (Fn. 34), S. 100; mit mwN auch Krügel/Pfeiffenbring
(Fn. 53), § 11 Rn. 24.
61
Laut HmbBfDI (Fn. 29), S. 2 fehlt zudem idR eine Rechtsgrund-
lage.
62
Treffend De Laat, (Fn. 32), 530: „[…]any account of how an
algorithm has been cons truc ted, cannot do without an account
of how datasets have been used in the process (say, as concerns
possibly biased data). So accounting for machine learning models
can only make sense if all phases are taken into account.”
63
Krügel in Krügel/Schmieder NDSG, 1. Aufl. 2023, § 12 Rn. 10.
64
Erns t in Paal/Pauly, 3. Aufl. 2021, Art. 4 DS-GVO Rn. 78.
bei automatisierter Entscheidungsfindung (Art. 13 Abs. 2
lit. f), 14 Abs. 2 lit. g), 15 Abs. 1 lit. h) DS-GVO) relevant.
Sie bieten im Lichte des Transparenzgrundsatzes (sowie
des Grundsatzes von Treu und Glauben) angewendet
Potenzial, die inhärenten Transparenz- und Bestreitbar-
keitsdefizite von KI zu adressieren. Dabei wird eine Viel-
zahl von Formen der Transparenz und benachbarten
Konzepten diskutiert.57 Das Potenzial ist aber angesichts
von Beschränkungen und Streitigkeiten bezüglich des
Anwendungsbereichs und Inhalts der genannten Pflich-
ten stark begrenzt.58 Zugleich ist Transparenz kein All-
heilmittel für die Wahrung der dahinterstehenden
Schutzgüter wie Autonomie oder Nichtdiskriminierung,
da die Wirkungsmechanismen komplex sind und Trans-
parenz häufig nicht zu selbstbestimmtem Handeln führt
oder das Erkennen gruppenbezogener Benachteiligun-
gen erlaubt.59
Der Grundsatz der Zweckbindung wird bei KI insbe-
sondere dadurch infrage gestellt, dass potenziell alle Da-
ten wertvolle Trainingsdaten für die Weiterentwicklung
eines Systems oder das Training neuer Systeme darstel-
len.60 Doch der Zweckbindungsgrundsatz fordert, dass
personenbezogene Daten nur verarbeitet werden, wenn
und soweit dies für den ursprünglichen Zweck ihrer Er-
hebung erforderlich ist. Zwar gelten Ausnahmen
(s. Art. 6 Abs. 4 DS-GVO), die sog. Zweckvereinbarkeit
ist aber insbesondere aufgrund einer fehlenden Verbin-
dung des KI-Trainings zum ursprünglichen Zweck (idR
Durchführung der Lehre) fraglich.61 Insbesondere hat
die Hochschule daher darauf zu achten, ob Anbieter von
KI-Systemen, die zum Zweck der Hochschullehre einge-
setzt werden, Daten auch für eigene Zwecke, z.B. für das
Training verwenden und dies möglichst auszuschließen.
Eine (Teil-)Verantwortlichkeit der Hochschule für diese
zweckändernde Datenverarbeitung ist dabei nämlich
idR schwierig auszuschließen (s. oben).
Den Verantwortlichen trifft darüber hinaus nach
Art. 5 Abs. 2 DS-GVO eine Rechenschaftspflicht für die
Einhaltung der Datenschutzgrundsätze. Herausfordernd
ist dies insbesondere beim Rückgriff auf Drittanbieter, in
deren Datenverarbeitung die Hochschule selbst nur ei-
nen begrenzten Einblick hat.
Erneut sei hier auf die Verschränkung von Trainings-
phase und KI-Einsatz hingewiesen, die auch Bedeutung
iRd Datenschutzgrundsätze erlangt. Besonders betrifft
dies die Grundsätze der Transparenz und der Rechen-
schaftspflicht, die häufig die Berücksichtigung der Ge-
staltung des KI-Systems erfordern.62 Perspektivisch
könnten die Pflichten zur Dokumentation und Transpa-
renz für die Anbieter von Hochrisiko-KI-Systemen
(Art. 11, 13 KI-VO) für die datenschutzrechtlich Verant-
wortlichen die Berücksichtigung von gestalterischen
Vorentscheidungen bei der Erfüllung ihrer eigenen
Pflichten ermöglichen. Im Übrigen ist besonders die Re-
chenschaftspflicht bei der Auswahl von Dienstleistern
und dem Abschluss entsprechender Verträge zu
berücksichtigen.
c) Rechtsgrundlagen
Nach Art. 6 Abs. 1 UAbs. 1 DS-GVO erfordert jede Ver-
arbeitung personenbezogener Daten eine der dort aufge-
führten Rechtsgrundlagen. Da die Öffnungsklausel in
Art. 6 Abs. 2, 3, Art. 89 DS-GVO nur die Verarbeitung zu
„wissenschaftlichen und historischen Forschungszwe-
cken” erfasst, sind die davon Gebrauch machenden mit-
gliedstaatlichen Regelungen zugunsten der Lehre nicht
anwendbar.63
Für den KI-Einsatz in der Lehre kommt daher zu-
nächst die Einwilligung der betroffenen Person, idR Stu-
dierende, nach Art. 6 Abs. 1 UAbs. 1 lit. a) DS-GVO in
Betracht. Dafür muss die betroffene Person nach
Art. 4 Nr. 11 DS-GVO freiwillig für den bestimmten Fall,
in informierter Weise und unmissverständlich eine Wil-
lensbekundung abgeben, dass sie mit der Datenverarbei-
tung einverstanden ist. Problematisch ist bei KI die Be-
stimmtheit für den konkreten Fall. Diese muss hinrei-
chend konkret mindestens die involvierten Stellen, ver-
arbeiteten Daten und die verfolgten Verarbeitungszwecke
in Bezug nehmen (ErwG 32 DS-GVO).64 Werden bei der
Nutzung von KI im Hochschulkontext neben den für
diese Nutzung selbst erforderlichen Datenverarbeitun-
gen zusätzliche Verarbeitungen durch Dritte vorgenom-
men, z.B. aufgrund der Nutzung von Drittanbieter-KI,
bei der Nutzungsdaten für das weitere Training verwen-Seckelmann/Horstmann · Künstliche Intelligenz im Hochschulbereich und Datenschutz 1 7 7
65
Frenzel in Paal/Pauly, 3. Aufl. 2021, Art. 7 DS-GVO Rn. 19.
66
Vgl. Patzke in Epping NHG, 2. Aufl. 2024, § 3 Rn. 10 zu neuen
Lehrmethoden und E‑Learning.
67
Vgl. Günther/Gerigk/Berger, NZA 2024, 234 mwN.
68
Vgl. Forgó/Graupe in Epping NHG, 2. Aufl. 2024, § 17 Rn. 23.
69
Zu den Regelungss pielräumen Heckmann/Rachut (Fn. 21), 89.
det werden, erscheint es kaum darstellbar, die betreffen-
den Verarbeitungsvorgänge hinreichend bestimmt in die
Einwilligung aufzunehmen. Als weitere Hürde dürfte
das Erfordernis der Freiwilligkeit die Einwilligung als
Rechtsgrundlage in vielen Situationen ausschließen.
Art. 7 Abs. 4 DS-GVO und ErwG 43 konkretisieren die
Voraussetzungen der Freiwilligkeit, wobei insbesondere
ErwG 43 auf ungleiche Ungleichgewichte zwischen be-
troffener Person und Verantwortlichem als Ausschluss-
grund abstellt, für das die Behördenstellung des Verant-
wortlichen als Indiz in der gelten kann. Wenngleich
ErwG 43 trotzdem eine Einzelfallprüfung nahelegt, ist
die Freiwilligkeit gegenüber einer Behörde ein Ausnah-
mefall.65 Die Freiwilligkeit ist damit v.a. dann zu vernei-
nen, wenn die Hochschule in hoheitlicher Tätigkeit oder
deren Vorbereitung handelt wie etwa bei Prüfungen,
aber angesichts der Bedeutung des Studienabschlusses
für die Lebensgestaltung und Wahrnehmung grund-
rechtlicher Freiheiten auch, wenn die Teilnahme an dem
mit der Datenverarbeitung verbundenen Angebot essen-
ziell ist, um ohne wesentliche Verlängerung der Studien-
dauer oder Einbußen bei der Benotung einen Studienab-
schluss zu erreichen. Schließlich ist die Einwilligung je-
derzeit widerruflich (Art. 7 Abs. 3 DS-GVO), was sie für
eine ihrem praktischen Zweck nach dauerhafte oder mit
Interessen der betroffenen Person potenziell konfligie-
rende Datenverarbeitung (beispielsweise zu Prüfungs-
zwecken) nicht sinnvoll erscheinen lässt.
Denkbar ist eine Einwilligung in der Hochschullehre
insbesondere für Zusatzangebote in der Lehre wie z.B.
optionale Kursangebote, die für die Erreichung von be-
rufsqualifizierenden Abschlüssen keine notwendige Vo-
raussetzung sind. Je stärker der Studienerfolg aber durch
derartige Angebote beeinflusst wird, desto eher kann es
jedoch zu psychologischen und ökonomischen Drucksi-
tuationen kommen, die die Freiwilligkeit der Einwilli-
gung infrage stellen.
Hochschulen nehmen grundsätzlich Aufgaben im öf-
fentlichen Interesse wahr, sodass idR und vorzugswürdig
eine Rechtsgrundlage nach Art. 6 Abs. 1 UAbs. 1 lit. e)
DS-GVO in Betracht kommt, die sich nach Ab. 3 aus
dem Unions- oder mitgliedstaatlichen Recht ergeben
muss. Einschlägige Regelungen bieten die Landeshoch-
schul- und Landesdatenschutzgesetze. § 17 Abs. 1, 4 NHG
erlaubt den niedersächsischen Hochschulen neben wei-
teren Zwecken etwa u.a. die Verarbeitung von personen-
bezogenen Daten, die für die Einschreibung, die Teil-
nahme an Lehrveranstaltungen und Prüfungen, die Nut-
zung von Hochschuleinrichtungen Hochschulmitglie-
dern erforderlich und durch Ordnungen festgelegt sind,
wobei § 17 Abs. 3 NHG die Verarbeitung dieser Daten ge-
neralklauselartig auch für die Erfüllung anderer Aufga-
ben nach § 3 NHG erlaubt. Eine mittelbare Beschrän-
kung dürfte sich aus den lehrbezogenen Aufgaben der
Hochschule ergeben, die nach § 3 NHG insbesondere
”die Vorbereitung auf berufliche Tätigkeiten, die die An-
wendung wissenschaftlicher Erkenntnisse und Metho-
den oder die Fähigkeit zu künstlerischer Gestaltung vor-
aussetzen” (Nr. 2), umfassen. Zu beachten ist, dass die
vermittelten Erkenntnisse und Methoden wissenschaft-
lich sein oder die Fähigkeit zur künstlerischen Gestal-
tung betreffen müssen. Von einer wissenschaftlich-me-
thodischen Vorgehensweise ist freilich auch die Erpro-
bung neuer Formate und Medien umfasst,66 ein KI-Ein-
satz allein zwecks Neuigkeitswerts oder „Show-Effekts“
könnte im Einzelfall problematisch sein. Eingedenk der
Lehrfreiheit (Art. 5 Abs. 3 GG) ist aber eine weite, die au-
tonomen Gesetzmäßigkeiten der Wissenschaft berück-
sichtigende Auslegung geboten. Darüber hinaus ist zu
beachten, dass auch die Arbeitswelt von der Verbreitung
von KI geprägt wird. Der geschulte Umgang mit (genera-
tiver) KI wird voraussichtlich zu einer Schlüsselanforde-
rung in nahezu allen Tätigkeitsbereichen von Beschäf-
tigten mit wissenschaftlicher oder künstlerischer Ausbil-
dung werden.67 Die Vorbereitung auf entsprechende be-
rufliche Tätigkeiten und die Vermittlung eines
kritisch-methodischen Umgangs mit der Technologie
wird die Hochschullehre daher nur angemessen leisten
können, wenn sie in gewissem Umfang generative KI
einsetzen und den Umgang mit ihr einüben lassen kann.
Die mit dem Einsatz verbundene Datenverarbeitung
muss freilich weiterhin den Datenschutzgrundsätzen
und weiteren Regeln der DS-GVO und dem grundrecht-
lichen Verhältnismäßigkeitsgrundsatz entsprechen.68
Damit ist entscheidend, dass die zu verarbeitenden
Daten gemäß § 17 Abs. 3 NHG in einer universitären
Ordnung in hinreichender Bestimmtheit bezüglich der
Datenarten, der Verarbeitungsverfahren und mit Benen-
nung des jeweiligen Verarbeitungszwecks festgelegt wer-
den. Hinzu treten Bestimmungen zu technisch-organi-
satorischem Datenschutz und zu Löschpflichten. Je nach
Einsatzzweck und Gegebenheiten an der Hochschule
kommen Studienordnungen, Prüfungsordnungen69 oder
gesonderte Ordnungen zum Einsatz von E‑Learning in
Betracht. Aufgrund der oben angesprochenen, grund-
rechtsrelevanten Merkmale von KI scheint es sinnvoll,O R D N U N G D E R W I S S E N S C H A F T 3 ( 2 0 2 4 ) , 1 6 9 — 1 8 4
1 7 8
70
Dies is t an der Erforderlichkeit für den Verarbeitungszweck zu
bemessen, Forgó/Graupe in Epping NHG, 2. Aufl. 2024, § 17
Rn. 38.
71
Beis pielsweise hat der LfDI Baden-Württemberg bei einer Prü-
fung von Microsoft Office 365 in einer für den Schuleinsatz kon-
figurierten Version weiterhin Datentransfers, insbesondere von
Telemetrie- und Diagnosedaten, in die USA fes tges tellt, die nicht
unterbunden werden können, https://www.baden-wuerttemberg.
datenschutz.de/ms-365-schulen-hinweise-weiteres-vorgehen/
(Abruf 6.3.2024). In den Datenschutzhinweisen von OpenAI
heißt es knapp: „Where required, we will use appropriate safe-
guards for transferring Personal Information outside of certain
countries. We will only transfer Personal Information pursuant to
a legally valid transfer mechanism.”, https://openai.com/policies/
privacy-policy (Abruf 6.3.2024).
72
EuGH, 6.10.2015, C‑362/14 — Schrems = NJW 2015, 3151 und
EuGH, 16.7.2020, C‑311/18 — Facebook Ireland und Schrems =
NJW 2020, 2613.
73
Glocker, ZD 2023, 189 (192ff.).
74
Für Beis piele aus der Praxis s. Barros Vale/Zanfir-Fortuna,
Automated Decision-Making Under the GDPR: Prac tical Cases
from Courts and Data Protec tion Authorities (2023), S. 20. Zu
Informations- und Auskunfts pflichten s.a. Sesing, MMR 2021, 288
(289f.).
auch Fragen der Anbieterwahl und der Gewährleistung
von Transparenz der Systeme zu regeln. Besonders zu
beachten ist bei allen gemäß Art. 6 Abs. 1 UAbs. 1 lit. e)
DS-GVO auf die Wahrnehmung einer im öffentlichen
Interesse liegenden Aufgabe gestützten Rechtsgrundla-
gen wie § 17 Abs. 1, 3 NHG, dass betroffene Personen ge-
mäß Art. 21 Abs. 1 DS-GVO unter Vortrag von aus ihrer
besonderen Situation entspringenden Gründen ein uni-
onsrechtlich verankertes Widerspruchsrecht haben.
Schließlich erfordert § 17 Abs. 3 S. 2 NHG die frühest-
mögliche70 Anonymisierung, was bei leistungsstarker KI
mit einer Vielzahl von Eingangsdaten auf die dargestell-
ten Schwierigkeiten stößt. Soweit zudem der Zweck des
KI-Einsatzes die Personalisierung der Lernumgebung
oder der Lerninhalte beinhaltet, wird er idR einen Perso-
nenbezug erfordern. Dies verschiebt den Schutz der be-
troffenen Personen zum Verhältnismäßigkeitsgrundsatz
und zur technischen und organisatorischen Gestaltung
der KI-Systeme und ihres Einsatzes.
d) Übermittlung in Drittstaaten
Gegenüber der Entwicklung eigener Systeme ist die Ver-
wendung von durch Dritte entwickelten KI-Systemen in
aller Regel technisch und wirtschaftlich einfacher. Die
Dominanz von Anbietern aus Drittstaaten führt dazu,
dass es dabei für Hochschulen nahe liegt, für die Einbin-
dung von KI auf diese Anbieter zurückzugreifen, die bis-
weilen personenbezogene Daten in die USA oder andere
Drittstaaten übermitteln.71 Die DS-GVO geht aber davon
aus, dass bei der Übermittlung von Daten an Stellen
außerhalb ihres Anwendungsbereichs ein hinreichendes
Datenschutzniveau nur unter zusätzlichen Bedingungen
angenommen werden kann, die in den
Art 44ff. DS-GVO niedergelegt sind. Für Verantwortli-
che führt dies zu zusätzlichen Unwägbarkeiten und
Anforderungen. Eine Grundlage für Datentransfers stel-
len die Beschlüsse der EU-Kommission über ein ange-
messenes Datenschutzniveau in Drittstaaten dar (Art. 45
DS-GVO). Im Falle der USA sind die dortigen Regelun-
gen jedoch trotz einem Angemessenheitsbeschluss auf
Grundlage von Übereinkommen zu besonderen Daten-
schutzrahmen vom EuGH wiederholt als unzureichende
Grundlage für eine Übermittlung personenbezogener
Daten qualifiziert wurden.72 Die derzeitige Lösung für
Datenübermittlungen in die USA ist das Trans-Atlantic
Data Privacy Framework, bei dem jedoch auch aufgrund
bereits angekündigter Klagen ebenfalls Unsicherheit ver-
bleibt.73
Bei der Auswahl von KI-Systemen ist deshalb sorg-
fältig zu prüfen, ob Datenübermittlungen in Drittstaaten
ausgeschlossen werden können. Auch im Hinblick auf
die technisch-organisatorischen Maßnahmen (dazu un-
ten) scheint es vorzugswürdig, Systeme nach Möglich-
keit per Schnittstelle auf eigenen Servern zu betreiben
oder personenbezogene Daten nur auf dem Gerät der
oder des Nutzenden zu verarbeiten.
e) Profiling und automatisierte Entscheidung im Ein-
zelfall
Einige Anwendungen von KI können im Einzelfall ein
Profiling beinhalten. Dies gilt etwa, wenn personenbezo-
gene Daten analysiert werden, um damit E‑Learning-
Angebote zu personalisieren und mithilfe von Schlüssen
auf Merkmale wie Arbeitsleistung, persönliche Vorlie-
ben oder Interessen z.B. Lernmaterial zu empfehlen oder
das Umfeld auf einer E‑Learning-Plattform zu gestalten.
Eine Analyse solcher Aspekte stellt Profiling iSd
Art. 4 Nr. 4 DS-GVO dar. Dieses ist in der DS-GVO über
diese Definition hinaus nicht speziell geregelt, jedoch
deutet die DS-GVO eine graduelle Steigerung einiger
Pflichten an, wenn Profiling vorliegt.74 Dies gilt insbe-
sondere für Transparenzpflichten. Im Rahmen der
Anwendung unbestimmter Rechtsbegriffe, die insbeson-
dere in Rechtsgrundlagen und Datenschutzgrundsätzen
vorhanden sind, ist ein Profiling als besonders eingriffs-
intensive Datenverarbeitung zu berücksichtigen.
Profiling kann auch in eine automatisierte Entschei-
dungsfindung im Einzelfall gemäß Art. 22 DS-GVOSeckelmann/Horstmann · Künstliche Intelligenz im Hochschulbereich und Datenschutz 1 7 9
75
Zum Zeitpunkt des Einsatzes des Ofqual-Algorithmus im Som-
mer 2020 war das Vereinigte Königreich seit dem 31.01.2020 aus
der Europäischen Union ausgetreten, jedoch galt ihr Inhalt als
UK GDPR soweit ersichtlich bis 31.12.2020 unverändert fort. Im
Zwischenbericht von Ofqual (Fn. 3) finden sich keine rechtlichen
Ausführungen.
76
Eine vertragliche Notwendigkeit, lit. a), scheidet hier ebenso aus
wie eine Einwilligung, lit. c) (s.o.). Allenfalls käme eine gesetzli-
che Regelung, lit. b), in Betracht, die soweit ersichtlich fehlt.
77
Hors tmann/Dalmer, ZD 2022, 260 (263) mwN; zur Kritik Krügel/
Pfeiffenbring (Fn. 53), § 11 Rn. 46ff.
78
EuGH, C‑634/21 — Schufa Holding (Scoring) = NJW 2024, 413,
Rn. 40ff.
79
Krit. Thüsing/Peisker/Musiol, RDV 2023, 82; Taeger, BKR 2024, 41;
Marsch/Kratz, NJW 2024, 392 (393 Rn. 4f.).
80
So die Interpretation bei Heine, NZA 2024, 33 (36).
81
Vgl. dies nur andeutend Heine (Fn. 80), 36: Beurteilung im Ein-
zelfall „anhand der internen Regeln und Praktiken des Verant-
wortlichen”.
82
Diese sind auch in die zum KI-Sys tem gehörige Dokumentation
(Art. 11 iVm Annex IV Nr. 2 (e), 3 KI-VO) sowie die Gebrauchs-
anweisungen (Art. 13 Abs. 3 (d) KI-VO) aufzunehmen.
83
Für eine Einzelfallprüfung des Dazwischentretens bei Entschei-
dungsempfehlungen schon Hors tmann/Dalmer (Fn. 77), 262;
Heine (Fn. 80), 36.
84
So geht Hoeren (Fn. 25), S. 37, jedenfalls davon aus, dass bei einem
Einsatz von KI-Schreibtools in diesem Fall ”datenschutzrechtlich
nichts zu befürchten” sei, geht s päter aber trotzdem auf Art. 22
DS-GVO ein.
85
S. EuGH, 20.12.2017, C‑434/16 — Nowak = ZD 2018, 113 Rn. 30.
übergehen. Eine solche Entscheidungsfindung, wie sie
im Ausgangsbeispiel Ofqual anzunehmen sein dürfte,75
unterliegt den zusätzlichen Rechtmäßigkeitsanforderun-
gen einer speziellen Rechtsgrundlage für die Entschei-
dungsfindung sowie speziellen Schutzmaßnahmen (bei-
spielsweise der Gewährleistung eines Rechts auf Anfech-
tung und menschliche Überprüfung). Derzeit ist keine
der Rechtsgrundlagen aus Art. 22 Abs. 2 DS-GVO für die
Hochschule einschlägig,76 sodass KI-Einsatz im Anwen-
dungsbereich der Regelung ausscheidet. Anwendbar
sind diese Regelungen aber nur dann, wenn eine Ent-
scheidung ausschließlich auf einer automatisierten Ver-
arbeitung personenbezogener Daten beruht und rechtli-
che Wirkung entfaltet oder die betroffene Person in
sonstiger Weise erheblich beeinträchtigt.
Ausgehend vom grundsätzlichen Befund der auto-
matisierten Datenverarbeitung bei KI-Einsatz (III.2.a)
sind das ausschließliche Beruhen einer Entscheidung
darauf und die Wirkungen der Entscheidung für den
Anwendungsbereich ausschlaggebend. Nachdem bislang
– durchaus verbunden mit Kritik – die Anwendbarkeit
dieser Regelungen auf die automatisierte Entscheidungs-
vorbereitung ganz überwiegend verneint wurde,77 hat
der EuGH in seiner jüngsten Entscheidung zum Kredit-
scoring die konzeptionelle Verbindung zwischen Profi-
ling und automatisierter Einzelfallentscheidung unter-
strichen und den Art. 22 DS-GVO für eine graduelle An-
wendung geöffnet.78 Das im Fall betroffene Kreditsco-
ring, eine Form des bewertenden Profilings, kann danach
nicht per se als reine Vorstufe zu einer automatisierten
Entscheidung eingeordnet werden, sondern ist bereits
selbst als Entscheidung iSd Art. 22 DS-GVO anzusehen,
wenn ein vertragsbezogenes Verhalten Dritter, dem das
Ergebnis des Profilings übermittelt wird, maßgeblich da-
von abhängt. Löst das Verhalten des Dritten eine den
Anforderungen von Art. 22 DS-GVO entsprechende
rechtliche Folge oder Beeinträchtigung unmittelbar aus,
wird diese dem Profiling gewissermaßen zugerechnet.79
Das Urteil lässt weitere Schlüsse zu: Insbesondere eröff-
net es die Möglichkeit, dass eine mit KI-Unterstützung
durch einen Menschen getätigte Entscheidung entspre-
chend dem zweiten Tatbestandsmerkmal des
Art. 22 Abs. 1 DS-GVO ausschließlich auf einer automa-
tisierten Verarbeitung beruhend einzustufen ist, wenn
die finale Entscheidung dieses Menschen von der KI von
einer durch KI mittels Profiling oder ähnliche automati-
sierte Datenverarbeitung ermittelten Bewertung maß-
geblich abhängt.80 Damit muss für die Beurteilung eines
die Ausschließlichkeit unterbrechenden menschlichen
Dazwischentretens statt einer formellen Betrachtung
substanziell die Mensch-Maschine-Interaktion unter
Beachtung von Faktoren wie insbesondere der Präsenta-
tionsform des KI-Outputs und ihrer arbeitsvertragli-
chen, betriebsorganisatorischen und arbeitspsychologi-
schen Einbindung betrachtet werden.81 In Zukunft kön-
nen bei Hochrisiko-KI-Systemen dazu die Maßnahmen
herangezogen werden, die das eingesetzte System auf-
grund der Anbieterverpflichtung zur Gestaltung zu-
gunsten wirksamer menschlicher Aufsicht in Art. 14 KI-
VO ermöglicht82 und die nach Art. 26 Abs. 2 KI-VO auch
vom Nutzer umgesetzt worden sind. Die Beurteilung der
Maßgeblichkeit ist von einer sorgfältigen Einzelfallprü-
fung abhängig.83
Nach alledem ist neben offensichtlichen Anwen-
dungsfällen wie der vollautomatisierten Erkennung von
Täuschungsversuchen oder Auswertung von Prüfungs-
leistungen auch beim Einsatz generativer KI für das Ver-
fassen einer Prüfungsbewertung die Anwendbarkeit des
Art. 22 DS-GVO denkbar. Zwar könnte man annehmen,
es fehle an personenbezogenen Daten, wenn lediglich
die Antworten eines Prüflings ohne identifizierende
Merkmale in ein KI-System eingegeben werden,84 doch
dürfte nach EuGH-Rechtsprechung ein Personenbezug
für die Hochschule bestehen, da die Antworten ihrem
Verarbeitungszweck nach für die Bewertung des für sie
identifizierbaren Prüflings verwendet werden.85
Auf dieser Datenverarbeitung kann eine Entschei-
dung nicht erst dann ausschließlich beruhen, wenn dieO R D N U N G D E R W I S S E N S C H A F T 3 ( 2 0 2 4 ) , 1 6 9 — 1 8 4
1 8 0
86
Krügel/Pfeiffenbring (Fn. 53), § 11 Rn. 45 mwN.
87
Krügel/Pfeiffenbring (Fn. 53), § 11 Rn. 45; Günther/Gerigk/Berger
(Fn. 67), 236.
88
Martini in Paal/Pauly, 3. Aufl. 2021, Art. 22 DS-GVO Rn. 27.
89
Heine (Fn. 80), 36.
90
Art.-29-Arbeitsgruppe, WP251rev.01 – Leitlinien zu automatisier-
ten Entscheidungen im Einzelfall einschließlich Profiling für die
Zwecke der Verordnung 2016/679, 6.2.2018, S. 23.
91
Jarass in Jarass, Charta der Grundrechte der EU, 4. Auflage 2021,
Art. 14 Rn. 10.
92
Martini in Paal/Pauly, 3. Aufl. 2021, Art. 22 DS-GVO Rn. 28.
93
Eine Legaldefinition mit der Altersgrenze von 18 Jahren in Art.
4 Nr. 18 des DS-GVO-Kommissionsentwurfs wurde zwar abge-
lehnt, Art. 8 Abs. 1 S. 1 DS-GVO zeigt aber, dass die Altersgrenze
jedenfalls über 16 Jahren liegt (für Volljährigkeit als Grenze
Martini/Nink, NVwZ-Extra 2017, 1 (6 Fn. 53). Auch die Auslegung
im Lichte der GRCh und internationalen Rechts s pricht für diese
Grenze (Frei, Bucerius L. J. 2022, 74 (75)).
94
Dies is t auch die Schlussfolgerung der Art.-29-Arbeitsgruppe
(Fn. 90), S. 31 aus ErwG 71 S. 5, dessen Wortlaut im Kontras t zum
Fehlen eines absoluten Verbots in den verfügenden Teil s teht.
95
Zudem is t zu beachten, dass der Anwendungsbereich des
Hochrisiko-Regimes im KI-VO in Annex III Nr. 3 (b) gegenüber
dem urs prünglichen Kommissionsentwurf auch auf KI-Sys teme
zur Bewertung von Lernergebnissen ausgeweitet wurde, auch
wenn diese Ergebnisse zur Steuerung des Lernprozesses dienen.
korrigierende Person die zu einer Prüfungsleistung ge-
hörenden Antworten vollständig als sog. Prompt eingibt
und die Bewertung der KI unbesehen übernimmt, da
dann ein menschliches Dazwischentreten ausbleibt.
Auch vor der dargelegten EuGH-Entscheidung war es
ganz hM, dass ein dazwischentretender Mensch jeden-
falls eine inhaltliche Prüfung (mit umstrittener Tiefe)
vornehmen und somit von den KI-generierten Ergebnis-
sen abweichen können und dürfen muss.86 Diese Prü-
fungskompetenz muss, wie das EuGH-Urteil bekräftigt,
auch tatsächlich wahrgenommen werden.87 Zentrales
Merkmal des Art. 22 Abs. 1 DS-GVO ist die Entfaltung
rechtlicher Wirkungen oder eine sonstige Beeinträchti-
gung in erheblicher Weise. Eine rechtliche Wirkung ha-
ben Verwaltungsakte wie Immatrikulation oder Exmat-
rikulation. Hängt von einer Prüfungsbewertung der Tat-
bestand eines gebundenen Verwaltungsaktes ab, wie im
Falle des endgültigen Nichtbestehens
(§ 19 Abs. 2 S. 2 Nr. 2 b) NHG), liegt es nahe, schon der
Prüfungsbewertung diese rechtliche Wirkung zuzuord-
nen, da im Anschluss schon rechtlich kein Raum für eine
menschliche Überprüfung in der Sache bleibt. Der un-
bestimmte Rechtsbegriff der sonstigen Beeinträchtigung
in erheblicher Weise bedarf hingegen erheblicher Kon-
kretisierung. Hierbei ist vor allem darauf abzustellen,
wie nachhaltig auf die Position der betroffenen Person
eingewirkt wird.88 Bei der Bewertung der Erheblichkeit
sind Auswirkungen auf Umstände, Verhalten und Ent-
scheidungen der betroffenen Person ebenso zu berück-
sichtigen wie mögliche Diskriminierungen (s. ErwG 71
S. 6 DS-GVO)89 und die Dauer der Auswirkungen.90 Die
Auswirkungen von Prüfungsentscheidungen sind in al-
len Aspekten für die persönliche und berufliche Lebens-
führung beträchtlich. Das Eingangsbeispiel verdeutlicht
dabei, dass Notengebung indirekt auch über den Zugang
zu Bildungseinrichtungen entscheidet. In grundrechtli-
chen Wertungen ausgedrückt kann eine Ungleichbe-
handlung beim Zugang zu Bildungseinrichtungen neben
einer Diskriminierung auch eine Beeinträchtigung des
Rechts auf Bildung aus Art. 14 GRCh darstellen.91 Daher
besteht beim Einsatz von KI in der Prüfung das Risiko
eines zumindest mittelbaren Grundrechtseingriffs durch
algorithmischen Bias. Schließlich ist zu beachten, dass
nicht nur negative Entscheidungen vom
Art. 22 DS-GVO erfasst werden. Vielmehr ist gerade die
Benotung paradigmatisch dafür, dass die binäre Unter-
scheidung zwischen negativen und positiven bzw. belas-
tenden und begünstigenden Entscheidungen für die Be-
urteilung der erheblichen Beeinträchtigung zu schema-
tisch ist.92 Aufgrund dieser Grundrechtsrelevanz über-
schreiten Prüfungsentscheidungen auch ohne die Folge
des endgültigen Nichtbestehens in aller Regel die Schwel-
le der Erheblichkeit.
Weniger eindeutig zu beurteilen sind Leistungs- oder
Lernstandsüberprüfungen ohne Außenwirkungen, bei-
spielsweise Übungsklausuren und Tests, die auch im
Selbststudium auf E‑Learning-Plattformen erfolgen
können. Denkbar ist sowohl die Auswahl und Zusam-
menstellung der Testaufgaben als auch ihre Auswertung
mittels KI. Eine rechtliche Wirkung bleibt hierbei aus.
Auch sind diese Bewertungen nicht unmittelbar mit Fol-
gen für Rechte oder Freiheiten der betroffenen Personen
verbunden. Naheliegend scheint hingegen angesichts des
mit solchen Tests verfolgten didaktischen Zwecks, dass
sie sich über Lernmotivation und Selbstbild der Studie-
renden mittelbar auf den Studienerfolg auswirken. Auch
ist besonders zu berücksichtigen, dass an Hochschulen
regelmäßig minderjährige Studierende betroffen sind.
Diese sind als Kinder iSd DS-GVO zu verstehen93 und
die Regeln des Art. 22 DS-GVO in der Folge strenger zu
handhaben (s. ErwG 71 S. 5).94 Die Anwendbarkeit des
Art. 22 DS-GVO erscheint daher zwar idR fernliegend,
doch nicht vollkommen ausgeschlossen. Dies sollte re-
flektiert werden, wenn über die Einführung entspre-
chender Systeme nachgedacht wird.95 Dies gilt besonders
mit Blick darauf, die bei der Beurteilung der erheblichen
Beeinträchtigung zu berücksichtigenden Biases und Dis-
kriminierungsrisiken abzuschätzen.
Eine neue Qualität würde freilich erreicht, wenn die
Ergebnisse die individuelle Sphäre der Studierenden ver-Seckelmann/Horstmann · Künstliche Intelligenz im Hochschulbereich und Datenschutz 1 8 1
96
EuGH, 7.12.2023, C‑634/21 — Schufa Holding (Scoring) = NJW
2024, 413, Rn. 48–50 verdeutlicht, dass die beeinträchtigende Wir-
kung einer automatisierten Bewertung auch durch menschliches
Verhalten vermittelt werden kann.
97
Letztere is t vom Landesrecht und den Prüfungsordnungen ab-
hängig, s. Hoeren (Fn. 25), S. 36f. Auch das Erfordernis bes timm-
ter, personengebundener Qualifikationen des Prüfenden (dazu
Epping in Epping NHG, 2. Aufl. 2024, § 24 Rn. 50) kann den
KI-Einsatz mittelbar einschränken.
98
Zu diesem Risiko auch HmbBfDI (Fn. 29), S. 4f.
99
Dreyer/Schulz (Fn. 35), S. 39.
ließen und beispielsweise genutzt würden, um Lehrende
auf Defizite individueller Studierender hinzuweisen oder
Studierende direkt bestimmten Kursangeboten zuzuwei-
sen. Ein solcher didaktischer Einsatz nähert sich dem
Einsatz zu Prüfungszwecken an und die vorhandene Au-
ßenwirkung könnte in vielen Fällen den Anwendungs-
bereich des Art. 22 DS-GVO eröffnen.96
Soll andersherum die Möglichkeit der Teilnahme an
einem Kursangebot – sei es zur Auswahl förderungsbe-
dürftiger oder besonders leistungsfähiger Kursteilneh-
mender – ohne wesentliche menschliche Mitwirkung
vom Ergebnis eines KI-Systems abhängen, ist
Art. 22 DS-GVO vollumfänglich einschlägig. Vorzugs-
würdig erschiene es in dieser Hinsicht, Selbstüberprü-
fungen mithilfe von KI zu ermöglichen, das Aufsuchen
von Unterstützungsangeboten aber den Studierenden
selbst anheimzustellen. Auf diese Weise können mögli-
che Vorteile von KI bei der Allokation von Lehrangebo-
ten mit datenschutzrechtlichen Anforderungen verein-
bart werden.
Zusammenfassend ist eine vollständige Delegation
der Bewertung von Prüfungsleistungen an ein KI-Sys-
tem damit mangels entsprechender Rechtsgrundlagen
aus Art. 22 Abs. 2 DS-GVO und auch prüfungsrechtlich
idR ausgeschlossen.97 Die Verwendung als rein sprachli-
che Formulierungshilfe oder zur ergänzenden Überprü-
fung der eigenen Einschätzung schließt dieser Befund
hingegen auch für Einsatzzwecke über der Erheblich-
keitsschwelle des Art. 22 Abs. 1 DS-GVO nicht aus, so-
lange die menschliche Beurteilung maßgeblich bleibt. Je
stärker sich aus einem KI-generierten Ergebnis eine in
sich bereits abgeschlossene und vollständige Bewertung
ergibt und je intransparenter diese zustande kommt,98
desto eher sind systemgestalterische und arbeitsorgani-
satorische Maßnahmen zu treffen, die eine Wahrneh-
mung der inhaltlichen Prüfungskompetenz durch die
Lehrenden auch de facto sicherstellen. Bei Tests mit rein
didaktischer Zielsetzung, die nicht die Sphäre des Selbst-
studiums verlassen, ist eine Einzelfallprüfung notwen-
dig. Didaktische Anwendungen, die Lernmaterial aufbe-
reiten und präsentieren, überschreiten die Erheblich-
keitsschwelle des Art. 22 DS-GVO idR nicht – dennoch
sollten mögliche Risiken, beispielsweise durch Biases,
ungleiche Ausgangsbedingungen für Studierende bezüg-
lich der effektiven Anwendung oder die Wahrnehmung
von KI-Vorschlägen als besonders objektiv oder autori-
tativ (sog. automation bias) vorab reflektiert werden.
Ergänzt werden diese Regelungen der DS-GVO in
Zukunft um die Vorgaben aus den
Art. 14, 26 Abs. 2 KI-VO. Danach müssen Anbieter von
Hochrisiko-KI-Systemen diese so gestalten, dass sie
während ihres Einsatzes eine wirksame menschliche
Aufsicht erlauben (Abs. 1). Diesem Ziel dienen je nach
Risiko, Autonomielevel und Kontext die technische
Konstruktionsweise (Abs. 3 a)) und die Identifizierung
von im Einsatz umzusetzenden Maßnahmen (Abs. 3 b)).
Die in Art. 14 Abs. 4 KI-VO aufgezählten Anforderun-
gen dahingehend, zu welchen konkreten Formen von
Aufsicht die KI-Systeme die beaufsichtigenden Men-
schen befähigen müssen, dürften auch die Gewährleis-
tung menschlichen Eingreifens beim Einsatz von Drit-
tanbieter-KI in der Entscheidungsfindung erleichtern.
Die Nutzer, hier die Hochschulen, trifft auch nach der
KI-VO die Pflicht, diese Maßnahmen entsprechend den
Gebrauchsanweisungen umzusetzen und für eine ent-
sprechende Kompetenz, Schulung und Berechtigung so-
wie notwendige Unterstützung der beaufsichtigenden
Menschen zu sorgen (Art. 26 Abs. 1, 2 KI-VO). Die Wir-
kung dieser technikbezogenen Vorschriften für die prak-
tische Umsetzung der DS-GVO sollte nicht unterschätzt
werden. Dies gilt nicht nur für ein menschliches Dazwi-
schentreten während der Entscheidungsfindung, son-
dern auch für die menschliche
Überprüfung bei erlaubten automatisierten
Entscheidungen im Rahmen des gemäß
Art. 22 Abs. 2 lit. b) iVm ErwG 71 S. 4, Abs. 3 DS-GVO zu
gewährleistenden Anfechtungsrechts.
f) Technisch-organisatorischer Datenschutz und Da-
tenschutz-Folgenabschätzung
Ein großer Teil der konkreten Auswirkungen und Risi-
ken des KI-Einsatzes lässt sich auf Fragen zurückführen,
die durch die Inbezugnahme der personenbezogenen
Daten des Einzelnen nur unzureichend adressiert wer-
den – etwa solche der verwendeten statistisch-mathema-
tischen Methoden, impliziter Annahmen und der Validi-
tät und Legitimität gruppenbezogener Schlussfolgerun-
gen. Daher ist der klassische Ansatz des individuellen
Schutzes in Bezug auf konkrete Verarbeitungstätigkeiten
in seiner Steuerungskraft bei KI begrenzt.99 Das lässt
technische, organisatorische und system- statt verarbei-
tungsbezogene Vorgaben des Datenschutzrechts anO R D N U N G D E R W I S S E N S C H A F T 3 ( 2 0 2 4 ) , 1 6 9 — 1 8 4
1 8 2
100
Art.-29-Arbeitsgruppe, WP248 Rev. 01 — Leitlinien zur Daten-
schutz-Folgenabschätzung (DSFA) und Beantwortung der Frage,
ob eine Verarbeitung im Sinne der Verordnung 2016/679 „wahr-
scheinlich ein hohes Risiko mit sich bringt”, S. 10ff.
101
Hierbei sind KI‑s pezifische Angriffsrisiken zu berücksichtigen, s.
u.a. Veale/Binns/Edwards (Fn. 43); Boenisch (Fn. 43).
102
FAQ: Enterprise privacy at OpenAI (Fn. 18).
103
Forschung & Lehre: Ers te Hochschulen bieten ChatGPT an, htt-
ps://www.forschung-und-lehre.de/management/ers te-deutsche-
hochschulen-bieten-chatgpt-an-6040 (Abruf 29.02.2024).
104
Datenschutzerklärung zu HAWKI: GPT für die Hochschule,
https://ai.hawk.de/views/datenschutz.html (Abruf 29.02.2024).
105
Analog empfiehlt der HmbBfDI (Fn. 29), S. 2, aus diesen Grün-
den die Bereits tellung diens tlicher Konten für Mitarbeitende.
Bedeutung gewinnen. Diese dürften mit den technik-
rechtlichen Anforderungen der KI-VO in der Umset-
zung die größten Synergien aufweisen und in der
Schutzwirkung ergänzen.
Eine Pflicht zur Datenschutz-Folgenabschätzung
(DSFA, Art. 35 DS-GVO) liegt bei vielen Einsatzmög-
lichkeiten von KI nahe, insbesondere bei profilingähnli-
chen Analysen oder Bewertungen oder dem Einsatz von
nach dem Stand der Technik neuen Technologien. Da an
der Hochschule mit Studierenden, insbesondere bei
Minderjährigkeit und in Prüfungssituationen, beson-
ders schutzbedürftige Personen betroffen sind, ist in ei-
nem solchen Fall aufgrund der Kombination zweier Risi-
ko-Indikatoren auch nach Meinung der Aufsichtsbehör-
den in den meisten Fällen die DSFA gemäß
Art. 35 Abs. 1 DS-GVO obligatorisch.100 Die DSFA ist vor
dem Beginn des KI-Einsatz nach den Maßgaben des
Art. 35 Abs. 7–11 DS-GVO durchzuführen. Zukünftig
bietet es sich an, sie gemeinsam mit der ggf. nach Art. 27
KI-VO verpflichtenden Abschätzung der Grundrechts-
auswirkungen vorzunehmen.
Zentral für den technischen und organisatorischen
Datenschutz sind die Art. 24, 25, 32 DS-GVO. Der Ver-
antwortliche hat danach unter Berücksichtigung des
Stands der Technik, der Kosten und der spezifischen
Merkmale und Umstände der Verarbeitung sowie der
(ggf. im Rahmen der DSFA ermittelten) damit verbun-
denen Risiken technische und organisatorische Maß-
nahmen zur wirksamen Umsetzung der Datenschutz-
grundsätze und des Schutzes der betroffenen Personen
zu ergreifen. Die Orientierung an den Datenschutz-
grundsätzen, insbesondere der Datenminimierung und
der Zweckbindung, zeigt dabei die Stoßrichtung der
Maßnahmen nach Art. 25 DS-GVO auf, während
Art. 32 DS-GVO v.a. Datensicherheitsmaßnahmen er-
fordert.101 Insbesondere bei der Einbindung von KI-Sys-
temen auf E‑Learning-Plattformen oder sonstiger Nut-
zung mit einem personengebundenen Konto sind daten-
schutzfreundliche Voreinstellungen (Art. 25 Abs. 2 DS-
GVO) vorzunehmen, wozu eine pseudonyme
Nutzungsmöglichkeit gehören kann. Aber schon in der
Systemgestaltung ist der Datenschutz zu berücksichti-
gen. Letztlich spricht dies für die Auswahl und Gestal-
tung von datensparsamen KI-Systemen und die Nutzung
einer möglichst geringen Zahl an personenbezogenen
Parametern gemessen am Einsatzzweck.
Ein Datenschutzniveau im Sinne dieser Vorgaben
kann erreicht werden, wenn die Hochschule die Nut-
zung von KI-Angeboten über eine Schnittstelle (API)
mittels hochschulgebundener Konten bzw. Anwendun-
gen ermöglicht. Das Beispiel von ChatGPT verdeutlicht
dies: Durch den Anbieter OpenAI werden in diesem Fall
laut eigener Beschreibung keine eingegebenen Daten für
das Training verwendet und die Identität der Nutzenden
ist OpenAI nicht bekannt.102 Erste deutsche Hochschu-
len bieten deshalb bereits eine solche Nutzung von
ChatGPT für ihre Studierenden an.103 Dabei werden ne-
ben den für die Website-Bereitstellung technisch erfor-
derlichen Log-Files lediglich personenbezogene Login-
Daten eingegeben, um die Zugangsberechtigung zu
überprüfen.104 Unklar bleibt dabei, was mit bei der Nut-
zung anfallenden Nutzungs- und Metadaten geschieht.
Nutzen die Studierenden hingegen — freilich idR außer-
halb der rechtlichen Verantwortlichkeit der Hochschule
- private Konten zu studienbezogenen Zwecken, besteht
aber auch dieser Schutz nicht, zudem kann es durch Ver-
bindung studienbezogener und privater Informationen
zu einem tieferen Eingriff in das Privatleben kommen.105
Daher erscheint es auch unter diesem Gesichtspunkt
sinnvoll, klare Regelungen für den Einsatz von (generati-
ver) KI in der Lehre in universitäre Ordnungen aufzu-
nehmen, die den Einsatz unter der Voraussetzung einer
solchen datenschutzfreundlichen Gestaltung ermögli-
chen. Eingedenk der obigen Feststellung, dass auch For-
schende proaktiv den Einsatz von KI als Arbeitsmittel
erproben, können entsprechende APIs zur Verbesserung
des Datenschutzes (sowie des Schutzes forschungsbezo-
gener Geheimhaltungsinteressen) auch für Forschende
bereitgestellt werden.
V. Fazit und Ausblick
Mit der Verbreitung von KI kommt es auch den Hoch-
schulen zu, die Potenziale des KI-Einsatzes in ihren Auf-
gabenbereichen aufzunehmen und insbesondere die
Einbindung von KI in die Lehre kurz- bis mittelfristig
aktiv zu gestalten. So können sie ihre ausbildungsbezo-
genen Aufgaben in einem absehbar von KI geprägtenSeckelmann/Horstmann · Künstliche Intelligenz im Hochschulbereich und Datenschutz 1 8 3
106
Zumal solcher, die die in Zukunft zu gewährleis tende, effektive
menschliche Aufsicht über Hochrisiko-KI-Sys teme übernehmen
werden (Art. 14, 26 Abs. 2 KI-VO).
107
Purtova (Fn. 42).
Umfeld adäquat erfüllen. Denn der wissenschaftlich
geschulte, d.h. methodische und kritische, Umgang mit
KI-Anwendungen ist nicht nur Teil beruflicher Anforde-
rungen an Hochschulabsolventen,106 sondern auch der
persönlichen Entfaltung und demokratischen Teilhabe
in einer immer stärker von Algorithmen geprägten
Gesellschaft förderlich. Diesen Blick auf die Entwicklung
nimmt der europäische Gesetzgeber wenigstens in
Ansätzen normativ auf, indem er den im Bildungsbe-
reich oft einschlägigen Anforderungen an Hochrisiko-
KI in der KI-VO Forderungen nach Digitalkompetenzen
und AI literacy zur Seite stellt
(u.a. ErwG 20, 91, 165, Art. 4, 95 KI-VO). Wer wäre in
einer besseren Position zur Verwirklichung dieser For-
derung als die Hochschulen?
Das heißt nicht, allen durch KI geweckten Erwartun-
gen eilig zu entsprechen. Klare Grenzen für unerwünsch-
te Formen der Automatisierung liefert das Datenschutz-
recht, insbesondere mit dem Verbot der automatisierten
Entscheidung im Einzelfall und zumal bei Betroffenheit
schutzbedürftiger Gruppen. Darüber hinaus aber gibt
das Datenschutzrecht, ebenso wie die künftige KI-Regu-
lierung, Verantwortlichen einen Gestaltungsauftrag für
einen grundrechtskonformen und abgewogenen KI-Ein-
satz, den erste Hochschulen bereits angenommen haben.
Technik- und systembezogene Vorgaben spielen dabei
eine herausgehobene Rolle. Mit Verweis auf das Ein-
gangsbeispiel sei aber daran erinnert, dass KI-Lösungen
an der Hochschule auch jenseits rein technischer Gestal-
tungsoptionen offen für Kritik und Partizipation sowie
die Wahrnehmung autonomer Handlungsspielräume
gestaltet werden müssen. Im Datenschutzrecht bieten
dabei vor allem die Datenschutzgrundsätze die materiel-
le Orientierung. Doch auch wenn man die Relevanz des
Datenschutzrechts nicht abstreiten kann, ist es kein „Law
of Everything”107 für Fragen des KI-Einsatzes. Den im
Hochschulbereich betroffenen Grundrechten und ande-
ren einfachrechtlichen Vorgaben muss daher in ihrem
Zusammenspiel mit dem Datenschutzrecht entspre-
chende Aufmerksamkeit gelten. In Zukunft wird zudem
die KI-VO häufig neben der DS-GVO Anwendung fin-
den und wichtige Qualitäten der KI-Systeme und ihres
Einsatzes prägen, etwa bei Transparenz und Erklärbar-
keit sowie Schutz vor Biases und Diskriminierung.
Konkret können Hochschulen in ihren Satzungen
Regelungen zur Ermöglichung des KI-Einsatzes festle-
gen. Dabei bieten sich neben den gesetzlich notwendi-
gen datenschutzrechtlichen Regelungen auch Gestal-
tungs- und Verfahrensvorschriften an. Zu berücksichti-
gen ist, dass personenbezogene Daten in der digitalen
Gesellschaft nicht mehr lediglich für die organisatori-
sche Durchführung der Hochschullehre notwendig sind
(so wie es den gesetzlichen Rechtsgrundlagen wie § 17
NHG noch erkennbar zugrunde liegt), sondern faktisch
auch beim eigentlichen Lehren und Lernen mit digitalen
Mitteln eine Rolle spielen.
Prof. Dr. Margrit Seckelmann ist Professorin für Öffent-
liches Recht und das Recht der digitalen Gesellschaft
an der Leibniz Universität Hannover (Institut für
Rechtsinformatik).
Dipl.-Jur. Jan Horstmann ist wissenschaftlicher Mitar-
beiter am Institut für Rechtsinformatik, Leibniz Univer-
sität Hannover.O R D N U N G D E R W I S S E N S C H A F T 3 ( 2 0 2 4 ) , 1 6 9 — 1 8 4
1 8 4