Bibliometrische Indizes, wie der Hirschfaktor (H‑Index), reichen alleine nicht aus, um geeignete Bewerber für eine Professur im Bereich Industrie 4.0 und der Technik- wissenschaften auszuwählen. Deshalb haben der For- schungsbeirat und die Forschungspartner in dem vom Bundesministerium für Bildung und Forschung (BMBF) geförderten Projekt Evalitech eine neue Metrik mit zahl- reichen Indikatoren entwickelt, die Berufungskommissi- onen zukünftig bei der Bewerberauswahl unterstützen können.
I. Einleitung
Aktuell ist die Auswahl qualifizierter Bewerberinnen und Bewerber für Professuren und wissenschaftlich- technische Führungspositionen im Bereich Industrie 4.0 (I4.0) eine Herausforderung. Der Bedarf an Fachkräften ist hoch. Zudem gibt es viele regionale und bundesweite Förderprogramme, um neue Forschungszentren und Professuren an Universitäten und Fachhochschulen auf diesen Zukunftsfeldern einzurichten. Aus diesen Grün- den laufen derzeit parallel zahlreiche Berufungsverfah- ren. Eine für I4.0 und die Technikwissenschaften geeig- nete und transparentere Indikatorik soll nun dazu bei- tragen, qualifizierte Kandidatinnen und Kandidaten für die zu besetzenden Stellen zu finden und Fehlberufun- gen weitestgehend auszuschließen. Die neue Indikatorik soll in Form eines Softwaretools zum Einsatz kommen und Berufungskommissionen beim Entscheidungsver- fahren unterstützen. Noch immer sind bibliometrische Indizes (z.B. H‑Index) ausschlaggebend, wenn es um die Bemessung wissenschaftlicher Leistungen in Berufungs- verfahren geht. Die publikationsbasierte Indikatorik greift im Bereich der Technikwissenschaften und Indus- trie 4.0 jedoch zu kurz. Daher müssen zukünftig noch weitere wesentliche Kriterien Berücksichtigung finden.
Evalitech bietet einen Ansatz, um bisherige Verfah- ren durch eine angemessene Indikatorik für die Technik-
wissenschaften und für I4.0 zu ergänzen und Berufungs- verfahren im Bereich der industriellen KI zu optimieren. Hierfür wurde im Rahmen einer Voruntersuchung eine neue Evaluationsmetrik auf der Basis von Methoden der Künstlichen Intelligenz entwickelt und pilotartig imple- mentiert. Die neue Metrik beinhaltet speziell für I4.0 re- levante Kriterien, die innerhalb eines Auswahlprozesses an entsprechende Stellen angemessen angepasst werden können. Um die Indikatorik zu entwickeln und geeigne- te Kriterien auszuwählen, haben die Forschungspartner in dem Projekt öffentlich zugängliche Datenquellen er- mittelt, auf ihre Eignung geprüft und analysiert. Auf die- se Weise konnten Kriterien identifiziert werden, die in- dividuelle Forschungsleistungen und Erfahrungen im Wissenschaftsmanagement sowie in der Ausbildung des wissenschaftlichen Nachwuchses erheblich umfängli- cher und präziser als bisher erfassen. Zur Erfassung ka- men fortgeschrittene KI-basierte Sprachtechnologien wie Information Retrieval und Informationsextraktion zum Einsatz, um relevante Informationen aus dem Inter- net abzurufen, zu extrahieren und zu visualisieren. Die Evalitech-Metrik ist durch erfahrene Expertinnen und Experten im I4.0‑Kontext getestet und evaluiert worden. Auf Basis der gewonnenen Daten konnte eine neue Indi- katorik entwickelt werden, um klassische Indikatoren, wie den H‑Index, zu komplementieren.
An dem Projekt waren das Deutsche Forschungszen- trum für Künstliche Intelligenz (DFKI) und das Fraun- hofer-Institut für Materialfluss und Logistik (IML) betei- ligt. Die Forschungspartner haben die Evalitech-Metrik konzipiert und in Form eines Demonstrators pilotartig entwickelt. Ebenso wurde ihre Tauglichkeit für die Tech- nikwissenschaften im I4.0‑Kontext evaluiert. Die Uber- metrics Technologies GmbH stellte als industrieller Ver- bundpartner die Rohdaten zur Verfügung und überprüf- te, inwiefern die Kriterienwerte zu den Indikatoren auto- matisiert im Internet ermittelt werden können.
Charlene Röhl/Aljoscha Burchardt/Sven Schmeier/ Wolfgang Wahlster/Michael Schmidt/Julius Mackowiak/Michael ten Hompel/Moritz Werne- cke/Patrick Bunk/Julian Volland
Evalitech: Eine neue Metrik zur Vergabe von Profes- suren für die Technikwissenschaften
Ordnung der Wissenschaft 2024, ISSN 2197–9197
14 ORDNUNG DER WISSENSCHAFT 1 (2024), 13–24
II. Publikationsbasierte Metriken reichen nicht aus für Lehrstuhlvergabe
Noch immer werden zur Evaluation wissenschaftlicher Leistungen überwiegend einschlägige Indizes, wie der H‑Index herangezogen. Information zu Bewerberinnen und Bewerbern wird meist aus im Internet öffentlich und kostenlos verfügbaren Datenbanken, wie z.B. Web of Science, Google-Scholar und Scopus bezogen. Diese Datenbanken bringen zum einen die Schwierigkeit mit sich, dass insbesondere Printmedien und Buchpublikati- onen meist schlecht abgebildet werden können. Relevan- te Leistungen jenseits der akademischen Publikationstä- tigkeit, wie das Erzeugen von Softwaretools und die Bereitstellung kuratierter Datensätze oder von Bench- mark-Tests, werden meist überhaupt nicht erfasst. Zum anderen ist die Datengrundlage solcher Datenbanken nur schwer zu kontrollieren, was nicht selten zu Falsch- informationen führt. Heute werden bereits Kurse1 ange- boten, die Tipps und Tricks zur Verbesserung des indivi- duellen H‑Indexes anbieten, ohne dabei die wissen- schaftliche Leistung zu verbessern. Es hat sich gezeigt, dass aus den zuvor genannten Gründen die bisherigen Evaluationsmetriken den Anforderungen zur Voraus- wahl von Professuren und Führungspositionen für I4.0 und die Technikwissenschaften nur unzureichend gerecht werden. Der Bedarf an Expertinnen und Exper- ten für industrielle KI ist aber hoch und wird voraus- sichtlich innerhalb der nächsten Jahre durch weitere Ausschreibungen für Professuren an Universitäten und Hochschulen weiter steigen. Zudem besteht aktuell ein Mangel an qualifizierten deutschsprachigen Bewerbe- rinnen und Bewerbern bei gleichzeitigen lukrativen Lehrstuhl-Angeboten aus der Schweiz, Österreich und den Niederlanden sowie aus der Industrie-Forschung. Im Evalitech-Projekt haben die Forschungspartner einen Lösungsansatz entwickelt, um die Auswahl geeigneter Personen durch eine für I4.0 und die Technikwissen- schaften angemessene Indikatorik zu optimieren und Berufungskommissionen eine Hilfestellung bei der Kan- didatenwahl zu bieten.
III. Konzept der Evalitech-Metrik
Für die Konzeption der Evalitech-Metrik haben die For- schungspartner eine Analyse bisheriger Ansätze und
- 1 Vgl. Enago Academy 2019.
- 2 Vgl. Harzing.com 2022.
- 3 Vgl. Clarivate 2021.
Angebote durchgeführt, um die Anforderung an eine neue innovationsorientierte Evaluationsmetrik für die Technikwissenschaften und speziell für Industrie 4.0 zu sammeln. So wurden unter anderem Publish or Perish2, Web of Science3, Google Scholar4 und Semantic Scholar5 oder Scopus6 untersucht.
Zudem basiert die Evalitech-Metrik auf einer Liste von Kriterien, die im Vorfeld von der Deutschen Akade- mie der Technikwissenschaften (acatech) vorgeschlagen und von Prof. Wolfgang Wahlster (DFKI) erweitert wurde:
• acatech – Deutsche Akademie der Technikwissen- schaften (Hrsg.): Qualitätskriterien in den Technik- wissenschaften. Empfehlungen zur Bewertung von wissenschaftlichem Erfolg. acatech POSITION. München, 2018. URL: www.acatech.de/publikation/ qualitaetskriterien-in-den-technikwissenschaften- empfehlungen-zur-bewertung-von-wissenschaftli- chem-erfolg/
• acatech – Deutsche Akademie der Technikwissen- schaften (Hrsg.): Berufungen in den Technikwissen- schaften. Empfehlungen zur Stärkung von For- schung und Innovation. acatech POSITION. Mün- chen, 2018. URL: www.acatech.de/publikation/ berufungen-in-den-technikwissenschaften-empfeh- lungen-zur-staerkung-von-forschung-und-innova- tion/
Auf dieser Grundlage wurde ein initiales, multikriteriel- les Indikatorikkonzept entwickelt, das auf spezifische Anforderungsprofile je nach Aufgabenschwerpunkt adaptiert werden kann. Die neue Metrik ist hierarchisch geordnet und beinhaltet die sieben Kategorien Wissen- schaft, Community, Aus- und Weiterbildung, For- schungsinfrastruktur, Industrie, Ökonomie und Gesell- schaft, in denen 21 Kriterien enthalten sind. Diese wiede- rum untergliedern sich in 41 Teilkriterien. Publikationen und der H‑Index sind zwar weiterhin ein Bestandteil der Metrik, sie wurden aber um zahlreiche weitere relevante Kriterien ergänzt und sind daher nicht mehr das zentra- le Bewertungskriterium.
Das Kernergebnis der Evalitech-Indikatorik ist in Abbildung 1 dargestellt. Tabelle 1 bietet einen Überblick über das Gesamtkonzept mit den 41 Teilkriterien.
4 Vgl. Google 2022.
5 Vgl. AI12, The Allen Institute for Artificial Intelligence 2022. 6 Vgl. Elsevier 2022.
Röhl/Burchardt/Schmeier/Wahlster/Schmidt/Mackowiak/Hompel/Wernecke/Bunk/Volland · 1 5 Evalitech: Eine neue Metrik zur Vergabe von Professuren für die Technikwissenschaften
Abbildung 1: Konzept der Indikatorik7
7 Forschungsbeirat der Plattform Industrie 4.0/acatech 2022.
16 ORDNUNG DER WISSENSCHAFT 1 (2024), 13–24
Mit den sieben Oberkategorien sind, laut der im Projekt durchgeführten empirischen Validierung der Evalitech- Metrik, die relevanten Bereiche zur Messung wissen- schaftlicher Leistungen im I4.0 und technikwissen- schaftlichen Umfeld abgedeckt.
Im Bereich Wissenschaft steht die inhaltliche Seite von Forschungsleistungen im Vordergrund. Gemeint ist damit wissenschaftlicher Output in Form von Publikati- onen und eingeladenen Vorträgen.
Die Kategorie Community bezieht sich auf den Bei- trag von Wissenschaftlerinnen und Wissenschaftlern in- nerhalb der wissenschaftlichen Community. Dies schließt die Leitung von Forschungsverbünden, die Or- ganisation von Veranstaltungen sowie den nationalen und internationalen Wissensaustausch in Form von wechselseitigen Gastaufenthalten mit ein.
Die Kategorie Aus- und Weiterbildung umfasst Leis- tungen im Bereich Lehre und Qualifizierung an Hoch- schulen. Dazu zählen Lehrtätigkeiten im akademischen Kontext, wie die Betreuung von Promotionen und Studi- enarbeiten, aber auch gehaltene betriebliche Weiterbildungen.
Der Bereich Forschungsinfrastruktur umfasst die Leistung von Forschenden an die wissenschaftliche Community. Dies schließt einerseits den Aufbau und die
Betreuung von Forschungseinrichtungen mit ein. Letz- teres bezieht sich insbesondere auf physische Orte, wie Lernfabriken und Demonstrationszentren. Das Kriteri- um Daten und Plattformen umfasst wiederum Aspekte im Bereich IT-Infrastruktur, wie die Erarbeitung von Trainingsdatensätzen. Die Leistung im Bereich Open Source Software kann beispielsweise anhand von Bewer- tungen auf GitHub gemessen werden.
Besonders relevant für I4.0 ist der Bereich Industrie. Hierzu zählen bedeutende Leistungen wie Produktent- wicklung und die Beteiligungen an Normen, Richtlinien und Standards sowie Produkt- und Messepräsentatio- nen. Erfahrungen im Bereich Personalverantwortung und eigene erworbene Qualifikationen sind ebenfalls re- levante Aspekte dieser Kategorie.
Der Bereich Ökonomie bezieht sich auf wirtschaftli- che Kriterien. Darunter fallen Projekt- und Mittelein- werbungen, Patente und Lizenzen sowie Ausgründungen.
Mit der Kategorie Gesellschaft ist der wissenschaftli- che Beitrag an die Gesellschaft gemeint. Dies umfasst das Engagement in Gremien sowie erworbene Wissen- schafts- und Innovationspreise und die Präsenz von Wissenschaftlerinnen und Wissenschaftlern im Internet und bei Social Media.
Röhl/Burchardt/Schmeier/Wahlster/Schmidt/Mackowiak/Hompel/Wernecke/Bunk/Volland · 1 7 Evalitech: Eine neue Metrik zur Vergabe von Professuren für die Technikwissenschaften
Tabelle 1: Übersicht der Indikatorik mit 7 Oberkatego- rien, 21 Kriterien und 41 Teilkriterien8
8 Forschungsbeirat der Plattform Industrie 4.0/acatech 2022.
18 ORDNUNG DER WISSENSCHAFT 1 (2024), 13–24
Im Anschluss an die Konzeptentwicklung haben die Forschungspartner die vorgeschlagene, neue Metrik an- hand von Interviews mit Expertinnen und Experten für I4.0 einer empirischen Validierung unterzogen. Unter den beteiligten Testpersonen befanden sich sowohl tech- nikwissenschaftliche Universitäts-Professoren als auch Industrieforscherinnen und ‑forscher, deren Feedback und Profilangaben für die Evaluierung der Indikatorik
herangezogen wurden. Bei der Validierung wurden die speziell für I4.0 und die Technikwissenschaften gewähl- ten Indikatoren von den Experten als sehr positiv aufge- nommen, Detailverbesserungen sind bereits in dem oben präsentierten Vorschlag enthalten. Eine Kritik war, dass aktuell ein Großteil der Kriterien überwiegend noch auf Personen zutrifft, die bereits Professoren oder Führungskräfte in den Technikwissenschaften sind. Ziel
Abbildung 2: Bausteine der Evalitech-Metrik9
9 Forschungsbeirat der Plattform Industrie 4.0/acatech 2022.
Röhl/Burchardt/Schmeier/Wahlster/Schmidt/Mackowiak/Hompel/Wernecke/Bunk/Volland · 1 9 Evalitech: Eine neue Metrik zur Vergabe von Professuren für die Technikwissenschaften
ist es jedoch, zukünftig ebenfalls Jungtalente zu erfassen. Dafür und für eine weitere Schärfung und Spezifizierung der Kriterien der Evalitech-Metrik ist daher noch weite- re Forschung notwendig.
IV. Evalitech-Demo: Assistenzsystem für Berufungs- verfahren
Im weiteren Verlauf des Projekts haben die Forschungs- partner geprüft und evaluiert, inwiefern die Werte zu den gewählten Indikatoren durch gängige KI-basierte Sprachtechnologien automatisiert im Internet ermittelt werden können. Für einige ausgewählte Kriterien wurde im Konsortium ein Konzept entwickelt, um die Techno-
logien im Bereich der Informationssuche anzupassen und erste Rohdaten-Ergebnisse zu Erwähnungen von Personen im Zusammenhang mit acatech und Industrie 4.0 bereitzustellen.
Anschließend haben die Forschungspartner die ge- sammelten Daten und das dreistufige Ordnungsschema, bestehend aus den 7 Oberkategorien, 21 Kriterien und 41 Teilkriterien, in eine funktionale Webapplikation über- führt. Anhand mehrerer Testdurchläufe konnte beispiel- haft der positive Nutzen des Evalitech-Assistenzsystems bei der Kandidatenauswahl verdeutlicht werden. Die multidimensionale Darstellung und die systematische Gewichtung der Kriterienwerte haben sich bei der Kan- didatensuche als hilfreich erwiesen. Eine explorative,
Abbildung 3: Heatmap-Ansicht der Kategorien.
20 ORDNUNG DER WISSENSCHAFT 1 (2024), 13–24
score-basierte Kandidatensuche bot im Demonstrator zusätzlich eine Hilfestellung, um mittels Filterfunktio- nen ein Suchprofil aus mehreren Kandidaten im Ver- gleich zu bilden.
Abbildung 2 zeigt die drei zentralen, im Demonstrator umgesetzten Bausteine Kriterien, Werte und Profile der Evalitech-Metrik.
Scores pro Kandidat und Kriterium im Wertebereich von 0 bis 100 erfolgte unter Berücksichtigung aller Kan- didatinnen und Kandidaten im Evalitech Metrik-Pool. Auf diese Weise werden alle Teilnehmenden in das Tie- fen-Binning mit einbezogen, um eine vergleichbare Bewertung zu ermöglichen.
Um die Vorauswahl der Kandidaten je nach Aufgaben- schwerpunkt zu erleichtern, haben die Forschungspart- ner zudem drei vordefinierte Auswertungsprofile für Wissenschaftlerinnen/ Wissenschaftler, Entrepreneure und Influencerinnen/ Influencer erstellt.
Neben den drei vordefinierten Auswertungsprofilen bestand die Möglichkeit, eine Gleichverteilung auszu-
wählen oder ein individuelles Profil zu erstellen. Bei der freien Gestaltung eines Profils konnte auf jeder Ebene des Ordnungsschemas eine freie Gewichtung vorgenom- men oder bestimmte Einträge vollständig entfernt wer- den. Durch die Kombination der Auswertungsprofile mit den Kriterienwerten ergab sich der Evalitech- Gesamtscore, der eine Vergleichbarkeit in der Bewer- tung der Kandidatinnen und Kandidaten auf Basis ein- heitlicher Kriterien ermöglichte. Die Angaben zur Quel- lenherkunft der Kriterienwerte und die flexible Gestaltung der Auswertungsprofile sollten außerdem eine maximale Transparenz für die Berufungskommissi- on in der Beurteilung der zur Auswahl stehenden Perso- nen sicherstellen.
Abbildung 4: Heatmap-Ansicht des dreistufigen Ord- nungsschemas.
Abbildungen 3 und 4 zeigen einen Ausschnitt der Eva- litech-Webapplikation. Die erste Spalte der Heatmap
Röhl/Burchardt/Schmeier/Wahlster/Schmidt/Mackowiak/Hompel/Wernecke/Bunk/Volland · 2 1 Evalitech: Eine neue Metrik zur Vergabe von Professuren für die Technikwissenschaften
gibt den erreichbaren Maximalwert an, der sich ergäbe, wenn ein Kandidat oder eine Kandidatin in allen Ober- kategorien, Kriterien und Teilkriterien eines übergeord- neten Aspekts oder eines einzelnen Teilkriteriums das Kandidatenfeld anführen würde. Die erreichten Werte der jeweiligen Kandidatinnen und Kandidaten sind auf der horizontalen Achse aufgeführt. Die Intensität der Farbdarstellung veranschaulicht die Höhe der Werte im Vergleich zum erreichbaren Maximalwert. In der ersten Zeile der Matrix wird der Evalitech-Gesamtscore in Blau dargestellt. Die zweite Zeile zeigt im Vergleich dazu den H‑Index, der hier ebenfalls Teil des Ordnungsschemas ist. Dieses Beispiel verdeutlicht, dass Kandidatinnen und Kandidaten, deren Leistung ausschließlich anhand des H‑Index beurteilt würde, bei der Evalitech-Methode besser abschneiden könnten. Der Evalitech-Ansatz bie- tet somit eine umfassendere und transparentere Bewer- tungsmethode durch eine neuartige, angemessene Indi- katorik, die speziell auf die Anforderungen der Technik- wissenschaften zugeschnitten ist.
V. Schritte zum Einsatz der Evalitechmethode
Evalitech hat einen neuen Ansatz entwickelt, um die Bewerberauswahl für Professuren im Bereich I4.0 und KI erheblich zu verbessern und damit Fehlberufungen zu reduzieren. Die neuartige, transparente und individu- ell adaptierbare Indikatorik ermöglicht eine erweiterte und systematisierte Suche nach geeigneten Kandidatin- nen und Kandidaten. Am Beispiel einer Webapplikation konnte zunächst exemplarisch der Mehrwert der neuen Indikatorik und einer systematischen Gewichtung der Kriterienwerte aufgezeigt werden. Zudem wurde eine Form der explorativen, score-basierten Kandidatensu- che pilotartig implementiert und ihr Nutzen im Ver- gleich mehrerer Kandidatinnen und Kandidaten ver- deutlicht. Der Einsatz der neuen Metrik ermöglicht somit eine gezielte Anpassung der Kriterien an Stellen im Bereich I4.0. Der vorliegende Evalitech-Ansatz bietet eine Hilfestellung für Bewerbungs- und Berufungsver- fahren, indem objektive Information bereitgestellt wird und geeignete Kandidatinnen und Kandidaten gefunden und untereinander verglichen werden können. Die Eva- litech-Methode und insbesondere die neu entwickelte innovationsorientierte Evaluationsmetrik wurden bereits von wichtigen externen Vertreterinnen und Ver- tretern des Forschungsbeirats der Plattform I4.0 sowie von Fachexpertinnen und Experten für I4.0 positiv auf- genommen. In mehreren Berufungsverfahren wurde die Evalitech-Methodik mittlerweile zur Unterstützung der
Auswahl von Führungspersonal bereits erfolgreich erprobt. So wurde das Verfahren z.B. bei der Nachfolge für eine Leitungsposition eines großen Instituts aus der vom BMBF geförderten Allianz der Wissenschaftsorga- nisationen erfolgreich auf informeller Basis durch einen Gutachter erprobt und schließlich nach Zustimmung der Gremien in einen Ruf umgesetzt. Auch wurde Eva- litech bei der Besetzung einer Professur an einer privaten Universität eingesetzt. Aufgrund der Datenschutzbe- stimmungen in solchen Berufungsverfahren können die Ergebnisse des Evalitech-Einsatzes aber nicht publiziert werden.
Basierend auf den Ergebnissen von Evalitech sollte im nächsten Schritt ein transparentes und öffentliches Portal aufgebaut werden, in dem Profile manuell ergänzt und automatisiert durchsucht werden können. Darüber hinaus sollte das Evalitech-Portal durch die Option zur Selbstauskunft hinsichtlich der Kriterien, die nicht auto- matisiert ermittelt werden können, eine Kontrolle und Nachvollziehbarkeit der Daten ermöglichen. Die Daten- grundlage wird auf diese Weise transparent gemacht, da- mit das Entscheidungsgremium die Vertrauenswürdig- keit der extrahierten Information prüfen und einschät- zen kann. In vielen Berufungsverfahren sind bisher po- tenzielle Kandidatinnen und Kandidaten aufgrund fehlender Information zu relevanten Kriterien nicht be- rücksichtigt worden. Die bei Evalitech vorgesehene auto- matisierte Informationsextraktion aus öffentlich zu- gänglichen digitalen Quellen kann hier unterstützen. Evalitech zielt dabei keinesfalls darauf ab, eine Auswahl zu treffen, sondern Daten insbesondere im Rahmen von Berufungsverfahren bereitzustellen, um bei der Auswahl geeigneter Kandidatinnen und Kandidaten zu unterstüt- zen. Ein grundlegendes Ziel dieses Portals sollte es daher sein, passende Bewerberinnen und Bewerber systema- tisch zu finden und die Arbeit der Auswahlkommissio- nen durch eine flexible und auf die Stellenausschreibung zugeschnittene Indikatorik zu erleichtern.
Literatur
acatech 2018a
acatech – Deutsche Akademie der Technikwissenschaf-
ten (Hrsg.): Qualitätskriterien in den Technikwissen- schaften. Empfehlungen zur Bewertung von wissen- schaftlichem Erfolg. acatech POSITION. München, 2018. URL: https://www.acatech.de/publikation/qualita- etskriterien-in-den-technikwissenschaften-empfehlun- gen-zur-bewertung-von-wissenschaftlichem-erfolg/ [Stand: 14.07.2022].
acatech 2018b
22 ORDNUNG DER WISSENSCHAFT 1 (2024), 13–24
acatech – Deutsche Akademie der Technikwissenschaf- ten (Hrsg.): Berufungen in den Technikwissenschaften. Empfehlungen zur Stärkung von Forschung und Innova- tion. acatech POSITION. München, 2018. URL: https:// www.acatech.de/publikation/berufungen-in-den-tech- nikwissenschaften-empfehlungen-zur-staerkung-von- forschung-und-innovation/ [Stand: 14.07.2022].
AI12, The Allen Institute for Artificial Intelligence 2022
Semantic Scholar, 2022, URL: https://www.semantic- scholar.org/. [Stand: 29.07.2022].
Clarivate 2021
Web of Science, 2021, URL: https://www.webofsci- ence.com/wos/woscc/basic-search [Stand: 29.07.2022]. Crossref 2020
CrossRef Event Data, 2020, URL: https://www.cross- ref.org/services/event-data/ [Stand: 14.07.2022]. Elsevier, Scopus® 2022
Größte Abstract- und Zitationsdatenbank für peer-re- viewte Fachliteratur, 2022, URL: https://www.elsevier. com/de-de/solutions/scopus [Stand: 29.07.2022].
Enago Academy 2019
How to Successfully Boost Your H‑Index, 2019, URL: https://www.enago.com/academy/how-to-successfully- boost-your-h-index/ [Stand: 11.07.2022].
EURITO 2018
EURITO-Projektseite, 2018, URL: http://www.eurito. eu [Stand: 15.07.2022].
Forschungsbeirat der Plattform Industrie 4.0/acatech 2022
Forschungsbeirat der Plattform Industrie 4.0/acatech – Deutsche Akademie der Technikwissenschaften (Hrsg.): Neue innovationsorientierte Evaluationsmetrik im Industrie 4.0 Umfeld auf KI Basis, 2022, DOI: 10.48669/ fb40_2022-05, URL: https://www.acatech.de/publikati- on/evalitech/ [Stand: 15.11.2023].
Fraunhofer ISI 2019
Fraunhofer-Institut für System- und Innovationsfor- schung – ISI, Projektseite zu Data4Impact, 2019, URL: www.isi.fraunhofer.de/de/competence-center/innova- tions-wissensoekonomie/projekte/data4impact. html#18415641231 [Stand: 15.07.2022]
Google 2022
Google Scholar, 2022, URL: https://scholar.google.
com/ [Stand: 29.07.2022].
Harzing.com, Research in International Management 2022
Publish or Perish, 2022, URL: https://harzing.com/re- sources/publish-or-perish [Stand: 29.07.2022].
Hauschke, C./Cartellieri, S./Heller, L. (2018): Refe-
rence implementation for open scientometric indicators (ROSI). Research Ideas and Outcomes 4: e31656. https:// doi.org/10.3897/rio.4.e31656.
Nesta, DTU, Fraunhofer/Fundación Cotec para la In- novación (2019): D2.3 End of Pilot Phase Review. Zeno- do. http://doi.org/10.5281/zenodo.3964942.
Penny, D./Lucraft, M. (2020)a: Exploring Societal Im- pact: Part 1 — Researcher Motivations. Zenodo. http://doi. org/10.5281/zenodo.3964940.
Penny, D./Lucraft, M. (2020)b: Exploring Societal Im- pact: Part 2 — Activity of Researchers. Zenodo. http://doi. org/10.5281/zenodo.3964942.
Stifterverband 2019
Stifterverband (Hrsg.) (2019): Open Science und Open Innovation. Neue Indikatoren für die Analyse des Wissen- schafts- und Innovationssystems im digitalen Zeitalter. Discussion Paper. URL: https://stifterverband.org/medi- en/open-science-und-open-innovation [Stand: 14.07.2022].
United Nations 2022
United Nations, Department of Economic and Social
Affairs Sustainable Development, Do you know all 17 SDGs?, 2022, URL: https://sdgs.un.org/goals [Stand: 15.08.2022].
WiGeP und WGP 2021
Wissenschaftliche Gesellschaft für Produktentwick- lung (WiGeP), Wissenschaftliche Gesellschaft für Pro- duktionstechnik (WGP) (2021): Bewertung von For- schungs- und Innovationsleistungen in Produktentwick- lung und Produktion. Status und Handlungsempfehlun- gen. Positionspapier. URL: https://secureservercdn. net/160.153.137.99/b7s.1f6.myftpupload.com/wp-content/ uploads/2022/05/Final_WiGeP_Positionspapier_Wi- GeP_und_WGP_Bewertung_von_Forschungs-_und_ Innovationsleistungen.pdf [Stand: 14.07.2022].
WiGeP und WGP 2021
Wissenschaftliche Gesellschaft für Produktentwick- lung (WiGeP), Wissenschaftliche Gesellschaft für Pro- duktionstechnik (WGP): Darstellung der Besonderheiten bei Berufungen in den Disziplinen Produktentstehung, be- stehend aus Produktplanung, Produktentwicklung und Produktion. Positionspapier. 2021. URL: https://se- cureservercdn.net/160.153.137.99/b7s.1f6.myftpupload. com/wp-content/uploads/2022/04/Final_WiGeP- WGP_Positionspapier_Berufungspraxis_02.pdf [Stand: 14.07.2022].
Wikimedia Foundation 2019
Wikidata, 2019, URL: https://www.wikidata.org/ wiki/Wikidata:Main_Page [Stand: 14.07.2022].
Röhl/Burchardt/Schmeier/Wahlster/Schmidt/Mackowiak/Hompel/Wernecke/Bunk/Volland · 2 3 Evalitech: Eine neue Metrik zur Vergabe von Professuren für die Technikwissenschaften
Das Projekt Evalitech wurde vom Bundesministerium für Bildung und Forschung (BMBF) gefördert (Förder- kennzeichen 02P17D262).Der vorliegende Artikel beruht auf den Ergebnissen der durch den Forschungsbeirat der Plattform Industrie 4.0 und acatech – Deutsche Akade- mie der Technikwissenschaften herausgegeben Koopera- tionspublikation „Neue innovationsorientierte Evaluati- onsmetrik im Industrie 4.0‑Umfeld auf KI-Basis – Bericht zum Projekt Evalitech“.10
Deutsches Forschungszentrum für Künstliche Intelligenz GmbH — DFKI:
Charlene Röhl, Researcherin und Projektmanagerin am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI). Sie hat in mehreren nationalen und internationalen Projekten in den Forschungsberei- chen Speech and Language Technology und Educa- tional Technology mitgewirkt. Seit 2023 beschäftigt sie sich am Quality and Usability Lab der Technischen Universität Berlin mit E‑Learning im Hochschulbe- reich.
Dr. Aljoscha Burchardt ist Principal Researcher am DFKI. Burchardt ist Senior Research Fellow des Wei- zenbaum-Institutes für die vernetzte Gesellschaft und stellvertretender Vorsitzender der Berliner Wis- senschaftlichen Gesellschaft. Außerdem war er als Sachverständiger Mitglied der Enquete-Kommission „Künstliche Intelligenz“ des Deutschen Bundestages.
Dr. Sven Schmeier ist Chefingenieur und stellvertre- tender Leiter des Speech & Language Technology Lab des DFKI. Er hat mehr als 30 nationale und inter- nationale Projekte in Forschung und Industrie erfolg- reich geleitet. Sven war und ist in der Gründungspha- se von High-Tech-Unternehmen und Spin Offs des DFKI aktiv.
Prof. Dr. Wolfgang Wahlster, Gründungsdirektor und CEO des DFKI von 1988–2019, ist derzeit Chief Executi- ve Advisor des DFKI, Mitglied des Lenkungskreises der Plattform Lernende Systeme sowie Mitglied der Hall of Fame der deutschen Forschung.
Fraunhofer-Institut für Materialfluss und Logistik – IML:
Dr. Michael Schmidt, bis 2023 Chief Scientist am Fraunhofer-Institut für Materialfluss und Logistik IML, heute Geschäftsführer beim Trägerverein der Matthi- as-Claudius-Schulen Bochum e. V. und Lecturer an der Europäischen Fernhochschule Hamburg.
Julius Mackowiak ist Softwareentwickler am Fraunho- fer-Institut für Materialfluss und Logistik IML.
Prof. Dr. Michael ten Hompel ist Inhaber des Lehr- stuhls für Förder- und Lagerwesen an der Techni- schen Universität Dortmund und geschäftsführender Institutsleiter am Fraunhofer-Institut für Materialfluss und Logistik IML. Er ist Gründer und war von 1988- 2000 geschäftsführender Gesellschafter der GamBit GmbH (heute Vanderlande Logistics Software).
Moritz Wernecke hatte bis 2021 die Fachliche Leitung des Teams »Materialflussplanung«, am Fraunhofer- Institut für Materialfluss und Logistik IML und ist heu- te Projektmanager Logistik bei der NORDWEST Han- del AG.
Ubermetrics Technologies GmbH (ein Teil der Unicepta GmbH):
Patrick Bunk ist Gründer und CEO der Ubermetrics Technologies GmbH. Er war bis 2023 Chief Innovation Officer und ist heute Advisory Board Member bei der Unicepta Medienanalyse GmbH, seit 2023 ebenfalls Product Achitect bei muffintech.
Julian Volland ist Product Manager bei Ubermetrics.
10 Vgl. Forschungsbeirat der Plattform Industrie 4.0/acatech 2022.
24 ORDNUNG DER WISSENSCHAFT 1 (2024), 13–24