Herausforderungen für Konzeption, Durchführung und Bewertung von Prüfungen
Generative Künstliche Intelligenz hat l?ngst Einzug in den Hochschulalltag gehalten – und stellt etablierte Prüfungsformate nun selbst auf den Prüfstand.
Die Entwicklungen und Anwendungsm?glichkeiten im KI-Bereich verlaufen hochdynamisch, und nicht alle Fragen k?nnen bereits abschlie?end beantwortet werden. Auf dieser Seite wird der aktuelle Stand der Diskussion zum Umgang mit KI im Prüfungskontext aufgezeigt. Zugleich soll sie als Wegweiser zum praktischen Umgang mit den Herausforderungen generativer KI und als Einstieg zur weiteren Besch?ftigung mit dem Thema dienen.
Was kann generative KI leisten?
Allgemein k?nnen mit generativer KI z.B. Texte, Bilder, Code, Musik erstellt werden. Typischerweise ist dieser Erstellungsprozess dadurch gepr?gt, dass mit der "Maschine" in einen schriftlichen Dialog getreten wird. Es werden Anweisungen an das KI-System gerichtet, um damit entsprechende Antworten und Ergebnisse zu initiieren (Prompting). Es gilt zu beachten, dass die derart erstellten Inhalte zwar formal und stilistisch überzeugend sein k?nnen, aber keine Garantie zur inhaltlichen Richtigkeit gegeben wird. Damit liegt es in der Verantwortung der initiierenden Person, die generierten Inhalte auf Richtigkeit, Vollst?ndigkeit, Logik und Konsistenz zu überprüfen.
Weitere wichtige Anwendungsfelder von KI sind das ?bersetzen, Ver?ndern oder Paraphrasieren von Texten. Somit k?nnen einmal generierte Text auch mehrfach maschinell überarbeitet und ver?ndert werden.
Im Prüfungskontext ist zudem künftig eine zumindest potenziell gr??ere Rolle von KI in der Aufgabenerstellung, Durchführung, Auswertung und - bei elektronischen Prüfungen - auch in der Prüfungsaufsicht (Proctoring) zu erwarten.
Generative KI & wissenschaftliches Arbeiten
Der Einsatz generativer KI rührt an das Selbstverst?ndnis und an den Kern wissenschaftlichen Arbeitens. Dies betrifft damit insbesondere auch die Ansprüche an wissenschaftliche Haus- und Abschlussarbeiten. Die Hauptanforderung an wissenschaftliches Arbeiten – die systematische und methodisch fundierte Verknüpfung eigenst?ndiger und kreativer Gedanken mit bereits vorhandenen wissenschaftlichen Erkenntnissen – kann als solche durch den Einsatz generativer KI nicht umf?nglich erfüllt werden. Dies gründet zun?chst prim?r im minimierten eigenst?ndigen und kreativen Beitrag sowie zus?tzlich in der Limitierung und Intransparenz bezüglichen des methodischen Vorgehens. M?gliche Anwendungsfelder liegen damit eher in der Unterstützung der Recherche oder als Hilfsmittel zur textlichen, formalen und stilistischen ?berarbeitung.
Relevanz für Prüfungsleistungen
Die Grundlinien zum Einsatz von (generativer) KI im Prüfungskontext werden in der Rahmenstudien- und -prüfungsordnung § 15 Prüfungsleistungen (3) geregelt. Hiernach ist die Nutzung zwar generell zul?ssig, ist aber an strikte Nachweis- und Dokumentationspflichten gebunden. Zur Art und Weise eines m?glichen Einsatzes von Künstlicher Intelligenz als zugelassenes Hilfsmittel wird auf die jeweiligen studiengangspezifischen Bestimmungen verwiesen.
Trotz individueller Abweichungen und Besonderheiten in einzelnen Studieng?ngen, F?cherkulturen und Abschlussarten soll im Folgenden ein ?berblick zur Relevanz generativer KI in einzelnen Prüfungsleistungen gegeben werden (wird fortlaufend erg?nzt und aktualisiert):
Schriftliche Prüfungen
- Potenziell hohe M?glichkeit der Verwendung KI-generierter Inhalte.
- Wird jedoch durch den Anspruch eigenst?ndiger wissenschaftlicher Untersuchungen, Forschungs- oder Entwicklungsarbeit sowie durch die vorausgesetzte Betreuung von Abschlussarbeiten limitiert.
- sprachliche und stilistische und Bearbeitung und Korrektur
- keine Relevanz jenseits von Betrugsversuchen w?hrend der Klausur. Ma?nahmen zur Prüfungsaufsicht sind zu optimieren
- keine Relevanz jenseits von Betrugsversuchen w?hrend der Klausur. Die technischen M?glichkeiten einer abgesicherten Prüfungsumgebung sind zu optimieren und durch Prüfungsaufsicht zu erg?nzen
- Besondere "Attraktivit?t" für Betrugsversuche mittels Verwendung generativer KI
- ?berwachung nach derzeitigem rechtlichen und technischem Stand nicht umf?nglich m?glich
- nicht empfehlenswert
- Potenziell hohe M?glichkeit der Verwendung KI-generierter Inhalte.
- Besondere "Attraktivit?t" durch tendenziell niedrigere inhaltliche Durchdringstiefe ("?berblicksdarstellungen") und Forschungasansasatz
- sprachliche und stilistische und Bearbeitung und Korrektur
- Optionen zum Einsatz generativer KI durchaus vorhanden und als Erg?nzung (z.B. im Bereich der Recherche u.U. sinnvoll)
- Nutzung im Vorfeld verbindlich kl?ren und dokumentieren
- Optionen zum Einsatz generativer KI durchaus vorhanden und als Erg?nzung (z.B. im Bereich der Recherche oder auch der grafischen Darstellung und Auswertung u.U. sinnvoll)
- Nutzung im Vorfeld verbindlich kl?ren und dokumentieren
- in Abh?ngigkeit fachspezifischer Anforderungen jenseits von z.B. grafischen Darstellungen eher von geringer Relevanz
Mündliche Prüfungen
- Die Erarbeitung von Referaten und ggf. dazugeh?rigenen Pr?sentationen muss als besonders "attraktiv" für die Verwendung generativer KI eingesch?tzt werden, eventuell noch h?her als bei schriftlichen Hausarbeiten.
- Die M?glichkeit der gründlichen und ggf. technischen ?berprüfung ist zumindest w?hrend des Vortrages nicht gegeben. Das mündliche Nachfragen bietet jedoch die Option, das grundlegende Verst?ndnis der Zusammenh?nge und L?sungswege zu überprüfen und ggf. zu hinterfragen. Hiervon sollte im Zweifelsfall intensisiv und st?rker Gebrauch gemacht werden.
- jenseits der Prüfungsvorbereitung - und eventuellen Betrugsversuchen in einer der Prüfung vorschalteten kurzen Vorbereitungsphase mit konkreter Aufgabenstellung - keine/kaum erkennbare Relevanz zur Nutzung generativer KI. Ausnahme: Prüfungsformen mit direktem und erlaubtem Einsatz von KI
Kann die Verwendung generativer KI nachgewiesen werden?
Nach aktuellem Stand ist ein rechtssicherer Nachweis zur Verwendung generativer KI in eingereichten Texten nicht m?glich, sofern die betroffenen Textstellen nicht gekennzeichnet sind. Aktuelle KI-Erkennungs-Tools k?nnen bestenfalls Indizien liefern. Eine hundertprozentige Unterscheidung zwischen Mensch und Maschine kann jedoch nicht gew?hrleistet werden. Die Gründe hierfür sind vielf?ltig. Vorliegende Texte sind h?ufig nicht nur einfach von Menschen oder Maschinen erstellt, sondern k?nnen nachtr?glich überarbeitet, paraphrasiert oder übersetzt worden sein - sowohl menschlich als auch maschinell. Tests zeigen, dass solche ?berarbeitungen einen Nachweis generell deutlich erschweren. Auch kann die KI-gestützte Generierung als solche nicht reproduziert werden, d.h. selbst bei identischen Prompts und des gleichen verwendeten KI-Modells sind die Ergebnisse nie deckungsgleich. Zudem k?nnen falsch-negative und falsch-positive Resultate nicht ausgeschlossen werden. Vor allem aber wird die zweifelsfreie Beurteilung durch die h?ufige Angabe von Wahrscheinlichkeiten nahezu unm?glich gemacht. (Was nützt z.B. die Erkenntnis, ein Absatz wurde mit 70%iger Wahrscheinlichkeit durch KI erstellt?). Für eine destaillierte Analyse aktueller Werkzeuge zur Erkennung KI-generierter Texte sei hier unbedingt auf Weber-Wulff et al. Testing of detection tools for AI-generated text.International Journal of Educational Integrity 19, 26 (2023) verwiesen.
Ungeachtet der oben beschriebenen deutlichen Einschr?nkungen stehen eine Vielzahl von Testwerkzeugen zur Verfügung und der Markt hierfür ist weiterhin dynamisch. Eine Empfehlung kann derzeit nicht ausgesprochen werden
Konsequenzen und Empfehlungen
- Unter KI-Bedingungen ist die herk?mmliche schriftliche Hausarbeit als Prüfungsleistung immer dann in Frage gestellt, wenn es nur darum geht, vorhandenes Wissen lediglich zu reproduzieren und neu zu "verpacken".
- Für die Erbringung einzelner Prüfungsleistungen muss explizit entschieden werden: Ist die Nutzung von KI-Tools erlaubt – ja oder nein? Wenn ja: Die Nutzung muss dokumentiert werden (verwendete Tools, Auflistung Prompts, Screenshots, …). In jedem Fall ist über die Nutzung von KI in der Selbst?ndigkeitserkl?rung verbindlich Auskunft zu geben.
Revision der Prüfungsformate
Optional verst?rkte Nutzung von Closed Book Klausuren (handschriftlich oder am Computer in abgesicherter Prüfungsumgebung)
?berlegungen zur Einführung einer mündlichen Komponente als Erg?nzung zur schriftlichen Hausarbeit, falls praktikabel (?Disputation“)
Hinwendung zu handlungsorientierten, kreativen und kommunikativen Prüfungsformen. Hierfür kann verst?rkt auf die Kompetenzorientierung als Forderung im Hochschulqualifikationsrahmen (HQR, in seiner Neufassung von 2017) aufgebaut werden. Die dort postulierten Schwerpunkte sind: Wissen und Verstehen; Einsatz, Anwendung und Erzeugung von Wissen; Kommunikation und Kooperation; Wissenschaftliche Professionalit?t
Zur Diskussion kann ebenfalls eine Neugewichtung von Bewertungskriterien stehen, z.B. eine m?gliche Verringerung des Stellenwerts formaler und stilistischer Aspekte zu Gunsten einer st?rkeren Gewichtung von Prozessen und Methodik.
Sollte das Arbeiten mit generativer KI als neue Schlüsselkompetenz anerkannt und gef?rdert werden?
Unbedingt ja. Jedoch bedarf es hierzu einer weiteren Verst?ndigung zu konkreten Qualifikationszielen sowie zu fachspezifischen Anforderungen und L?sungen
