IU-Studie zeigt Potenzial von KI für gerechtere Notengebung

• Ein Forschungsteam der IU hat ein neuartiges KI-Modell trainiert, indem es eine große Anzahl von Prüfungsdatensätzen aus verschiedenen Fächern der IU verwendet hat.
• Die mehrstufige Analyse der Daten zeigt, dass KI-gestützte Benotung in der Lage ist, menschliche Subjektivität und Ungenauigkeit zu reduzieren.
• Das Forschungsteam empfiehlt aus rechtlichen und akademischen Gründen, die KI zunächst nur zur Unterstützung des menschlichen Urteilsvermögens einzusetzen.
• Das KI-Modell ist in vielen Disziplinen anwendbar und anpassungsfähig.

Erfurt, 12. April 2024. Die Automatisierung der Benotung von Prüfungen mit offenen Fragen stellt für Lehrende eine erhebliche Arbeitserleichterung dar und kann zu besseren Ergebnissen für Studierende führen, indem durch einen automatisierten Bewertungsmechanismus menschliche Ungenauigkeiten und Fehler vermieden werden können.

Mit ihrer Forschungsarbeit ‚Beyond human subjectivity and error: a novel AI grading system (2024)‘ zeigt ein Team der IU Internationalen Hochschule (IU) erstmals in großem Maßstab, wie künstliche Intelligenz Lehrende bei der automatisierten Benotung unterstützen kann. Das IU-Forschungsteam hat dafür ein neuartiges Bewertungssystem entwickelt, das sogenannte Automatic Short Answer Grading (ASAG) System, das Antworten auf offene Fragen, die aus wenigen Sätzen bestehen, automatisch bewerten kann.

Das vom IU-Forschungsteam entwickelte ASAG-System basiert auf einem großen Sprachmodell (Large Language Model), das mit einem sehr großen Datensatz aus Prüfungsdaten zusätzlich trainiert wurde. Die Daten stammen aus einer Vielzahl von Studiengängen der IU Internationalen Hochschule, die ein breites Spektrum von Disziplinen abdecken – von Geisteswissenschaften bis hin zu den MINT-Fächern. Dieses breite Spektrum soll laut Studie dafür sorgen, dass das ASAG-Modell der IU über verschiedene Disziplinen anwendbar und anpassungsfähig ist.

KI-Modell liegt im Durchschnitt näher an der Referenznote 

In einer mehrstufigen Datenanalyse hat das Forscher:innen-Team mit seinem ASAG-Modell in einem ersten Schritt gezeigt, dass KI auch Antworten aus bisher unbekannten Themengebieten gut auswerten kann. Ein anschließender Vergleich mit den Fachexpert:innen zeigte, dass ASAG bei der Bewertung der Studierendenantworten im Durchschnitt näher an der offiziellen Referenznote lag als die Bewertung durch Fachexpert:innen. Die größere Übereinstimmung bei der Bewertung deutet darauf hin, dass eine KI-gestützte Benotung menschliche Subjektivität bei der Benotung reduzieren und so potenziell die Fairness verbessern kann. Die Automatisierung der Benotung von Prüfungen mit offenen Fragen stellt für Lehrende eine erhebliche Arbeitserleichterung dar und kann zu besseren Ergebnissen für Studierende führen, indem durch einen automatisierten Bewertungsmechanismus menschliche Ungenauigkeiten und Fehler vermieden werden können.

Schaubild: Dargestellt sind die Verteilung der Abweichungen von der Referenznote sowohl für die menschlichen Prüfer:innen (links, blau) als auch für das ASAG-Modell (rechts, orange). Der Median der absoluten Abweichungen liegt bei 20,0 bzw. 11,1. Der Median des absoluten Fehlers des ASAG-Modells ist also 44 Prozent geringer als der Median des absoluten Fehlers menschlicher Prüfer:innen.

Quelle: ‘Beyond human subjectivity and error: a novel AI grading system’ (2024). IU Internationale Hochschule.

„Unsere Forschungsergebnisse sind ein weiterer Beweis dafür, wie KI das Bildungssystem in Zukunft verändern wird. Mit diesem Modell wollen wir die Idee vorantreiben, KI zusätzlich zur menschlichen Benotung einzusetzen, um damit die Konsistenz und Fairness für die Studierenden zu erhöhen und gleichzeitig negative Auswirkungen zu minimieren. Dieser völlig neue Ansatz verspricht nicht nur genauere Ergebnisse bei der Benotung, sondern eröffnet auch ungeahnte Möglichkeiten für die Weiterentwicklung von Benotungssystemen“, sagt Dr. Sven Schütt, CEO der IU Internationalen Hochschule.

„Die Einbindung von KI-gestützten Modellen in die Benotungsprozesse bietet erhebliche Vorteile: Zum einen erhalten Prüfer:innen dadurch einen externen Maßstab zum Abgleich ihrer eigenen Bewertung. Dies führt zu verminderter Varianz und somit erhöhter Fairness der Bewertung, was den Studierenden zugutekommt. Zum anderen entlastet es Professor:innen und Tutor:innen von langwierigen und sich wiederholenden Aufgaben, sodass sie sich stärker auf die Lehre und Betreuung der Studierenden konzentrieren können“, sagt Prof. Dr. Thomas Zöller, Professor für Data Science und Artificial Intelligence an der IU Internationalen Hochschule.

IU-Expert:innen geben Ausblick auf Zukunft

Das ASAG-Modell könnte nach Ansicht des IU-Forschungsteams bereits als Bewertungssystem eingesetzt werden. Die rechtlichen und akademischen Voraussetzungen sind laut den IU-Expert:innen jedoch noch nicht gegeben, da die KI-Technologie noch neu ist und Rahmenbedingungen fehlen, und aufgrund der schnellen technologischen Entwicklung im Bereich KI entstehen ständig neue Regelungen. Die Expert:innen und Prüfer:innen der IU empfehlen daher, sich zunächst auf ein Modell zu konzentrieren, bei dem menschliche Prüfer:innen durch KI-gestützte Automatisierung unterstützt werden, beispielsweise um Fehler abzugleichen und zu vermeiden.