Pilotprojekt: KI unterstützt Dozierende bei der Korrektur handgeschriebener Prüfungen

Weshalb das Pilotprojekt? 

Die Zahl der Studierenden im ersten Studienjahr ist stark angestiegen. Hunderte handschriftlicher Pr¨¹fungen manuell zu korrigieren, ist sehr aufwendig. Deshalb bieten viele Dozierende ihre Pr¨¹fungen inzwischen im Multiple-Choice-Format an, denn diese k?nnen maschinell korrigiert werden. Mithilfe einer KI-gest¨¹tzten Korrektur k?nnen Dozierende auch in grossen Lehrveranstaltungen handschriftliche Pr¨¹fungen anbieten. Diese bieten den Studierenden mehr Freiraum f¨¹r Herleitungen, Beweise, Skizzen und nachvollziehbare Argumentationsschritte. Sie k?nnen ihr Wissen so umfassender unter Beweis stellen, weil neben dem Ergebnis auch der L?sungsweg bewertet wird. 

Kann KI tats?chlich Pr¨¹fungen korrigieren? 

Die KI-gest¨¹tzte Korrektur von handschriftlichen Pr¨¹fungen eignet sich f¨¹r MINT-F?cher (Mathematik, Informatik, Naturwissenschaften und Technik) im ersten Studienjahr. Es handelt sich um exakte Wissenschaften mit klaren, gut nachvollziehbaren Regeln. Aktuelle KI-Modelle k?nnen diese Aufgaben l?sen und somit auch die entsprechenden Pr¨¹fungsantworten korrigieren. 

Wie funktioniert die KI-gest¨¹tzte Korrektur? 

Nachdem die Studierenden die Pr¨¹fungen auf Papier geschrieben haben, werden diese vor Ort oder sp?ter am jeweiligen Institut eingescannt und digitalisiert. Die Originale auf Papier werden archiviert. Das KI-System schl?gt dann eine bestimmte Anzahl Punkte pro Teilaufgabe vor. Sie st¨¹tzt sich dabei auf eine Bewertungsrubrik, in welcher die Dozierenden vorher festgelegt haben, wie viele Punkte sie f¨¹r welche Antwortelemente vergeben m?chten. Die Pr¨¹fenden f¨¹hren im Onlinesystem Stichproben durch und kontrollieren so die Qualit?t der Bewertung. Danach werden die Pr¨¹fungen zur Einsicht f¨¹r die Studierenden freigeschaltet. Sie k?nnen in einem bestimmten Zeitfenster (empfohlen werden zwei Wochen) bei den Bewertungen ein Veto einlegen. Tun sie dies, werden die von der KI zugewiesenen Punkte f¨¹r einen bestimmten Aufgabenteil verworfen und die Pr¨¹fung geht zur¨¹ck an die Pr¨¹fenden. Diese bewerten anschliessend die beanstandeten Aufgabenteile von Hand. 

Wie stellt man sicher, dass die KI mit der Bewertung nicht daneben liegt?  

Die Vergabe von Punkten ist transparent, und Studierende haben jederzeit die M?glichkeit, eine Bewertung anzuzweifeln und diese mit Lehrassistierenden oder Dozierenden zu besprechen. Die Software zur Verwaltung der KI-gest¨¹tzten Korrektur handschriftlicher Pr¨¹fungen ist open source und f¨¹r Interessierte einsehbar.  

Wie wurde das System getestet? 

Das entwickelte System wurde bei f¨¹nf Pr¨¹fungen in Mathematik, Thermodynamik und Chemie mit rund 1000 Studierenden getestet. Die Pr¨¹fungen wurden sowohl von den Dozierenden und ihren Assistierenden als auch von der KI bewertet. Die Bewertungen waren gr?sstenteils deckungsgleich. Gest¨¹tzt auf diese Ergebnisse hat sich das Rektorat f¨¹r den Pilotversuch entschieden. 

Was passiert mit den Pr¨¹fungsdaten? 

S?mtliche Daten werden auf Servern in Europa verarbeitet und auf ETH-eigenen Servern gespeichert. Die gescannten Pr¨¹fungen enthalten keine Studierendennamen, sondern Nummern, ¨¹ber welche nur ETH-intern eine Zuweisung zu Studierenden m?glich ist. Vertraglich wurde vereinbart, dass die verarbeiteten Daten nicht zum Trainieren der Modelle von Open AI genutzt werden.  

Wie sehen die rechtlichen Rahmenbedingungen f¨¹r ein KI-gest¨¹tzte Korrektur aus? 

Die Benotung geschieht weiterhin durch die Dozierenden, entsprechend den rechtlichen Vorgaben. Die KI verleiht lediglich Punkte f¨¹r die Antworten und z?hlt diese zusammen. Der Workflow des Projekts wurde gepr¨¹ft und erf¨¹llt die Anforderungen der ETH Z¨¹rich an Datenschutz und -sicherheit.  

Welche Vorteile bringt KI-gest¨¹tzte Korrektur f¨¹r die Studierenden? 

Mithilfe des Systems sind hunderte von Pr¨¹fungen in wenigen Stunden korrigiert. Wenn die Dozierenden die Pr¨¹fungen schnell freigeben, erhalten die Studierenden bereits am Tag nach der Pr¨¹fung Einblick in die vorl?ufigen Resultate. W?hrend die nachtr?gliche Pr¨¹fungseinsicht bisher oft mit viel Aufwand verbunden war, wird sie bei der KI-gest¨¹tzten Bewertung zum Normalfall.