Leistungsnachweise

Authentische Pr¨¹fungen spiegeln reale Aufgaben und Problemstellungen wider, mit denen Studierende in ihrem sp?teren Berufsleben konfrontiert werden. Ziel ist es, nicht nur Wissen abzufragen, sondern auch die Anwendung von F?higkeiten, kritisches Denken und Probleml?sungskompetenz in einem praxisnahen Kontext zu bewerten. Dieser Ansatz f?rdert tiefgreifendes Lernen und bereitet optimal auf die berufliche Realit?t vor.

Warum GenAI dies erfordert

Generative KI kann statische Wissensfragen m¨¹helos beantworten. Authentische Pr¨¹fungen sind daher notwendig, um die tats?chlichen F?higkeiten der Studierenden zu bewerten ¨C etwa Informationen zu analysieren, kritisch zu reflektieren und kreativ anzuwenden. Diese Kompetenzen gewinnen in einer zunehmend digitalen Welt stark an Bedeutung.

Konkrete Umsetzungsm?glichkeiten

Einige Wege, authentische Pr¨¹fungssettings zu gestalten, sind:

1. Fallstudien-Analyse: Studierende bearbeiten komplexe, realistische Fallstudien und pr?sentieren ihre L?sungen sowie die zugrunde liegenden ?berlegungen.
2. Projektbasierte Pr¨¹fungen: Bewertung anhand eines Semesterprojekts, das Planung, Umsetzung und Pr?sentation umfasst (¡ú projektbasierte Lehre an der ETH).
3. Simulierte Beratungsgespr?che: Rollenspiele, bei denen Studierende eine beratende Rolle einnehmen und ihr Fachwissen praxisnah anwenden.
4. Erstellung von Artefakten: Die Pr¨¹fungsleistung besteht in der Entwicklung eines realen Produkts, Plans oder Berichts.
5. Reflexions-E-Portfolio: Studierende dokumentieren und reflektieren ihren Lernprozess sowie die Anwendung von Kompetenzen ¨¹ber einen l?ngeren Zeitraum.

Metakognitive Strategien sind Techniken, mit denen Studierende ihre eigenen Denk- und Lernprozesse ¨¹berwachen und steuern. Solche ?bungen helfen ihnen, sich ihrer St?rken und Schw?chen sowie der f¨¹r sie am besten geeigneten Lernprozesse bewusster zu werden. Durch die aktive Planung, ?berwachung und Bewertung ihres Lernens k?nnen die Studierenden ihr Verst?ndnis und ihre Probleml?sungsf?higkeiten gezielt verbessern.

Typische Elemente metakognitiver Strategien:

• Planung: Ziele setzen, bevor mit einer Aufgabe begonnen wird.
• ?berwachung: Selbst¨¹berpr¨¹fung des Verst?ndnisses w?hrend des Arbeitsprozesses.
• Bewertung: Reflexion ¨¹ber das Ergebnis und dar¨¹ber, was k¨¹nftig anders gemacht werden k?nnte.
  

Warum GenAI dies erfordert

Die Integration metakognitiver ?bungen in Pr¨¹fungen ist notwendig, da sich der Fokus vom blossen Finden einer richtigen Antwort hin zur Demonstration kritischer F?higkeiten, Selbstregulierung und Bewertung verlagert. Da Studierende in der Lage sind, Informationen mithilfe von KI zu generieren, m¨¹ssen Pr¨¹fungen sich weiterentwickeln, um ihre F?higkeit zu messen, diese Inhalte zu hinterfragen, zu verifizieren und sinnvoll zu adaptieren.

Konkrete Umsetzungsm?glichkeiten

Wie metakognitive Strategien in Pr¨¹fungs- und Bewertungssituationen integriert werden k?nnen, zeigen folgende Beispiele:

1. Selbst- und Fremdbewertung: Studierende bewerten ihre eigene Arbeit sowie die eines Kommilitonen anhand klar definierter Kriterien.
2. Reflexions-Portfolio: Studierende erstellen ein Portfolio ihrer Arbeiten und verfassen eine abschliessende Reflexion ¨¹ber ihren Lernprozess, die Herausforderungen und ihre pers?nliche Entwicklung.
3. "Show Your Thinking"-Aufgaben: Die Pr¨¹fungsaufgaben verlangen nicht nur eine L?sung, sondern auch die schrittweise Dokumentation des Denkprozesses, einschliesslich der Begr¨¹ndung f¨¹r die gew?hlten Strategien.
4. Prozessorientierte Aufgabenstellung: Die Bewertung fokussiert sich prim?r auf den L?sungsweg. Studierende legen beispielsweise in einer Fallstudie die Phasen der Probleml?sung (Analyse, Planung, Umsetzung) detailliert dar.
5. Reflexion nach der Korrektur: Studierende analysieren ihre Fehler in einer korrigierten Arbeit, erkl?ren deren Ursachen und entwickeln einen Plan, wie sie diese k¨¹nftig vermeiden k?nnen.

Eine moderne Fehlerkultur in der Beurteilung versteht Fehler nicht als Scheitern, sondern als unverzichtbaren Bestandteil des Lernprozesses. Didaktisch bildet eine konstruktive Fehlerkultur eine zentrale Grundlage, da sie Lernprozesse f?rdert und die Entwicklung von Kompetenzen unterst¨¹tzt. Mit dem Aufkommen von GenAI gewinnt diese Haltung deutlich an Bedeutung: Statt ausschliesslich das Endergebnis zu bewerten, r¨¹cken nun der Prozess, die Entscheidungsfindung und die kritische Interaktion mit der Technologie in den Fokus. So entsteht eine Beurteilungskultur, die gezielt Kompetenzen wie kritisches Denken, Probleml?sung und Anpassungsf?higkeit im Umgang mit digitalen Inhalten f?rdert.

Warum GenAI dies erfordert

Da GenAI den Erstellungsprozess beschleunigt, wird die Entscheidungsfindung, die Art und Weise, wie KI angeleitet wird (Prompting) und wie mit den Ergebnissen umgegangen wird, wichtiger als das finale Produkt allein. Eine Beurteilung, die ausschliesslich auf das Endergebnis schaut, verfehlt zentrale Lern- und Kompetenzbereiche, die mit dem Einsatz von GenAI verbunden sind.

Konkrete Umsetzungsm?glichkeiten

1. Fehler als Diskussionsgrundlage: Fehler sollten nicht bestraft, sondern in Feedback-Gespr?chen als Ausgangspunkt f¨¹r Lernprozesse genutzt werden.
2. "Fail-Forward"-Mentalit?t: Etabliere eine Kultur, in der kontrolliertes Scheitern als Weg zur Innovation und Verbesserung verstanden wird. Siehe dazu auch Productive Failure als Learning Design.
3. Prozess- statt Ergebnisorientierung: Die Bewertung fokussiert sich nicht nur auf das Endergebnis, sondern auch auf den kreativen und iterativen L?sungsweg.

GenAI-basierte Tools er?ffnen vielf?ltige M?glichkeiten, R¨¹ckmeldung zu geben und Korrekturen zu unterst¨¹tzen. Schon die Standard-KI-Werkzeuge k?nnen hierbei eine effektive Hilfe sein. Dar¨¹ber hinaus werden spezifische Projekte verfolgt, die mithilfe von GenAI Analysen und Bewertungen vornehmen.

Beim Einsatz dieser Werkzeuge sind folgende Aspekte zentral:

1. Transparente Kommunikation: Der Einsatz von GenAI f¨¹r Bewertungen und R¨¹ckmeldungen muss gegen¨¹ber den Studierenden klar und offen kommuniziert werden, wie in den Download Leitlinien zum Einsatz generativer KI in der Lehre (PDF, 75 KB) dargelegt. Offenheit schafft Vertrauen und erm?glicht es den Studierenden, die Rolle der KI im Lernprozess besser zu verstehen.
   
2. Menschliche Kontrolle: Das Prinzip ?Human-in-the-loop¡° gilt es konsequent anzuwenden: Die endg¨¹ltige Bewertung muss unter menschlicher Aufsicht erfolgen, um Voreingenommenheit oder Fehlurteile zu vermeiden. Dies gew?hrleistet die p?dagogische und ethische Verantwortung der Dozierenden.
3. Bef?higung zur Selbstkorrektur und zum Lernen:  Studierende sollten aktiv dazu bef?higt werden, KI-Werkzeuge eigenst?ndig f¨¹r ihre Selbstkorrektur und ihr Lernen zu nutzen. Die Tools k?nnen dabei nicht nur Feedback geben, sondern auch konkrete Verbesserungsm?glichkeiten aufzeigen, sei es bei grammatikalischen Fehlern, logischen Inkonsistenzen oder Wissensl¨¹cken.

Bei diesem Ansatz basiert die Benotung prim?r auf dem erbrachten Arbeitsaufwand oder "Labor" der Studierenden basiert und nicht ausschliesslich auf der "Qualit?t" des Endprodukts. Es geht darum, dass Studierende die vereinbarten Aufgaben und Aktivit?ten in einem festgelegten Umfang erledigen. Dies f?rdert die aktive Teilnahme, das Engagement und die Risikobereitschaft im Lernprozess, da die Angst vor einer schlechten Note aufgrund vermeintlich "mangelnder Qualit?t" reduziert wird.

Praktische Umsetzung:

• Zu Beginn des Semesters wird ein "Vertrag" festgelegt, der den erforderlichen Arbeitsumfang f¨¹r verschiedene Notenstufen (z. B. Anzahl der Entw¨¹rfe, ?berarbeitungen, aktive Teilnahme) klar definiert.
• R¨¹ckmeldungen konzentrieren sich auf den Lernprozess, das Engagement und die Entwicklung von F?higkeiten, anstatt auf die Bewertung der Endprodukte nach traditionellen Qualit?tskriterien.

Specifications Grading konzentriert sich auf die Beherrschung spezifischer Lernziele oder "Spezifikationen". Anstatt Punkte f¨¹r einzelne Aufgaben zu vergeben, werden diese nach dem Prinzip Bestanden/Nicht bestanden (Pass/Fail) bewertet, basierend darauf, ob sie alle vorgegebenen Kriterien ("Spezifikationen") erf¨¹llen. Studierende k?nnen oft mehrere Versuche unternehmen, um die Spezifikationen zu erreichen. Die Endnote ergibt sich aus der Anzahl der erfolgreich abgeschlossenen "Bundles" von Spezifikationen. Dies schafft Transparenz, erm?glicht individuelles Lerntempo f?rdert das Verst?ndnis der Inhalte.

Praktische Umsetzung:

• F¨¹r jede Aufgabe werden detaillierte "Spezifikationen" (Kriterienkatalog) bereitgestellt, die pr?zise beschreiben, was f¨¹r ein Bestehen erforderlich ist, ohne Teilleistungen zu bewerten.
• Studierende erhalten "Tokens" oder Wiedervorlagem?glichkeiten, um Aufgaben bei Nichterreichen der Spezifikationen zu ¨¹berarbeiten und erneut einzureichen, bis die Anforderungen erf¨¹llt sind.

Dieser Bewertungsansatz misst den Fortschritt der Studierenden anhand klar definierter Lernstandards oder Kompetenzziele. Anstelle einer einzelnen Gesamtnote werden die Leistungen der Studierenden f¨¹r jeden einzelnen Standard bewertet. Dies erm?glicht eine detailliertere R¨¹ckmeldung dar¨¹ber, was die Studierenden bereits beherrschen, und wo sie noch Unterst¨¹tzung ben?tigen. Der Fokus liegt auf der kontinuierlichen Verbesserung und der schrittweisen Beherrschung der Standards ¨¹ber die Zeit, anstatt auf dem Durchschnitt von Noten aus verschiedenen Aufgaben.

Praktische Umsetzung:

• Der Kursinhalt wird in spezifische, messbare Lernstandards oder Kompetenzziele unterteilt, die den Studierenden transparent kommuniziert werden und an denen sich alle Bewertungen orientieren.
• Regelm?ssige formative Beurteilungen dokumentieren den Fortschritt der Studierenden bei der Beherrschung dieser Standards, oft unter Verwendung einer Skala, die den Grad der Beherrschung angibt (z.B. "Grundlegend", "Weiterf¨¹hrend", "Umfassend").

Digitale Pr¨¹fungen sind an der ETH Z¨¹rich bereits seit L?ngerem etabliert und finden in einem kontrollierten Pr¨¹fungssetting statt. Dabei kommen bew?hrte Systeme zum Einsatz, die sowohl die Sicherheit als auch die Funktionsvielfalt w?hrend der Durchf¨¹hrung gew?hrleisten.

Die digitale Pr¨¹fungsdurchf¨¹hrung an der ETH Z¨¹rich st¨¹tzt sich auf etablierte Softwarel?sungen, die sowohl auf ETH-Ger?ten als auch auf pers?nlichen Ger?ten (BYOD) eingesetzt werden. Der externe Seite Safe Exam Browser (SEB) sichert die Pr¨¹fungsrechner ab, indem er den Zugriff auf unerw¨¹nschte Ressourcen blockiert und gleichzeitig die Verbindung zum Moodle Testmodul herstellt. Moodle dient als zentrale Pr¨¹fungsplattform der ETH und ist f¨¹r diese Zwecke speziell optimiert. Es unterst¨¹tzt den gesamten Pr¨¹fungsprozess von der Fragenerstellung bis zur Korrektur und ist in der Lage, verschiedene Fragetypen sowie Integrationen f¨¹r komplexe Aufgaben zu handhaben.

Weitere detaillierte Informationen zu digitalen Pr¨¹fungen an der ETH Z¨¹rich und den eingesetzten Systemen finden sich auf der Webseite von EduIT unter Digitale Pr¨¹fungen.

M¨¹ndliche Pr¨¹fungen erm?glichen eine direkte Interaktion zwischen Pr¨¹fenden und Pr¨¹fungsteilnehmenden. Die pers?nliche Anwesenheit erlaubt es, Antworten gezielt zu hinterfragen und situativ zu bewerten, bei gleichzeitiger Sicherstellung der Pr¨¹fungsregeln.

Diese Pr¨¹fungsform kann auch gut in Erg?nzung zu anderen Formaten angewandt werden, um eine pr?zise Einsch?tzung der tats?chlich erworbenen fachlichen Kompetenzen zu erm?glichen, da Verst?ndnis und Transferleistungen unmittelbar sichtbar werden. Zudem lassen sich durch m¨¹ndliche Pr¨¹fungen auch ¨¹berfachliche Kompetenzen wie Probleml?sekompetenz und Kommunikationsf?higkeit feststellen.