Moodle: Wann und warum ist die Bewertungsmethode Rubric sinnvoll?

Universität Ulm

Vor kurzem erst haben wir Ihnen mit Rubric eine Bewertungsmethode in Moodle vorgestellt, die eine mehrdimensionale Bewertung von Lösungen erlaubt. Aber wann und für welche Zwecke ist das sinnvoll? Was sollten Sie aus didaktischer Sicht beachten?

Offene Aufgabenstellungen - wie z.B. Aufsätze, Argumentationen und Begründungen oder auch das Entwickeln von Forschungsdesigns und Verfassen von Berichten - erfordern von Studierenden selbst formulierte Antworten und ermöglichen so eine Vielzahl an Lösungswegen. Vorteile solcher Aufgabenstellungen sind, dass sie Auskunft darüber geben können, wie die Studierenden individuell eine kreative Lösung erarbeiten. Im Gegensatz zu geschlossenen Aufgaben (z.B. Multiple Choice, Zuordnungs- oder Umordnungsaufgaben) und halboffenen Formaten (z.B. Kurzantwortfragen, Rechen-, Ergänzungs- und Lückentextaufgaben und andere Aufgaben mit einer sehr begrenzten Zahl korrekter Lösungen) ist die Entwicklung von offenen Aufgaben zudem in der Regel einfacher und schneller möglich.

Der ökonomischen Erstellung offener Aufgabenstellungen stehen allerdings eine höhere Bearbeitungsdauer auf Seiten der Studierenden und eine aufwändigere Bewertung durch die Lehrenden gegenüber. Nicht zuletzt sehen sich offene Aufgaben dem (häufig berechtigten) Vorwurf der fehlenden Bewertungsobjektivität ausgesetzt.

Wie kann Sie die Bewertungsmethode Rubric beim Auswerten offener Aufgaben unterstützen?

Ein einzelne Gesamtbewertung einer offenen Aufgabe (also nur eine Note/Punktzahl) wird der komplexen Lösung oft nicht gerecht. Die Studierenden erwarten auf komplexe offene Aufgaben zurecht eine differenzierte Rückmeldung. Eine mehrdimensionale Betrachtung der Studierendenlösungen nach mehreren Kriterien erlaubt zudem eine bessere Vergleichbarkeit der Lösungen und erhöht die Transparenz Ihrer Bewertung. Speziell, wenn mehrere Bewerter die Lösungen der Studierenden beurteilen, begünstigt das Festlegen von Kriterien auch eine höhere Urteilerübereinstimmung (Interrater-Reliabilität).

Mit der Opens external link in new windowBewertungsmethode Rubric können Sie für die Auswertung Kriterien zur Bewertung vorgeben. Zudem ist es möglich, für jedes Kriterium Schwellen zu definieren, inwieweit diese erfüllt wurden, so dass die Bewertung in einer Punktzahl überführt werden kann. Für die Studierenden erhöht sich die Transparenz der Bewertung: Sie sehen, nach welchen Kriterien Ihre Arbeit bewertet wurde und können nachvollziehen, wie sich ihre persönliche Note bzw. Punktzahl zusammensetzt, wo die Stärken und Schwächen ihrer Lösung liegen und können so für ähnliche Aufgaben aus der Rückmeldung lernen.

Anwendungsbeispiele

Im Titelbild für diesen Beitrag sehen Sie bereits typische Kriterien und Abstufungen für eine offene Aufgabe. Hier haben wir noch weitere Beispiele für offene Aufgaben, passende Kriterien und mögliche Abstufungen zusammengetragen. Die Kriterien und Abstufungen in der folgenden Tabelle sind nicht vollständig und müssten für den speziellen Anwendungsfall selbstverständlich angepasst werden!

 

Beispiele für Rubric-Bewertungen
offene
Aufgaben
mögliche
Kriterien
mögliche Abstufungen
(jeweils nur 1. Kriterium)
Forschungsbericht zu einem Experiment (z.B. empirisches Praktikum, auch: Abschlussarbeit)-Umfassende theoretische Einbettung
- Nachvollziehbarer Roter Faden
- Gelungene Methodenbeschreibung
- ...
--> wichtige Quellen werden einbezogen und führen argumentativ zur Forschungsfrage hin (3 Punkte); es werden wichtige Quellen einbezogen, die Hinführung zur Forschungsfrage ist mit kleineren Schwächen gelungen (2 Punkte); es fehlen einige wichtige Quellen und/oder die Hinleitung zur Forschungsfrage weist Schwächen auf (1 Punkt); viele wichtige Quellen wurden nicht berücksichtigt und/oder die Argumentationsstruktur ist nicht nachvollziehbar (0 Punkte)
Begründung, welches Verfahren (Medikament, Messmethode, Strategie, Instrument) in einer bestimmten Situation gewählt werden sollte.- Einbezug relevanter Verfahren
- Vor- und Nachteile werden benannt
- Eine Entscheidung wird getroffen
- Nachvollziehbare Argumentation
--> vollständige Auflistung und Definition (2 Punkte); ein Verfahren nicht genannt ODER Definitionen mit Mängeln (1 Punkt); es fehlen mehrere wichtige Verfahrung ODER die Verfahren werden nicht beschrieben/definiert (0 Punkte)
Programmieraufgabe- Programm funktioniert
- Effizienz
- Layout
- Kommentare
--> fehlerfrei (1 Punkt); nur wenige Fehler, die die Funktion nicht wesentlich beeinträchtigen (0,5 Punkte); Programm läuft nicht/weist schwerwiegende Fehler auf (0 Punkte)

Ein weiteres - nicht universitäres Beispiel - für eine Bewertungsmethode nach dem Rubric-Schema kennen Sie übrigens wahrscheinlich von Produkttests, z.B. der Stiftung Warentest oder Ökotest. Für diese Tests werden vorab Kriterien festgelegt, die für die Bewertung und den Vergleich der Produkte relevant sind. Aus den Bewertungen der einzelnen Kriterien wird dann ein Gesamtscore gebildet. 

 Was sollten Sie bei der Entwicklung der Kriterien beachten?

Für die Rubric-Bewertung sind aus didaktischer Sicht die folgenden Schritte besonders relevant:

  1. Definieren Sie die Lernziele Ihrer Veranstaltung und ermitteln Sie, welches konkrete Lernziel (welche Kompetenzen) mit der jeweiligen Aufgabe abgeprüft werden soll.
  2. Überlegen Sie: Welche Merkmale der Lösung verraten Ihnen, ob das zu prüfende Lernziel erreicht wurde? --> Das sind Ihre Kriterien.
  3. Legen Sie fest, in welchen Abstufungen die Kriterien bewertet werden.
  4. Definieren Sie, woran die Auswerter der Aufgabe erkennen und unterscheiden, inwiefern ein Kriterium erfüllt wurde. Nutzen Sie dafür möglichst konkrete und kurze, gut prüfbare Aussagen.
  5. Idealerweise legen Sie die Aufgabe nun einem oder einigen wenigen Personen (z.B. Hilfskräften, Mitarbeitern/Kollegen) vor und lassen sie diese lösen. Die entstehenden Antworten korrigieren Sie und die weiteren Bewerter nun nach den zuvor entwickelten Kriterien. Ggf. stellen Sie fest, dass die Antworten Ihrer Fragentester in einer andere Richtung gingen, also von Ihnen intendiert. Passen Sie in diesem Fall die Aufgabenstellung sprachlich an. Ebenso sollten Sei die Ergebnisse Ihres Vortests nutzen, um die Kriterien ggf. anzupassen, sprachlich zu präzisieren und sich auf gemeinsame Standards mit den weiteren bewertenden Personen zu einigen.

Haben Sie noch Fragen zur Bewertungsmethode Rubric oder zum E-Learning allgemein? Das Team des Zentrums für E-Learning unterstützt Sie gerne! Rufen Sie an unter der -31166 oder schreiben Sie uns eine Email an Opens window for sending emailzel(at)uni-ulm.de.