| id_question | r_it_m | r_it_sd | difficulty_m | difficulty_sd | duration_m | duration_sd | good |
|---|---|---|---|---|---|---|---|
| section_30 | 0.57 | NA | 0.48 | NA | 4.51 | NA | TRUE |
| section_20 | 0.54 | 0.13 | 0.68 | 0.03 | 4.87 | 0.55 | TRUE |
| section_23 | 0.54 | 0.15 | 0.66 | 0.06 | 1.58 | 0.29 | TRUE |
| section_11 | 0.50 | NA | 0.85 | NA | 0.85 | NA | TRUE |
| section_18 | 0.49 | NA | 0.75 | NA | 1.18 | NA | TRUE |
| section_21 | 0.45 | 0.19 | 0.51 | 0.13 | 4.69 | 0.24 | TRUE |
| section_14 | 0.44 | NA | 0.75 | NA | 1.45 | NA | TRUE |
| section_22 | 0.43 | 0.16 | 0.70 | 0.18 | 1.51 | 0.23 | TRUE |
| section_28 | 0.42 | NA | 0.80 | NA | 9.82 | NA | TRUE |
| section_24 | 0.41 | 0.12 | 0.77 | 0.07 | 5.37 | 0.82 | TRUE |
| section_04 | 0.37 | NA | 0.86 | NA | 0.59 | NA | TRUE |
| section_17 | 0.36 | NA | 0.89 | NA | 1.01 | NA | TRUE |
| section_27 | 0.35 | NA | 0.61 | NA | 10.27 | NA | TRUE |
| section_16 | 0.30 | NA | 0.38 | NA | 2.19 | NA | TRUE |
| section_29 | 0.40 | NA | 0.92 | NA | 2.08 | NA | FALSE |
| section_08 | 0.35 | NA | 0.93 | NA | 0.40 | NA | FALSE |
| section_03 | 0.28 | NA | 0.65 | NA | 1.73 | NA | FALSE |
| section_13 | 0.25 | NA | 0.96 | NA | 0.45 | NA | FALSE |
| section_10 | 0.23 | NA | 0.72 | NA | 1.01 | NA | FALSE |
| section_26 | 0.23 | NA | 0.74 | NA | 2.98 | NA | FALSE |
| section_15 | 0.20 | NA | 0.25 | NA | 2.28 | NA | FALSE |
| section_07 | 0.20 | NA | 0.96 | NA | 0.66 | NA | FALSE |
| section_19 | 0.19 | NA | 0.71 | NA | 1.25 | NA | FALSE |
| section_02 | 0.19 | NA | 0.82 | NA | 1.31 | NA | FALSE |
| section_09 | 0.13 | NA | 0.94 | NA | 0.59 | NA | FALSE |
| section_06 | 0.11 | NA | 0.97 | NA | 0.42 | NA | FALSE |
| section_01 | 0.09 | NA | 0.90 | NA | 0.77 | NA | FALSE |
| section_12 | 0.04 | NA | 0.90 | NA | 1.17 | NA | FALSE |
| section_05 | NaN | NA | 1.00 | NA | 0.69 | NA | FALSE |
| section_25 | NaN | NA | 1.00 | NA | 5.85 | NA | FALSE |
| section_31 | 0.43 | NA | NaN | NA | NaN | NA | NA |
Im Archiv habe ich noch eine Klausur aus dem Jahre 2021 gefunden. Sie ist leider nicht gut gelabelt, aber eine Analyse lohnt sich trotzdem um gute alte Aufgaben nicht zu aus dem Blick zu verlieren.
Es gab 4 Versionen der Klausur, zu der jeder Teilnehmer zufällig zugelost wurde. Zum Zeitpunkt der Klausur haben wir noch das exams-Paket für die Aufgabenerstellung benutzt, weshalb es wirklich für jede Aufgabe 4 Versionen gab; selbst für diejenigen die eigentlich statisch sind (z. B. Single-Choice-Aufgaben). Für die Analyse werden diese 4 Versionen zusammengefasst über Mittelwerte und Standardabweichungen. Wir schauen uns heute nur die Statistiken auf der Aufgaben-Ebene an. Das Ziel ist es gute Aufgaben zu identifizieren und für methoden.guru zu nutzen.
Als Statistiken werden wir uns die Trennschärfe und Aufgabenschwierigkeit anschauen. Die Trennschärfe ist part-whole korrigiert. Zur groben Orientierung wird ein Filter gesetzt für Trennschärfen größer 0.3 und Itemschwierigkeiten zwischen 0.1 und 0.9.
Das \(N\) beträgt 122. Die folgende Tabelle zeigt die Itemschwierigkeiten (difficulty) und Trennschärfen (r_it) aggregiert über die 4 Versionen. Zusätzlich wird auch die Dauer der Bearbeitung in Minuten angezeigt. m: mean, sd = standard deviation
Die Klausur ist aus diagnostischer Perspektive nicht so schlecht zu bewerten. Es gibt einige Aufgaben mit Trennschärfen über 0.5, wobei das Maximum der neuen Aufgaben (0.69, siehe https://methoden.guru/posts/20230703_mlehreI/analysis_questions.html) deutlich entfernt ist.
Im folgenden gehe ich auf einige Aufgaben ein, und notiere mir gleichzeitig, was wir bereits in methoden.guru abgedeckt haben und was noch potentiell inkludiert werden könnte.
[ ] offene Frage Meta-Analyse
section_30 ist die Frage: “Was ist die Grundidee der MA. Was ist das Hauptergebnis der MA?”
Diese Aufgabe ist sehr trennscharf und schwer, allerdings nicht automatisch bewertbar (zumindest momentan nicht, in Zukunft mit KI eventuell schon). Ich erinnere mich auch an eine Single-Choice-Aufgabe zur Meta-Analyse, die sehr gut performt hat. Hier würde es sich anbieten einen Lückentext zu schreiben, sodass sich die Aufgabe nicht auswäscht.
[ ] section_20: boxplot MPC
Die Aufgabe ist auch 2022 dabei gewesen, dort aber etwas schlechter. Eine Umwandlung ins numerische Format bietet sich tatsächlich an.
[x] section_23: Frage nach Freiheitsgraden
Abgedeckt in Signfikanz-Test-Aufgaben.
[x] 11: Was gibt der Determinationskoeffizient an
Als SC bereits in Regressionsaufgabe enthalten.
[ ] 18: Was drückt Cohens d aus als SC
Hier lässt sich vielleicht Lückentext erstellen: einen __ Unterschied zwischen zwei __
[x] 21: MPC Regression
Bereits abgedeckt in neuer Regressions-Aufgabe.
[ ] 14: was beeinflusst die Länge eines KI?
Dies wäre schöne Aufgabe, die die neue Power2-Aufgabe ergänzt.
[x] 22: Power Aussagen
Bereits abgedeckt in der neuen Power2-Aufgabe.
[ ] 28: z-Aufgabe
Hier war die Aufgabe noch nicht abgenutzt und zeigt gute Eigenschaften. Eine Erweiterung wäre nicht schlecht, bei der man den z-Wert berechnen muss (statt umgekehrt den Rohwert).
[x] 24: Lagemaße
In der neuen Aufgabe Lagemaße abgedeckt.
[ ] 04: Was ist kein Problem der Messtheorie?
Eine Single-Choice-Aufgabe, die Potential als Lückentext hätte.
[ ] 17: Definition von p-Wert
[ ] 27: offene Frage zum KI
[ ] 16: Irrtumswahrscheinlichkeit
Die Frage nach der Zuordnung von Begriffen wäre eine gute Ergänzung zu den Signifikanztest-Aufgaben, die wir haben.
Zu guter Letzt kommt hier noch die Analyse für jede der 4 Klausurversionen, die aber nicht weiter diskutiert wird. NA bedeutet, dass eine Berechnung der Trennschärfe nicht möglich war, da die Lösungsrate bei 100% lag.
unaggregiert
| id_question | GROUP | r_it | difficulty | duration | score_max | n |
|---|---|---|---|---|---|---|
| section_01 | 1 | 0.09 | 0.90 | 0.77 | 1 | 122 |
| section_02 | 1 | 0.19 | 0.82 | 1.31 | 1 | 122 |
| section_03 | 1 | 0.28 | 0.65 | 1.73 | 1 | 122 |
| section_04 | 1 | 0.37 | 0.86 | 0.59 | 1 | 122 |
| section_05 | 1 | NA | 1.00 | 0.69 | 1 | 122 |
| section_06 | 1 | 0.11 | 0.97 | 0.42 | 1 | 122 |
| section_07 | 1 | 0.20 | 0.96 | 0.66 | 1 | 122 |
| section_08 | 1 | 0.35 | 0.93 | 0.40 | 1 | 122 |
| section_09 | 1 | 0.13 | 0.94 | 0.59 | 1 | 122 |
| section_10 | 1 | 0.23 | 0.72 | 1.01 | 1 | 122 |
| section_11 | 1 | 0.50 | 0.85 | 0.85 | 1 | 122 |
| section_12 | 1 | 0.04 | 0.90 | 1.17 | 1 | 122 |
| section_13 | 1 | 0.25 | 0.96 | 0.45 | 1 | 122 |
| section_14 | 1 | 0.44 | 0.75 | 1.45 | 1 | 122 |
| section_15 | 1 | 0.20 | 0.25 | 2.28 | 1 | 122 |
| section_16 | 1 | 0.30 | 0.38 | 2.19 | 1 | 122 |
| section_17 | 1 | 0.36 | 0.89 | 1.01 | 1 | 122 |
| section_18 | 1 | 0.49 | 0.75 | 1.18 | 1 | 122 |
| section_19 | 1 | 0.19 | 0.71 | 1.25 | 1 | 122 |
| section_20 | 1 | 0.39 | 0.71 | 4.78 | 2 | 31 |
| section_20 | 2 | 0.70 | 0.65 | 4.39 | 2 | 31 |
| section_20 | 3 | 0.53 | 0.67 | 5.64 | 2 | 33 |
| section_20 | 4 | 0.54 | 0.69 | 4.60 | 2 | 27 |
| section_21 | 1 | 0.26 | 0.53 | 4.92 | 2 | 33 |
| section_21 | 2 | 0.49 | 0.66 | 4.90 | 2 | 25 |
| section_21 | 3 | 0.70 | 0.53 | 4.55 | 2 | 33 |
| section_21 | 4 | 0.36 | 0.35 | 4.44 | 2 | 31 |
| section_22 | 1 | 0.24 | 0.86 | 1.38 | 1 | 29 |
| section_22 | 2 | 0.36 | 0.45 | 1.63 | 1 | 31 |
| section_22 | 3 | 0.52 | 0.81 | 1.76 | 1 | 31 |
| section_22 | 4 | 0.60 | 0.68 | 1.27 | 1 | 31 |
| section_23 | 1 | 0.73 | 0.69 | 1.25 | 1 | 32 |
| section_23 | 2 | 0.45 | 0.58 | 1.90 | 1 | 33 |
| section_23 | 3 | 0.37 | 0.70 | 1.73 | 1 | 27 |
| section_23 | 4 | 0.57 | 0.70 | 1.45 | 1 | 30 |
| section_24 | 1 | 0.41 | 0.75 | 5.74 | 2 | 36 |
| section_24 | 2 | 0.52 | 0.79 | 5.06 | 2 | 21 |
| section_24 | 3 | 0.27 | 0.72 | 6.06 | 2 | 37 |
| section_24 | 4 | 0.51 | 0.88 | 4.22 | 2 | 28 |
| section_25 | 1 | NA | 1.00 | 5.85 | 1 | 122 |
| section_26 | 1 | 0.23 | 0.74 | 2.98 | 1 | 122 |
| section_27 | 1 | 0.35 | 0.61 | 10.27 | 3 | 122 |
| section_28 | 1 | 0.42 | 0.80 | 9.82 | 2 | 122 |
| section_29 | 1 | 0.40 | 0.92 | 2.08 | 1 | 122 |
| section_30 | 1 | 0.57 | 0.48 | 4.51 | 2 | 122 |
| section_31 | 1 | 0.43 | NA | NA | NA | 122 |