| id_answer | r_it | P | n |
|---|---|---|---|
| iqvalue | -0.32 | 0.83 | 6 |
| pvalue | -0.32 | 0.67 | 6 |
Bei dieser Aufgabe geht es um die Umrechnung eines z-Werts in den ursprünglichen Rohwert, sowie die Bestimmung der Wahrscheinlichkeit des gegebenen z-Werts oder eines extremeren. Die Aufgabe ist neu, baut aber auf einer älteren Aufgabe auf, zu der wir bereits viele Daten haben.
Eine Zufallsvariante der Aufgabe sieht wie folgt aus:
Und kann auf Opal auch direkt ausprobiert werden: zstand
Für die Aufgabe gibt es eine recht ausführliche Erklärung. Bei Bedarf können weitere Details mit Studierenden in Übungen besprochen werden.
Die Aufgabe ist natürlich auch Bestandteil des Übungskurses. In diesem Fall ohne Modifikationen:
Validierung
Die Aufgabe ist in dieser Form noch ganz neu, daher gibt es momentan im Übungskurs noch kaum Daten hierzu. Da die Auswertung mittlerweile voll automatisch läuft, gibt es aber hier schon mal die Vorschau mit wenig Daten(r_it ist die Trennschärfe, P die Itemschwierigkeit):
Die Bearbeitung der Aufgabe liegt bei 101s.
In mehreren Klausuren haben wir einen Vorläufer dieser Aufgabe benutzt, bei dem allerdings nur die erste Frage in anderer Form gestellt wurde.
| year | GROUP | r_it | P | dur | n |
|---|---|---|---|---|---|
| 2021 | 1 | 0.42 | 0.80 | 589.03 | 122 |
| 2022 | 1 | 0.42 | 0.80 | 284.70 | 30 |
| 2022 | 2 | 0.41 | 0.55 | 307.59 | 22 |
| 2022 | 3 | -0.05 | 0.72 | 288.52 | 29 |
| 2022 | 4 | 0.37 | 0.65 | 365.71 | 31 |
| 2023 | 1 | 0.28 | 0.73 | 390.29 | 42 |
| 2023 | 2 | 0.28 | 0.80 | 382.85 | 27 |
| 2023 | 3 | 0.29 | 0.92 | 355.71 | 31 |
| 2023 | 4 | 0.36 | 0.92 | 424.48 | 33 |
Jede Zeile stellt eine Variante der Aufgabe dar (dur = duration, Dauer der Bearbeitung in Sekunden). 2022 sticht eine Version heraus (item_3), wobei wir bisher nicht herausfinden konnten, woran dies genau liegt. Da die Aufgabe sich mittlerweile jedoch verändert hat, lohnt es sich nicht hier weiter zu eruieren. Auffällig ist, dass die Trennschärfe über die Jahre leicht abgenommen hat. Dies ist zu erwarten, wenn die Aufgabe bekannt ist. 2024 haben wir die Aufgabe nicht verwendet. Durch einen Wechsel der Aufgaben jedes Jahr sollte es möglich sein die Trennschärfe auf einem gewissen Niveau zu halten.
Ein Problem der alten Version war, dass sie eine Single-Choice-Aufgabe war und Parallel-Versionen sich zu stark unterschieden. Bei der jetzigen Version wurden diese Probleme beseitigt. In der Zukunft wäre es sinnvoll eine Variante zu erstellen, bei der der z-Wert berechnet werden muss (statt der Rohwert).
Aufgabe in R nutzen
Der folgende Code erzeugt 20 Versionen der Aufgabe mit den Seeds 1 bis 20:
aufgabe <- methodenlehre::zstand(1:20)Diese könnten jetzt z. B. in eine Sektion gepackt werden, aus der man eine Variante zieht:
sektion <- section(aufgabe, selection = 1)Und der finale Test:
test <- test(identifier = "zstand", content = sektion)QTI zum Download
Den Test, den wir oben erzeugt haben, können wir nun auch als QTI-Datei schreiben:
createQtiTest(test, ".", verification = TRUE, zip_only = T)[1] "./zstand.zip"Über verification wissen wir, dass es eine valide QTI-Datei ist. Und mit zip_only bekommen wir nur die gezippte Datei.
Diese Datei kann man jetzt in Learning-Management-Systeme, die QTI 2.1 unterstützen, importieren. Unter Opal wäre es dann auch möglich diesen Test in andere Tests zu inkludieren. Beispielsweise wenn man als Dozent schon eine Klausur erstellt hat und diese um unsere Aufgabe erweitern möchte.