| year | GROUP | r_it | P | dur | n |
|---|---|---|---|---|---|
| 2021 | 1 | 0.26 | 0.53 | 295.00 | 33 |
| 2021 | 2 | 0.49 | 0.66 | 293.80 | 25 |
| 2021 | 3 | 0.70 | 0.53 | 272.91 | 33 |
| 2021 | 4 | 0.36 | 0.35 | 266.39 | 31 |
| 2022 | 1 | 0.43 | 0.56 | 391.05 | 39 |
| 2022 | 2 | 0.37 | 0.48 | 334.96 | 25 |
| 2022 | 3 | 0.26 | 0.50 | 359.25 | 28 |
| 2022 | 4 | 0.21 | 0.71 | 381.71 | 21 |
| 2023 | 1 | 0.71 | 0.68 | 1129.90 | 42 |
| 2023 | 2 | 0.61 | 0.68 | 990.26 | 27 |
| 2023 | 3 | 0.73 | 0.78 | 943.55 | 31 |
| 2023 | 4 | 0.44 | 0.63 | 1164.76 | 33 |
| 2024 | 1 | 0.72 | 0.83 | 871.94 | 102 |
Bei dieser Aufgabe geht es um grundlegende und erweiterte Kenntnisse über die einfache lineare Regression.
Eine Zufallsvariante der Aufgabe mit allen Fragen sieht wie folgt aus (Achtung, der Screenshot ist sehr lang, da es 11 Fragen sind):
Und kann auf Opal auch direkt ausprobiert werden: Link
Für diese Aufgabe werden alle Berechnungen im Feedback angezeigt. Bei Bedarf können weitere Details mit Studierenden in Übungen besprochen werden.
Die Aufgabe ist natürlich auch Bestandteil des Übungskurses: https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/38156107780/CourseNode/1671679683121234006
In diesem Fall momentan ohne Modifikationen. In den letzten Jahren hatten wir nur einen Teil der Fragen in verschiedenen Sektionen gestellt, was aber zu einigen Schwierigkeiten führt.
Validierung
Die Aufgabe benutzen wir in der Basisform schon relativ lange, weshalb sowohl im Übungskurs als auch in Klausuren viele Antworten entstanden sind. Da die Aufgabe ursprünglich mit exams erstellt wurde, sind die Zuordnungen der Items jedoch schwierig (keine sinnvollen IDs). Die Struktur der Aufgabe in Sektionen mit zufälligen Ziehungen der Items ist für eine Validierung ebenfalls ungünstig. Wir konzentrieren uns daher zunächst auf die Klausuren, bei der alle Fragen gestellt wurden.
Jede Zeile stellt eine Variante der Aufgabe dar. 2024 haben wir nur eine Variante verwendet. Wichtig ist zu wissen, dass bis 2022 eine Multiple-Choice-Version verwendet wurde, bei der nur ein Teil der Fragen gestellt wurde. Erst 2023 hatten wir durch das Projekt methoden.guru die Möglichkeit die Aufgabe gezielt weiterzuentwickeln. Man sieht deutlich, dass es sich gelohnt hat. Im Vergleich zu den größtenteils mittelmäßigen Trennschärfen (r_it) 2021 und 2022, erreichten wir 2023 und 2024 die höchsten Trennschärfen, die wir bisher in Klausuren hatten. Insbesondere ist ermutigend, dass 2024 die Trennschärfe sogar höher war, obwohl die Aufgabe (in veränderter Form) zum Üben vorlag.
Die Lösungsrate ist im akzeptablen Bereich, scheint aber zuzunehmen, was wir im Blick behalten müssen.
Wichtig ist zu beachten, dass die Dauer der Bearbeitung recht hoch ist (dur). Es sind eben viele Fragen und 15min sind mindestens einzuplanen, besser mehr. Momentan glauben wir jedoch, dass die Regression ein so wichtiges Thema ist, dass man durchaus 15-20 Minuten in einer 90-minütigen Klausur darauf verwenden kann. Studierende sind so gezwungen zumindest die Basics der Regression zu durchdringen.
Die Analyse auf Item-Ebene für 2024 sieht wie folgt aus:
| id_question | id_answer | r_it | P | n |
|---|---|---|---|---|
| tovee | response_01 | 0.64 | 0.79 | 102 |
| tovee | response_02 | 0.66 | 0.87 | 102 |
| tovee | response_03 | 0.55 | 0.66 | 102 |
| tovee | response_04 | 0.68 | 0.88 | 102 |
| tovee | response_05 | 0.36 | 0.96 | 102 |
| tovee | response_06 | 0.64 | 0.92 | 102 |
| tovee | response_07 | 0.69 | 0.75 | 102 |
| tovee | response_08 | 0.69 | 0.76 | 102 |
| tovee | response_09 | 0.69 | 0.82 | 102 |
| tovee | response_10 | 0.75 | 0.80 | 102 |
| tovee | response_11 | 0.63 | 0.71 | 102 |
Tatsächlich sind alle Fragen stark korreliert mit dem Klausurergebnis. Frage 5 ist am wenigsten trennscharf, was kaum verwundert, denn das ist die Frage nach der statistischen Signfikanz. Man kann also raten. Die Ergebnisse deuten darauf hin, dass eine Zufallsauswahl der Fragen für eine Klausur möglich und sinnvoll ist.
Aufgabe in R nutzen
Wir erstellen 20 Versionen der Aufgabe:
library(methodenlehre)
aufgaben <- regression(1:20)Diese könnten jetzt z. B. in eine Sektion gepackt werden, aus der man eine Variante zufällig zieht:
sektion <- section(aufgaben, selection = 1)Und der finale Test:
test <- test(identifier = "regression", content = sektion)Weitere Details zur Aufgabenerzeugung kann man entsprechend im methodenlehre-Paket nachlesen. So ist z. B. die Auswahl der Fragen und der Studie für die Datenerzeugung möglich.
QTI zum Download
Den Test, den wir oben erzeugt haben, können wir nun auch als QTI-Datei schreiben:
createQtiTest(test, ".", verification = TRUE, zip_only = T)[1] "./regression.zip"Über verification wissen wir, dass es eine valide QTI-Datei ist. Und mit zip_only bekommen wir nur die gezippte Datei.
Diese Datei kann man jetzt in Learning-Management-Systeme, die QTI 2.1 unterstützen, importieren. Unter Opal wäre es dann auch möglich diesen Test in andere Tests zu inkludieren. Beispielsweise wenn man als Dozent schon eine Klausur erstellt hat und diese um unsere Aufgabe erweitern möchte.