| id_answer | r_it | P | n |
|---|---|---|---|
| ki_bin_ll | 1 | 0.12 | 8 |
| ki_bin_ul | 1 | 0.12 | 8 |
Bei dieser Aufgabe geht es um die Berechnung eines Konfidenzintervalls für Anteile, eingebettet in einen klinischpsychologischen Kontext mit echten Daten zur Prävalenz psychischer Störungen.
Eine Zufallsvariante der Aufgabe sieht wie folgt aus:
Und kann auf Opal auch direkt ausprobiert werden: Link
Für diese Aufgabe werden alle Berechnungen im Feedback angezeigt. Bei Bedarf können weitere Details mit Studierenden in Übungen besprochen werden.
Die Aufgabe ist natürlich auch Bestandteil des Übungskurses: https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/38156107780/CourseNode/1712543650688251007
In diesem Fall ohne Modifikationen.
Validierung
Die Aufgabe ist neu und wurde nur in einer Klausur eingesetzt. Im Übungskurs sind entsprechend noch kaum Teilnahmen zu verzeichnen. Da die Auswertung mittlerweile voll automatisch läuft, gibt es aber hier trotzdem schon mal die Vorschau aus dem Übungskurs (r_it ist die Trennschärfe, P die Itemschwierigkeit):
Die Bearbeitung der Aufgabe liegt bei 170s.
In der Klausur sieht es wie folgt aus:
| year | GROUP | r_it | P | dur | n |
|---|---|---|---|---|---|
| 2024 | 1 | 0.31 | 0.28 | 1066.59 | 102 |
Die Trennschärfe ist noch gerade so akzeptabel, die Lösungsrate recht niedrig. Nach einer subjektiven Einschätzung waren viele Studierende überfordert mit dieser Aufgabe. Sie haben sie in dieser Form wohl nicht erwartet, obwohl wir in der Übung Konfidenzintervalle für Anteile berechnet haben. Hier bleibt abzuwarten, ob sich die Aufgabe bewährt, wobei sie so grundlegend ist, dass wir sie sicher beibehalten werden. Grundsätzlich ist es günstig auch schwere Items in einer Klasur zu nutzen um die leistungsstarken Studierenden besser zu differenzieren. Tatsächlich würden ohne eine solch schwere Aufgabe sehr viele Studierende eine 1,0 schaffen.
Aufgabe in R nutzen
Wir erstellen 20 Versionen der Aufgabe:
library(methodenlehre)
aufgaben <- ki_bin(1:20)Diese könnten jetzt z. B. in eine Sektion gepackt werden, aus der man eine Variante zufällig zieht:
sektion <- section(aufgaben, selection = 1)Und der finale Test:
test <- test(identifier = "ki_bin", content = sektion)Weitere Details zur Aufgabenerzeugung kann man entsprechend im methodenlehre-Paket nachlesen. So ist z. B. die Auswahl der Fragen und der Studie für die Datenerzeugung möglich.
QTI zum Download
Den Test, den wir oben erzeugt haben, können wir nun auch als QTI-Datei schreiben:
createQtiTest(test, ".", verification = TRUE, zip_only = T)[1] "./ki_bin.zip"Über verification wissen wir, dass es eine valide QTI-Datei ist. Und mit zip_only bekommen wir nur die gezippte Datei.
Diese Datei kann man jetzt in Learning-Management-Systeme, die QTI 2.1 unterstützen, importieren. Unter Opal wäre es dann auch möglich diesen Test in andere Tests zu inkludieren. Beispielsweise wenn man als Dozent schon eine Klausur erstellt hat und diese um unsere Aufgabe erweitern möchte.