Aufgabe stattest (Korrekten statistischen Test wählen)

Bei dieser Aufgabe geht es um die korrekte Auswahl des statistischen Tests für ein bestimmtes Design.

Eine Zufallsvariante der Aufgabe sieht wie folgt aus:

Und kann auf Opal auch direkt ausprobiert werden: Link

Für diese Aufgabe wird die Lösung im Feedback angezeigt. Bei Bedarf können weitere Details mit Studierenden in Übungen besprochen werden.

Die Aufgabe ist natürlich auch Bestandteil des Übungskurses: https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/38156107780/CourseNode/1711337578734648006

In diesem Fall ohne Modifikationen, es werden jedoch 2 Szenarien angezeigt.

Validierung

Schauen wir uns die bisherigen Daten aus dem Übungskurs an (r_it ist die Trennschärfe, P die Itemschwierigkeit):

id_question	r_it	P	dur	n
stattests_anova_btw	0.26	0.92	39.71	157
stattests_anova_mx	0.25	0.89	69.58	177
stattests_anova_wi	0.19	0.88	33.83	175
stattests_ca_btw	0.48	0.85	29.14	162
stattests_ca_mx	0.28	0.87	32.69	164
stattests_ca_wi	0.19	0.84	26.57	159
stattests_chisq2	0.19	0.83	28.60	174
stattests_chisq3	0.19	0.84	36.95	163
stattests_mcnemar	0.34	0.77	30.04	169
stattests_ttest_btw	0.19	0.87	101.25	161
stattests_ttest_wi	0.09	0.92	62.23	159
stattests_wilcox_btw_int	0.41	0.63	44.78	146
stattests_wilcox_btw_ord	0.36	0.74	53.31	190
stattests_wilcox_wi_in	0.35	0.70	41.68	168
stattests_wilcox_wi_ord	0.15	0.77	32.29	178

Die Bearbeitung der Aufgabe liegt bei 44s.

Die Schwierigkeiten sehen gut aus und bieten genügend Variation für eine gezielte Auswahl bei Klausuren. Zu beachten ist, dass nonparametrische-Tests deutlich schwieriger sind als parametrische. Insbesondere die Varianten des Wilcoxon-Tests weisen relativ geringe Lösungsraten auf.

Die Trennschärfen sind teilweise nicht befriedigend, was zum Teil durch die hohe Lösungsrate erklärt werden kann. Für die Beurteilung der Aufgabe, ist eine Klausur natürlich aussagekräftiger. Bisher wurden nur 2 Varianten in der Klausur 2024 benutzt:

id_question	r_it	P	dur	n
stattests_anova_mx	0.52	0.88	114.75	95
stattests_mcnemar	0.52	0.80	112.08	95

Die Trennschärfen (mit der Gesamtpunktzahl der Klausur) sind sehr gut. Wie auch bei den Übungsaufgaben scheinen seltener genutzte Tests (nonparametrische) schwieriger zu sein. Die mixed ANOVA ist allerdings auch besonders leicht zu erkennen, da dort 2 Faktoren manipuliert werden. Die Lösungsraten sind ungefähr auf dem Niveau der Übungsaufgaben, was für unsere Zwecke ideal ist. Obwohl Studierende den Skill vorher üben konnten, ist durch die schiere Anzahl an Möglichkeiten, ein Auswendiglernen nicht möglich. Berücksichtigt man noch, dass die Bearbeitungszeit bei 2 Minuten liegt, ist die Aufgabe stattest sehr effizient. Wir empfehlen sie daher ausdrücklich unseren Kollegen.

Aufgabe in R nutzen

Für eine Klausur sollte nur eine Variante der Aufgabe erstellt werden:

library(methodenlehre)
aufgabe <- stattest()

Es ist immer besser eine Aufgabe in eine Sektion zu packen:

sektion <- section(aufgabe)

Und der finale Test:

test <- test(identifier = "stattest", content = sektion)

Weitere Details zur Aufgabenerzeugung kann man entsprechend im methodenlehre-Paket nachlesen.

QTI zum Download

Den Test, den wir oben erzeugt haben, können wir nun auch als QTI-Datei schreiben:

createQtiTest(test, ".", zip_only = T)

[1] "./stattest.zip"

Mit zip_only bekommen wir nur die gezippte Datei.

stattest.zip

Diese Datei kann man jetzt in Learning-Management-Systeme, die QTI 2.1 unterstützen, importieren. Unter Opal wäre es dann auch möglich diesen Test in andere Tests zu inkludieren. Beispielsweise wenn man als Dozent schon eine Klausur erstellt hat und diese um unsere Aufgabe erweitern möchte.

Alle Versionen der Aufgabe: