Aufgabe Power2

Die Logik des Signifikanztests zu vermitteln ist anspruchsvoll. Wir haben hierzu verschiedene Aufgaben entwickelt, unter anderem power2. Bei dieser Aufgabe geht es darum zu verstehen, wie sich die Änderung eines Parameters beim Signifikanztest auf andere Parameter auswirkt.

Eine Zufallsvariante der Aufgabe sieht wie folgt aus:

Und kann auf Opal auch direkt ausprobiert werden: power2

Für die gesamte Aufgabe gibt es jeweils eine kurze Erklärung. Ausführlichere Erklärungen können mit Studierenden in Übungen besprochen werden.

Die Aufgabe ist natürlich auch Bestandteil des Übungskurses. In diesem Fall ohne Modifikationen:

https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/38156107780/CourseNode/

Validierung

Bisher wurde die Aufgabe nicht in Klausuren eingesetzt, allerdings stehen aus dem Übungskurs 1592 Antworten zu Verfügung. So ist zumindest die Berechnung der Trennschärfe und Schwierigkeit innerhalb einer Aufgabe möglich. sp = Stichprobengröße, e = Effekt, a = Alpha, + und - stehen für “wird größer/kleiner”. wg = wird größer, wk = wird kleiner, bg = bleibt gleich.

title	id_answer	r_it	P	n
power2a+	Beta wg	0.55	0.90	280
power2a+	Konfidenz wg	0.29	0.71	280
power2a+	Power wk	0.59	0.87	280
power2a-	Beta wk	0.42	0.90	248
power2a-	Konfidenz wk	0.24	0.80	248
power2a-	Power wg	0.60	0.89	248
power2e+	Beta wk	0.56	0.85	276
power2e+	Konfidenz bg	0.11	0.85	276
power2e+	Power wg	0.44	0.89	276
power2e-	Beta wg	0.57	0.85	242
power2e-	Konfidenz bg	0.18	0.86	242
power2e-	Power wk	0.51	0.90	242
power2sp+	Beta wk	0.54	0.86	228
power2sp+	Konfidenz bg	0.20	0.79	228
power2sp+	Power wg	0.43	0.92	228
power2sp-	Beta wg	0.57	0.85	257
power2sp-	Konfidenz bg	0.34	0.84	257
power2sp-	Power wk	0.55	0.90	257

Die Aufgabe ist eher als leicht zu bewerten, wobei hier Mehrfachteilnahmen natürlich wahrscheinlich sind – Da der Übungskurs frei zugänglich ist ohne Registrierung, wissen wir nicht, wer wie oft teilgenommen hat. Außerdem liegt die Ratewahrscheinlichkeit pro Item bei 1/3.

Die Trennschärfen sehen gut aus, bis auf die Frage nach der Konfidenz, die teilweise unter 0.3 fällt. Konfidenz als Begriff ist tatsächlich etwas verwirrend, aber meines Wissens nach ist es der korrekte Fachausdruck für die Wahrscheinlichkeit, die H0 anzunehmen, wenn sie stimmt.¹ Da diese Items schwerer sind, kann dies auch inhaltliche Gründe haben. Eventuell ist Studierenden nicht klar, dass bei steigender Stichprobengröße die Konfidenz sich nicht ändert, da man das Alphaniveau konstant hält (z. B. im Rahmen einer Power-Analyse). Es bleibt abzuwarten, ob sich die Aufgabe in echten Klausuren bewährt.

Die Antwortzeit beträgt <1 Minute für alle 3 Fragen.

Aufgabe in R nutzen

Der folgende Code erzeugt zufällig 1 der 6 möglichen Versionen der Aufgabe:

aufgabe <- methodenlehre::power2()

Obwohl wir nur eine Aufgabe haben, sollte diese in eine Sektion gepackt werden:

section <- new("AssessmentSection", assessment_item = list(aufgabe))

Und der finale Test:

test <- new("AssessmentTest", identifier = "power2",
            section = list(section))

Modifikationen der Aufgabe sind nicht sinnvoll. Man könnte aber in Zukunft weitere Fälle hinzufügen. Z. B. was passiert, wenn Beta kleiner/größer wird.

QTI zum Download

Den Test den, wir oben erzeugt haben, können wir nun auch als QTI-Datei schreiben:

createQtiTest(test, ".", verification = TRUE, zip_only = T)

[1] "./power2.zip"

Über verification wissen wir, dass es eine valide QTI-Datei ist. Und mit zip_only bekommen wir nur die gezippte Datei.

power2.zip

Diese Datei kann man jetzt in Learning-Management-Systeme, die QTI 2.1 unterstützen, importieren. Unter Opal wäre es dann auch möglich diesen Test in andere Tests zu inkludieren. Beispielsweise wenn man als Dozent schon eine Klausur erstellt hat und diese um unsere Skalenniveau-Aufgabe erweitern möchte.

Alle 6 Versionen der Aufgabe:

Fußnoten

Laut Neyman und Pearson müsste man eigentlich sagen, dass man sich so verhält, als ob die H0 stimmen würde, nicht, dass man sie annimmt oder ablehnt.↩︎