Aufgabe power_type (Arten von Poweranalysen verstehen)

Bei dieser Aufgabe geht darum verschiedene Poweranalysen zu verstehen. Innerhalb eines bestimmten Szenarios muss entschieden werden, welche Parameter für die Poweranalyse festgelegt werden müssen.

Eine Zufallsvariante der Aufgabe sieht wie folgt aus:

Und kann auf Opal auch direkt ausprobiert werden: Link

Für diese Aufgabe werden alle Lösungen im Feedback angezeigt. Bei Bedarf können weitere Details mit Studierenden in Übungen besprochen werden.

Die Aufgabe ist natürlich auch Bestandteil des Übungskurses: https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/38156107780/CourseNode/1713926454224363011

In diesem Fall ohne Modifikationen, aber mit 2 zufällig gezogenen Aufgaben.

Validierung

Zunächst die Validierung der Übungsaufgaben (r_it ist die Trennschärfe, P die Itemschwierigkeit):

type	id_answer	r_it	P	n
aprior	A(,u	0.00	0.89	739
aprior	Alph	0.69	0.85	279
aprior	AnzG	-0.06	0.85	717
aprior	EidP	0.70	0.86	545
aprior	Powr	0.70	0.91	468
compro	A(,u	0.32	0.90	532
compro	AnzG	-0.08	0.86	808
compro	EidP	0.66	0.85	551
compro	Stch	0.63	0.89	436
postho	A(,u	0.20	0.94	454
postho	Alph	0.68	0.92	360
postho	AnzG	-0.08	0.91	990
postho	EidP	0.65	0.92	739
postho	Stch	0.70	0.92	433

Die Bearbeitung der Aufgabe liegt bei 28s.

Bei dieser Aufgabe muss man die Art der Power-Analyse beachten, daher sind sind die Statistiken danach gruppiert. Die ids sind noch nicht optimal, wurden aber bereits angepasst in der neuen Version.

Die Trennschärfen variieren sehr stark. Auffällig ist EidP, was Effekt in der Population bedeutet, mit einer sehr hohen Trennschärfe. Das ist etwas überraschend, denn die Effektgröße muss immer festgelegt werden. AnzG (Anzahl Gruppen) funktioniert offensichtlich nicht. Tatsächlich kann das eine Fangfrage sein. Bei einer Korrelation gibt es beispielsweise keine Gruppen, die man festlegen könnte; obwohl man natürlich bei anderen Verfahren, wie der ANOVA, durchaus die Gruppen festlegen müsste. Weitere Subgruppen-Analysen lohnen sich bei den Fallzahlen momentan jedoch nicht. A(,u steht für Alternativehypothese (gerichtet, ungerichtet), auch hier spielt die Art des Tests eine Rolle.

Die restlichen Trennschärfen sehen aber sehr gut aus, wie auch die Schwierigkeiten.

Für die Beurteilung der Aufgabe ist eine Klausur natürlich aussagekräftiger. Die Aufgabe kam bisher nur in der 2024er Klausur zum Einsatz:

id_question	r_it	P	dur	n
power_type2024aprioriCor	0.53	0.91	91.41	95

Die Trennschärfe ist als gut zu beurteilen, aber die Lösungsrate ist vergleichsweise hoch. Trotzdem ist die Aufgabe zu empfehlen, da sie genügend Varianten bietet und die Bearbeitungszeit kurz ist. Die Frage nach der Anzahl der Gruppen könnte ggf. entfernt werden. Da es aber nicht beliebig viele Distraktoren bei diesem Thema gibt, behalten wir sie zunächst bei.

Aufgabe in R nutzen

Für die Klausur ist es sinnvoll nur eine einzige Version zu verwenden, da die Szenarien zu stark variieren um von Parallelversionen sprechen zu können. Wir erstellen also eine Version mit dem seed 2024 (das Jahr als seed ist eine einfache Möglichkeit Struktur reinzubringen):

library(methodenlehre)
aufgabe <- power_type(seed = 2024)

Eine Sektion vereinfacht die Kompatibilität mit verschiedenen Learning-Management-Systemen:

sektion <- section(aufgabe)

Und der finale Test:

test <- test(identifier = "power_type", content = sektion)

Weitere Details zur Aufgabenerzeugung kann man entsprechend im methodenlehre-Paket nachlesen.

QTI zum Download

Den Test, den wir oben erzeugt haben, können wir nun auch als QTI-Datei schreiben:

createQtiTest(test, ".", verification = TRUE, zip_only = T)

[1] "./power_type.zip"

Über verification wissen wir, dass es eine valide QTI-Datei ist. Und mit zip_only bekommen wir nur die gezippte Datei.

power_type.zip

Diese Datei kann man jetzt in Learning-Management-Systeme, die QTI 2.1 unterstützen, importieren. Unter Opal wäre es dann auch möglich diesen Test in andere Tests zu inkludieren. Beispielsweise wenn man als Dozent schon eine Klausur erstellt hat und diese um unsere Aufgabe erweitern möchte.

Weitere Versionen der Aufgabe: