| id_answer | r_it | P | n |
|---|---|---|---|
| h2 | 0.42 | 0.70 | 321 |
| kaiser | 0.05 | 0.96 | 321 |
| pa | 0.33 | 0.81 | 321 |
| var | 0.43 | 0.79 | 321 |
Bei dieser Aufgabe geht es um die Interpretation einer Faktorenanalyse. Die Daten werden gebootstrapped aus der klassischen Studie von Thurstone zu Intelligenz.
Eine Zufallsvariante der Aufgabe sieht wie folgt aus (Achtung, die Aufgabe ist sehr lang, daher auch der Screenshot):
Und kann auf Opal auch direkt ausprobiert werden: Link
Für diese Aufgabe wird die Lösung im Feedback angezeigt. Bei Bedarf können weitere Details mit Studierenden in Übungen besprochen werden.
Die Aufgabe ist natürlich auch Bestandteil des Übungskurses: https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/38156107780/CourseNode/1713148579151666008
In diesem Fall ohne Modifikationen.
Validierung
Schauen wir uns die bisherigen Daten aus dem Übungskurs an (r_it ist die Trennschärfe, P die Itemschwierigkeit):
Die Bearbeitung der Aufgabe liegt bei 142s.
Die Frage zum Kaiserkriterium kann man sich sparen, da diese zu einfach ist. Der Rest sieht aber in Ordnung aus.
Für die Beurteilung der Aufgabe, ist eine Klausur natürlich aussagekräftiger. Die Aufgabe kam bisher nur in der 2024er Klausur zum Einsatz:
| id_question | r_it | P | dur | n |
|---|---|---|---|---|
| fa2024 | 0.44 | 0.94 | 422.32 | 95 |
Die Trennschärfe ist gut, aber die Aufgabe ist insgesamt zu leicht. Die Analyse auf Itemebene ergibt:
| id_answer | r_it | P | n |
|---|---|---|---|
| h2 | 0.58 | 0.91 | 96 |
| kaiser | 0.48 | 0.99 | 96 |
| pa | 0.51 | 0.94 | 96 |
| var | 0.64 | 0.93 | 96 |
Nicht überraschend sind alle Items zu leicht, obwohl die Trennschärfen für die Items auch gut aussehen. Die Aufgabe war als Übungsaufgabe auch bei Methodenguru verfügbar, was die hohe Lösungsrate erklären könnte. Für Studierende, die die Aufgabe noch nicht gesehen haben, sollte die Lösungsrate deutlich geringer sein. In Zukunft brauchen wir mehr und komplexere Fragen zur Faktoren-Analyse um eine angemessene Schwierigkeit zu erreichen. Eine Möglichkeit könnte sein, eine Faktoren-Analyse mit wenigen Variablen und einem einzigen zu extrahierenden Faktor per Hand zu rechnen. Über die geometrische Intepretation der Faktoren-Analyse ist dies gut machbar aber durchaus anspruchsvoll.
Aufgabe in R nutzen
Wir erstellen 20 Versionen der Aufgabe mit den Seeds 1 bis 20:
library(methodenlehre)
aufgaben <- faktorenanalyse(1:20)Es ist immer besser eine Aufgabe in eine Sektion zu packen:
sektion <- section(aufgaben)Und der finale Test:
test <- test(identifier = "faktorenanalyse", content = sektion)Weitere Details zur Aufgabenerzeugung kann man entsprechend im methodenlehre-Paket nachlesen.
QTI zum Download
Den Test, den wir oben erzeugt haben, können wir nun auch als QTI-Datei schreiben:
createQtiTest(test, ".", zip_only = T)[1] "./faktorenanalyse.zip"Mit zip_only bekommen wir nur die gezippte Datei.
Diese Datei kann man jetzt in Learning-Management-Systeme, die QTI 2.1 unterstützen, importieren. Unter Opal wäre es dann auch möglich diesen Test in andere Tests zu inkludieren. Beispielsweise wenn man als Dozent schon eine Klausur erstellt hat und diese um unsere Aufgabe erweitern möchte.