Aufgabe Skalenniveau

Skalenniveaus korrekt zu identifizieren ist eine Basisfähigkeit in jeder Methodenausbildung. Vermutlich braucht es sogar fünf oder mehr Fähigkeiten, die Skalenniveaus korrekt auseinanderzuhalten. Mit der Aufgabe skalenniveau decken wir diese Skills ab.

Die vollständige Aufgabe sieht wie folgt aus:¹

Und kann auf Opal auch direkt ausprobiert werden:

https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/43306188804

Es gibt keine ausführlichen Lösungen, da meist ersichtlich ist warum ein bestimmtes Skalenniveau erreicht wird.

Die Aufgabe ist natürlich auch Bestandteil des Übungskurses, dort jedoch modifiziert, sodass 5 Items zufällig gezogen werden:

https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/38156107780/CourseNode/1681439666122448006

In der Klausur stellen wir nur 1-2 Fragen.

Validierung

Bisher haben wir nur in einer Klausur zwei Items getestet, jedoch stehen uns aus dem Übungskurs 4500 Antworten zur Verfügung. Das ist selbst für 5 aus 56 zufällig gezogenen Items substantiell.

rows_id	rows	cols	cols_id	r_it	P	dur	n	item_nmbr
SK_I1	Telefonnummern	Nominal	N	0.31	0.86	68.97	98	1
SK_I2	Familienstand	Nominal	N	0.21	0.79	65.03	67	2
SK_I3	Geschlecht	Nominal	N	0.03	0.93	73.31	75	3
SK_I4	Blutgruppe	Nominal	N	0.16	0.86	60.94	83	4
SK_I5	Kontonummer	Nominal	N	0.20	0.88	57.19	81	5
SK_I6	Postleitzahl	Nominal	N	0.27	0.84	64.79	77	6
SK_I7	Teile eines Satzes in der Grammatik wie Nomen, Verb, Präposition, Artikel	Nominal	N	0.05	0.83	71.79	78	7
SK_I8	Einteilung von Pflanzen in verschiedene Familien	Nominal	N	0.14	0.89	71.75	84	8
SK_I9	Buchstaben eines Alphabets	Nominal	N	0.04	0.65	62.91	75	9
SK_I10	Unterteilung von Steinen in Ablagerungs- Vulkan u. metamorphes Gestein	Nominal	N	0.12	0.81	69.49	95	10
SK_I11	Autobahn-Nummern (A10, A72)	Nominal	N	0.20	0.86	68.81	85	11
SK_I12	Kleidergröße (S, M, L, XL)	Ordinal	O	0.30	0.80	69.92	85	12
SK_I13	Erziehungsstil (antiautoritär, ein bisschen autoritär, sehr autoritär)	Ordinal	O	0.25	0.75	64.83	75	13
SK_I14	Plätze in einem Sport-Wettbewerb	Ordinal	O	0.03	0.85	62.58	85	14
SK_I15	militärische Ränge	Ordinal	O	0.12	0.92	58.48	79	15
SK_I16	Pflegegrad eines Patienten	Ordinal	O	0.33	0.86	63.32	77	16
SK_I17	höchster erreichter Bildungsabschluss als Maß für Bildung	Ordinal	O	0.36	0.85	71.09	80	17
SK_I18	Schulnoten (sehr gut, gut, befriedigend, ausreichend, mangelhaft, ungenügend)	Ordinal	O	0.18	0.92	55.11	83	18
SK_I19	soziale Schicht	Ordinal	O	-0.01	0.73	66.61	71	19
SK_I20	Platzierungen beim 100-Meter-Lauf	Ordinal	O	0.18	0.83	72.40	89	20
SK_I21	Produktzufriedenheit (sehr zufrieden, eher zufrieden, eher unzufrieden, sehr unzufrieden)	Ordinal	O	0.19	0.85	65.61	71	21
SK_I22	Top 10 Musik-Charts	Ordinal	O	0.11	0.88	66.17	64	22
SK_I23	Schweregrad einer Depression	Ordinal	O	0.10	0.84	69.51	85	23
SK_I24	Top 250 Liste der besten Filme auf IMDB	Ordinal	O	0.13	0.81	72.58	77	24
SK_I25	Mohs Härtetest für Mineralien (numerische Zuordnung basierend darauf, dass harte Stoffe weiche Stoffe ritzen)	Ordinal	O	0.21	0.65	73.03	66	25
SK_I26	Energie-Label für Elektrogeräte (A, B, C, D, E, F, G)	Ordinal	O	0.41	0.82	58.40	67	26
SK_I27	subjektiv wahrgenommene Lautstärke einer Waschmaschine basierend auf Angabe in deziBel	Ordinal	O	0.30	0.50	80.91	92	27
SK_I28	Schleudereffizienz einer Waschmaschine in den Abstufungen A, B, C, D, E, F, G	Ordinal	O	0.19	0.87	60.55	91	28
SK_I29	Nutri-Score als Maß dafür wie gesund Lebensmittel sind (A, B, C, D, E)	Ordinal	O	0.32	0.86	74.97	86	29
SK_I30	Temperatur in Grad Celsius	Intervall	I	0.37	0.79	56.01	82	30
SK_I31	Temperatur in Grad Fahrenheit	Intervall	I	0.15	0.52	58.85	84	31
SK_I32	Jahreszahlen (nach Christi Geburt)	Intervall	I	-0.01	0.55	83.47	85	32
SK_I33	Körpergröße	Verhältnis	V	0.12	0.77	68.19	84	33
SK_I34	Temperatur in Grad Kelvin	Verhältnis	V	0.33	0.77	78.04	79	34
SK_I35	Körpergewicht	Verhältnis	V	0.35	0.74	68.82	78	35
SK_I36	Dauer der Schulzeit in Jahren	Verhältnis	V	0.21	0.57	73.83	75	36
SK_I37	Reaktionszeit in Sekunden bei einem kognitiven Test	Verhältnis	V	0.29	0.70	72.33	73	37
SK_I38	Schlafdeprivation in Stunden	Verhältnis	V	0.18	0.70	68.56	81	38
SK_I39	Stromverbrauch in kWh	Verhältnis	V	0.43	0.84	61.39	75	39
SK_I40	Wohnfläche in m²	Verhältnis	V	0.16	0.77	75.35	82	40
SK_I41	elektrische Leitfähigkeit der Haut (elektrodermale Aktivität) gemessen in Microsiemens	Verhältnis	V	0.14	0.71	74.16	70	41
SK_I42	Energieverbrauch einer Waschmaschine pro 100 Waschgänge in kWh	Verhältnis	V	0.47	0.77	65.22	78	42
SK_I43	Dauer des Energiesparprogramms einer Waschmaschine in Stunden	Verhältnis	V	0.47	0.75	69.43	88	43
SK_I44	Fassungsvermögen einer Waschmaschine in kg	Verhältnis	V	0.17	0.74	77.50	80	44
SK_I45	Anzahl der Psychologiestudierenden an Univesitäten	Absolut	A	0.21	0.81	85.01	90	45
SK_I46	Anzahl der Einwohner verschiedener Städte	Absolut	A	0.38	0.73	58.22	64	46
SK_I47	Anzahl von Bonbons in einer Tüte	Absolut	A	0.15	0.76	76.70	71	47
SK_I48	Seitenzahl verschiedener Bücher	Absolut	A	0.25	0.45	76.77	74	48
SK_I49	Anzahl an Feiertagen pro Jahr verschiedener Länder	Absolut	A	0.45	0.67	76.91	95	49
SK_I50	Anzahl der Dateien auf einem Datenträger	Absolut	A	0.19	0.66	66.48	86	50
SK_I51	Speicherplatz eines Datenträgers in Byte	Verhältnis	V	0.30	0.68	64.35	91	51
SK_I52	Länge verschiedener Youtube-Videos in Minuten	Verhältnis	V	0.35	0.71	65.79	86	52
SK_I53	Anzahl von Kommentaren unter einem Youtube-Video	Absolut	A	0.43	0.80	63.44	94	53
SK_I54	Anzahl an Likes eines Youtube-Videos	Absolut	A	0.23	0.70	72.22	83	54
SK_I55	subjektiv wahrgenommene Helligkeit von Leuchtmitteln basierend auf dem Lichtstrom in Lumen	Ordinal	O	0.08	0.54	81.16	76	55
SK_I56	Skalenniveaus (Nominal, Ordinal, Intervall, Verhältnis, Absolut)	Ordinal	O	0.10	0.67	70.83	75	56

Hier sehen wir, dass die Trennschärfe (r_it) für viele Items leider zu gering ist. Die Items sind tendenziell leich (P), aber es gibt auch einige schwere. Die brauchbaren Items können für Klausuren genutzt werden, der Rest kann aber weiterhin zur Übung verwendet werden.

Es bleibt natürlich offen wie die Trennschärfe in einer echten Klausur ausfällt, was in der Zukunft aber erfasst werden kann.

Aufgabe in R erstellen

Wir wollen eine Klausur-Version erstellen, d. h. wir filtern automatisch nach guten Items (Trennschärfe größer 0.3 und Itemschwierigkeit zwischen 0.1 und 0.9). Zu beachten ist, dass hier mehrere Varianten ungünstig wären, denn man kann nicht sicherstellen, dass echte Parallel-Versionen existieren. Daher würden wir empfehlen allen Studierenden die selben Fragen zu stellen.

Der folgende Code zieht zufällig zwei aus den guten Items und erzeugt eine Single-Choice-Tabelle.

skalenniveau <- methodenlehre::skalenniveau_klausur()

Obwohl wir nur ein Tabelle haben, bietet es sich an diese trotzdem in eine Sektion zu packen:

section <- new("AssessmentSection", assessment_item = list(skalenniveau))

Und der finale Test:

test <- new("AssessmentTest", identifier = "skalenniveau",
            section = list(section))

Modifikationen sind über andere skalenniveau-Funktionen aus dem Paket methodenlehre leicht vorzunehmen. Die Dokumentation hilft weiter. Tatsächlich ist es ein Kinderspiel sich aus einer Tabelle Single-Choice-Aufgaben zu konstruieren über die Funktion df2sctable. Notwendig ist es aber nicht, da wir die guten Items bereits für die Klausur-Funktion der Aufgabe nutzen.

QTI zum Download

Den Test, den wir oben erzeugt haben, können wir nun auch als QTI-Datei schreiben:

createQtiTest(test, ".", verification = TRUE, zip_only = T)

[1] "./skalenniveau.zip"

Über verification wissen wir, dass es eine valide QTI-Datei ist. Und mit zip_only bekommen wir nur die gezippte Datei.

skalenniveau

Diese Datei kann man jetzt in Learning-Management-Systeme, die QTI 2.1 unterstützen, importieren. Unter Opal wäre es dann auch möglich diesen Test in andere Tests zu inkludieren. Beispielsweise wenn man als Dozent schon eine Klausur erstellt hat und diese um unsere Skalenniveau-Aufgabe erweitern möchte.

Weitere Versionen zur Variation:

Fußnoten

Das ist der Viewport im Browser, weshalb der untere Teil abgschnitten ist. Man kann natürlich runterscrollen und alle 56 Items sehen.↩︎