Kurz vorgestellt

Im Projekt Methodenguru entwickelt ein kleines Chemnitzer Team aus Dozent/-innen und Student/-innen ein neuartiges Lernsystem für das Fach Methodenlehre. Das Ziel des Projekts ist es, eine unbegrenzte Anzahl an validierten Übungsaufgaben zur Verfügung zu stellen. Dies wird durch Inhalte mit Zufallselementen erreicht, beispielsweise zufällig erzeugte Aussagen, Variablen, Modelle oder Abbildungen. So ist es möglich eine bestimmte Kompetenz wiederholt zu üben ohne, dass die Aufgaben ausgehen.

Die Vorteile dieses Ansatzes liegen auf der Hand: Studierende können ihr Wissen systematisch, in eigenem Tempo prüfen und direkt Feedback erhalten, was insbesondere vor einer Klausur wichtig ist. Lehrende sparen Ressourcen, da sie nicht immer wieder neue Aufgaben erstellen müssen. Zudem müssen Lehrende ihre „besten Aufgaben” nicht für eine Prüfung zurückhalten, da unbegrenzt viele Parallel-Versionen der Aufgaben vorliegen. Das Teilen der Aufgaben wird durch das standardisierte QTI-Format erleichtert, welches in gängige Learning-Management-System importiert werden kann.

Um die Aufgabenerstellung zu vereinfachen, entwickeln wir ein R-Paket für den QTI-Standard. Dieses low-level Paket kann anschließend für Interface-Pakete (wie exams) verwendet werden. Die Trennung zwischen QTI und Interface führen zu einfacherer Pflege und Erweiterung des Codes. Für unsere Interface-Implementierung haben wir auch einige innovative Features in peto.

„Methodenguru” soll die Methoden-Kompetenz der Studierenden nachhaltig stärken, sodass sie auch schwierige methodische Probleme in Studium und Beruf kompetent meistern.

Partner

Gefördert wird das Projekt großzügig von der Stiftung Innovation in der Hochschullehre für einen Zeitraum von 25 Monaten (2022-2024).

Unser Team ist angegliedert an die Professur für Forschungsmethodik und Evalution in der Psychologie der TU Chemnitz, die zur Zeit des Projekts Prof. Dr. Peter Sedlmeier inne hat.

Lang vorgestellt

Ausgangslage

Die Lernpsychologie zeigt, dass der Abruf von Gelerntem durch einen Test wichtiger ist als das wiederholte Lernen. Das stetige Überprüfen von Wissensinhalten ist also zentral, spielt in der realen Lehre (für uns psychologische Methodenlehre) jedoch eine untergeordnete Rolle. Frontalunterricht dominiert in den Veranstaltungen. In Übungen werden zwar Aufgaben bearbeitet, sobald jedoch die Lösungen bekannt sind, bringt ein erneutes Bearbeiten dieser Aufgaben kaum einen Mehrwert. Studierenden fehlt somit eine effektive Möglichkeit ihr Wissen systematisch, in eigenem Tempo zu prüfen und unmittelbar Feedback zu bekommen, was insbesondere vor einer Klausur wichtig ist. Lehrenden fehlen die Kapazitäten um viele verschiedene Aufgaben zu einem Thema zu erstellen und individuell Feedback an Studierende zu geben. Zudem geben Lehrende ungern Altklausuren heraus, da sie dann die darin enthaltenen Aufgaben für neue Klausuren nicht mehr verwenden können. Leider ist auch das Teilen von Aufgaben zwischen Dozent/-innen selten, da standardisierte Formate nicht genutzt werden.

Zentrale Herausforderungen und Problemstellungen

Die zentrale Herausforderung ist, dass es zu wenig hochwertige Übungsaufgaben in der Methodenlehre gibt. Die Erstellung von Aufgaben ist sehr aufwändig und die Wiederverwendbarkeit stark eingeschränkt. Es fehlen auch Kapazitäten individuell Feedback an Studierende zu geben. Daraus ergeben sich weitere Probleme. Studierende können nur begrenzt viel üben, obwohl gerade das wiederholte Überprüfen der eigenen Fähigkeiten den größten Lernfortschritt verspricht. Studierende haben auch nur selten die Möglichkeit echte Klausuraufgaben zu lösen, da diese von Lehrenden zurückgehalten werden. Lehrende fokussieren sich zu stark auf die Diskussion einiger weniger Aufgaben, anstatt Studierende wiederholt zu testen. Der Grund hierfür ist wiederum, dass zu wenig verschiedene Aufgaben zur Verfügung stehen.

Projektvorhaben, Maßnahmen und Projektziele

Wir verfolgen den Plan eine unbegrenzte Anzahl an Übungsaufgaben für das Fach Methodenlehre zur Verfügung zu stellen, indem wir dynamische Aufgaben konstruieren. Dynamische Aufgaben enthalten Zufallselemente, beispielsweise Zahlen oder Aussagen, sodass ein wiederholtes Testen einer bestimmten Kompetenz möglich wird. Ein einfaches Beispiel ist die Interpretation einer grafischen Datenanalyse. Durch eine Zufallsauswahl verschiedener Aufgabenfaktoren können Studierende immer wieder eine neue Aufgabe lösen wobei die gleiche Kompetenz geübt wird. Eine Beispiel ist unter mytuc.org/pvxy abrufbar. Momentan ist die Erstellung solcher Aufgaben eingeschränkt. Zwar gibt es grafische Oberflächen hierfür, diese sind aber unflexibel (z. B. ONYX). Die Erstellung komplexer Aufgaben mit zufällig generierten Abbildungen und Tabellen ist nicht möglich. Auf der anderen Seite gibt es Programmier-Pakete, wie r-exams (in der Programmiersprache R), die so etwas deutlich vereinfachen, die aber in den Aufgabenarten eingeschränkt sind. So ist es in r-exams nicht möglich Lückentexte oder Zuordnungsaufgaben zu erstellen.

Unser erstes Ziel ist die Erweiterung von r-exams zur Erstellung verschiedene Aufgabenarten. Hierfür ist die Struktur von r-exams in das objekt-orientierte Programmier-Paradigma zu überführen. Erst dadurch gelingt es neue Aufgabenarten hinzuzufügen, ohne die Wartbarkeit des Codes zu gefährden. Die Nutzung eines R- Pakets gründet auf der weiten Verbreitung von R in der Statistik und Methodenlehre.

Unser zweites Ziel ist es verschiedene Aufgaben, zugeschnitten auf die Themen die wir selbst fächerübergreifend unterrichten (Methodenlehre I und II) zu erstellen. Getestet werden sollen ungefähr 100 spezifische Kompetenzen. Dies deckt sich auch mit einem Kurs für Statistik (ähnlich der Methodenlehre) in den USA (https://www.khanacademy.org/math/ap-statistics), der 136 Kompetenzen prüft. Die Ausarbeitung der konkreten Kompetenzen erfolgt dabei auf Basis unserer langjährigen Lehrerfahrung und den vorhandenen (aber noch nicht dynamischen) Übungsmaterialien. Zudem wollen wir die Auswahl der Kompetenzen durch eine Experten- (MethodenprofessorInnen) und Nutzerbefragung (Studierende) empirisch überprüfen. Die Beschränkung auf das Fach Methodenlehre ist pragmatisch. Gleichzeitig ist es aber auch so, dass dieses Fach von Studierenden als schwierig wahrgenommen wird. Zudem baut jedes andere Fach in der Psychologie auf Methodenwissen auf.

Das dritte Ziel ist die systematische Validierung. In Übungen zur Methodenlehre (über 100 Studierende) werden im zweiten Jahr des Projekts die Aufgaben im Lehrkontext überprüft. Es sollen diagnostische Kriterien, wie Aufgabenschwierigkeit und Trennschärfe ermittelt werden. Zudem soll geprüft werden, ob die Aufgaben auf eine Dimension („Methodenkompetenz”) zurückführbar sind. In der finalen Validierung sollen die Aufgaben schließlich in Klausuren verwendet werden.

Das vierte Ziel ist es die gesammelten diagnostischen Informationen und die Aufgaben frei auf unserer Webseite methoden.guru zur Verfügung zu stellen. Für Studierende werden die Übungsaufgaben in einer sinnvollen Struktur, basierend auf einem Learning Management System (LMS) bereitgestellt. So können universitätsübergreifend alle Interessierten ihre Methodenkenntnisse überprüfen (nicht-Studierende eingeschlossen). Für Lehrende werden die Aufgaben im standardisierten Format Question and Test Interoperability specification (QTI) zur Verfügung gestellt, inklusive der diagnostischen Informationen. Der Standard QTI ermöglicht die Nutzung der Aufgaben in den meisten LMS. Somit ist eine gewisse Zukunftssicherheit gewährleistet. Für uns ist es wichtig, dass wir ein Projekt machen, von dem Lernende und Lehrende auch in 10 oder 20 Jahren noch profitieren. Die Nutzung von Standards wie QTI (gibt es seit 1999) und freier, open Source Software (Programmiersprache R) ist dabei von großer Bedeutung.

Beitrag zur Veränderung der Ausgangslage

Die beschriebene Ausgangslage wird folgendermaßen verändert:

1. Studierende haben die Möglichkeit Kompetenzen unbegrenzt oft in eigenem Tempo zu üben und unmittelbar Feedback zu bekommen.
2. Studierende haben die Möglichkeit sich eigenverantwortlich auf eine Klausur gezielt vorzubereiten. Sie üben das, was sie noch nicht gut können (aus den rund 100 Kompetenzen).
3. Lehrende können für Übungen oder Klausuren dynamische Aufgaben verwenden, die validiert wurden und in einem standardisierten Format vorliegen. Da die Aufgabenschwierigkeit erfasst wurde, können Lehrende mit leichten Aufgaben beginnen und die Schwierigkeit schrittweise erhöhen. Klausuren können gezielt in ihrer Schwierigkeit angepasst werden, was eine gewisse Fairness zwischen Klausuren sicherstellt.
4. Lehrende können eine Aufgabe sowohl in einer Übung als auch in einer Klausur verwenden. Da jede Aufgabe viele verschiedene Varianten hat, kann sie auch vor der Klausur bekannt sein. Die konkrete Lösung erfordert eine spezifische Kompetenz, kein reines Auswendiglernen.