Volltext-Downloads (blau) und Frontdoor-Views (grau)

Anwendung und Evaluation von semi-automatischem Assessment und Learning Analytics als Hilfsmittel zur prozessorientierten Lernunterstützung

  • Technologiegestütztes Lernen spielt auf allen Ebenen des Bildungswesens eine immer größere Rolle. Der Einsatz von computergestützten Lernumgebungen und der durch ihre Nutzung entstehenden Daten eröffnen vielfältige Möglichkeiten, um Lernangebote durch Personalisierung und individualisiertes Feedback auf die Bedürfnisse der Lernenden auszurichten. Insbesondere zur Entwicklung von komplexen, prozessbezogenen Kompetenzen sind solche auf den individuellen Lernprozess ausgerichteten Lernumgebungen notwendig. Ziel dieser Arbeit ist es herauszufinden, nach welchen Gestaltungsprinzipien eine computergestützte Lernumgebung aufgebaut sein muss, um Studierende bei der Bearbeitung von prozessbezogenen Lernaufgaben individuell zu unterstützen und zu fördern. Im Rahmen eines entwicklungsorientierten Forschungsansatzes (Design-Based Research) wurde hierzu ein Architekturmodell entwickelt, das prototypisch umgesetzt und in mehreren iterativen Entwicklungszyklen im Hochschulkontext eingesetzt und evaluiert wurde. Das Architekturmodell umfasst im Wesentlichen zwei Komponenten: Lernprogramme mit semi-automatischem Assessment zur schrittweisen Bearbeitung von prozessbezogenen Lernaufgaben und eine Learning-Analytics-Infrastruktur zur Aufzeichnung und Auswertung der stattgefundenen Lösungsprozesse. Durch das Zusammenspiel von automatischen und manuellen Analysen auf verschiedenen Ebenen des Architekturmodells, lässt sich mit dem vorgeschlagenen System ein umfassender formativer Assessmentprozess in der Hochschullehre umsetzen. Durch den erfolgreichen Einsatz eines prototypisch umgesetzten Lernprogramms mit semi-automatischem Assessment und der Learning-Analytics-Infrastruktur in drei Hochschul-veranstaltungen konnte die Praktikabilität und die Umsetzbarkeit des vorgeschlagenen Ansatzes gezeigt werden. Eine Befragung der teilnehmenden Studierenden sowie die Auswertung der im Rahmen der Evaluation automatisch aufgezeichneten Lerndaten in Bezug auf die beobachtete Nutzungshäufigkeit des Lernprogramms und die Nutzungsintensität der prozessbezogenen Rückmeldungen belegen die Akzeptanz dieses Unterstützungsangebots bei der selbständigen Aufgabenbearbeitung. Weiterführende Analysen der Lerndaten zeigten, dass durch statistische Auswertungen der Prozessaufzeichnungen kritische Punkte im Lösungsprozess erkannt werden können. Diese Punkte liefern Hinweise darauf, wann zusätzliche Maßnahmen ergriffen werden sollten, um den Lernprozess zu unterstützen. Die an der Evaluation beteiligten Lehrenden bewerten den Einsatz von Lernprogrammen mit semi-automatischem Assessment und deren Einbindung in eine Learning-Analytics-Infrastruktur vorteilhaft und sehen sowohl in den Lernprogrammen als auch in den Auswertungen der aufgezeichneten Lerndaten einen didaktischen Mehrwert. Mit der Übertragung des vorgeschlagenen Modells auf ein weiteres Anwendungsgebiet wurde gezeigt, dass sich das Modell als allgemeingültiger Ansatz für die prozessorientierte Lernunterstützung im Hochschulkontext eignet. Insgesamt wird mit dem vorgeschlagenen Modell aufgezeigt, wie eine innovative Lernumgebung und –infrastruktur aussehen kann, in der computergestütztes Assessment, Methoden aus dem Bereich Learning Analytics und menschliche Expertise kombiniert werden, um Studierende individuell und prozessorientiert zu unterstützen.
  • Technology-enhanced learning is increasingly relevant in the whole field of education. Implementing technology-enhanced learning environments and using the generated data when working and learning in such an environment, offers many opportunities to personalize learning and to provide feedback tailored to the individual learner. In higher education, learning environments providing such characteristics are needed to support students in developing complex skills and practices. This thesis aims at identifying design principles for a technology-enhanced learning environment that supports learners in solving complex, open-ended tasks. Applying a design-based research approach, a conceptual model is being developed and described that addresses the requirements of such learning environments. The conceptual model is implemented as a prototype and evaluated in iterative development cycles in a real-life university setting. The conceptual model comprises two major components: (1) digital learning tools with semi-automatic assessment for solving step-wise exercises, and (2) a learning analytics infrastructure for recording and analyzing the learners’ solution processes. By combining automatic and manual analyses at different levels of the conceptual model, the system supports a comprehensive formative assessment cycle in the context of higher education. For evaluating the proposed architectural model, the prototypically implemented system was used in three courses at university. The evaluation was conducted based on a questionnaire for students and an in-depth analysis of the automatically recorded learning data. The participating students used the digital learning tool with semi-automatic assessment successfully, thus demonstrating the practicability and feasibility of the proposed architecture. User acceptance of the learning tool and the process-oriented feedback model has been proved by the observed usage frequency and usage intensity. The statistical analysis of the recorded learning data helped to identify critical points in the solution processes. These points indicate when the successful completion of the current task could be at risk and additional measures for better supporting the student should be taken. Teachers that participated in the evaluation assessed the proposed architecture combining semi-automatic assessment with learning analytics technologies as being beneficial to both students and teachers. In particular, they see additional value in visualizations that provide an overview of current learning activities and that highlight common problems detected by the automatic assessment. Finally, the conceptual model was successfully implemented in a different domain, which shows that the approach is generally suitable for supporting individualized learning in the context of complex, open-ended tasks. In conclusion, the proposed conceptual model represents an innovative technology-enhanced learning environment that combines computer-based assessment, learning analytics and human expertise in order to support individual learning processes even in the context of large lecture courses at university.

Download full text files

Export metadata

Additional Services

Search Google Scholar

Statistics

frontdoor_oas
Metadaten
Author:Sandra Rebholz
URN:urn:nbn:de:bsz:747-opus4-3184
Referee:Wolfgang Müller, Christian Spannagel
Document Type:Doctoral Thesis
Language:German
Date of Publication (online):2020/08/25
Publishing Institution:Pädagogische Hochschule Weingarten
Granting Institution:Pädagogische Hochschule Weingarten
Date of final exam:2019/12/04
Release Date:2020/08/31
Tag:Feedback; Learning Analytics; semi-automatisches Assessment; technologiegestütztes Lernen
Page Number:367
Institutes:Pädagogische Hochschule Weingarten
Licence (German):License LogoCreative Commons - CC BY-NC-ND - Namensnennung - Nicht kommerziell - Keine Bearbeitungen 4.0 International