Adaptive e-Learning: Towards a Metacomprehension Approach

Abstract

This dissertation presents work contributing to a further improvement of e-learning using a metacomprehension approach. Research interest is increasing in using metacomprehension judgments (e.g., judgments of learning, JOL) in computer-assisted learning. The usefulness of such judgments as tools for research or for learner support hinges on their accuracy, which is notoriously low. Although JOL generally predict learning performance their accuracy seems to be influenced both by features of the learning material (e.g. amount and size of text) and by personal factors (e.g. self-efficacy). This dissertation therefore aims to sustainably boost metacomprehension accuracy as a vital requirement for further improving self-regulated computer-supported learning. The rationale of Study I was that of a manipulation to increase experience- based judgments and decrease theory-based judgments. In terms of an experimental manipulation, the question therefore was whether judgments of difficulty (JOD) administered before the JOL proper influence JOL accuracy. In the simple judgments group, participants rated the likelihood of answering correctly a knowledge question on e-learning chapters (JOL). In the combined judgments group, participants rated text difficulty (JOD) before making a JOL. In the first experiment no accuracy differences emerged, but additional analyses showed that the judgment manipulation had induced cognitive processing differences. Therefore, in the second experiment of Study I judgment scope was manipulated. Both judgment accuracy and knowledge test scores were higher in the combined judgments group with term-specific judgments. Study II sought to add knowledge about text difficulty effects on metacomprehension accuracy. Sequences of chapters with the same text difficulty and sequences of chapters with randomly varying text difficulty may entail different anchors and thus prime higher or lower JOL accuracies, respectively. The general tenet was that orders would trigger different extents of experience-based processing and thus influence metacomprehension accuracy to different degrees. To investigate the impact of text difficulty on metacomprehension accuracy and learning performance four groups of learners who perform e-learning differing in blocking type (blocked vs. mixed) and difficulty sequence (rising vs. declining) of text material were compared. As hypothesized, accuracy was higher for blocked difficulty orders. Late-section judgment magnitude decreased more strongly in the blocked groups. At the same time, late-section judgment accuracy was higher in the blocked group. Finally, Study III extended the previous findings by analysing the impact of the so called multimedia heuristic on judgment accuracy. For that purpose, a conceptual images group was compared to a decorative images group and a text- only group. Depending on the condition either conceptual images summarizing the chapters’ content or decorative images without any relevant information were added to the e-learning. The control group worked on a text-only version of the same e-learning unit. As postulated, combined JOL benefitted accuracy and knowledge test scores; both were highest in the conceptual images group. In Experiment 2 of Study III, to further increase accuracy, judgment scope was changed from global to specific. Again, accuracy and test scores were highest in the conceptual images group. Contrary to expectations, however, JOL accuracy did not benefit from term-specific judgments. In sum, the work presented in the this dissertation demonstrates ways to sustainably boost metacomprehension accuracy and thereby establishes the requirements needed to use the metacomprehension approach for personalizing e-learning and increasing its learning efficiency as well as effectiveness.

Die vorliegende Dissertation zeigt Arbeiten, die mit Hilfe eines metakognitiven Ansatzes zu einer weiteren Verbesserung von E-Learning beitragen. Das wissenschaftliche Interesse zur Nutzung von metakognitiven Urteilen (z.B. Lernurteil, judgment of learning, JOL) bei computergestütztem Lernen steigt stetig an. Der Wert dieser Urteile als Instrument für die Forschung oder die Unterstützung von Lernenden hängt jedoch von ihrer Genauigkeit ab, welche bisher notorisch niedrig ist. Obwohl Lernurteile insgesamt die Lernleistung vorhersagen können, scheint ihre Genauigkeit sowohl durch das Lernmaterial selbst (z.B. Textmenge und Schriftgröße) als auch durch Persönlichkeitsfaktoren der Lernenden (z.B. Selbstwirksamkeit) beeinflusst zu werden. Das Ziel dieser Dissertation ist es deshalb die Genauigkeit der metakognitiven Urteile nachhaltig zu erhöhen, um so die zentrale Voraussetzung zur weiteren Optimierung von E-Learning als selbstreguliertes Lernen am Computer zu schaffen. Ziel von Studie I war es durch eine Manipulation erfahrungsbasierte Lernurteile zu erhöhen und gleichzeitig theoriebasierte Lernurteile zu verringern. Im Sinne einer experimentellen Manipulation lautete die Forschungsfrage, ob Schwierigkeitsurteile (judgments of difficulty, JOD), welche vor den eigentlichen Lernurteilen (JOL) abgegeben werden, die Genauigkeit der Lernurteile (JOL) auf geeignete Weise verbessern. In der „ein- Urteil“-Gruppe, bewerteten die Teilnehmer die Wahrscheinlichkeit eine Wissensfrage zum jeweiligen E-Learning-Kapitel korrekt zu beantworten (JOL). In der „zwei-Urteil“-Gruppe, bewerteten die Teilnehmer jeweils zunächst die Textschwierigkeit (JOD) bevor sie das eigentliche Lernurteil (JOL) abgaben. Im ersten Experiment fanden sich keine Genauigkeits-Unterschiede, aber vertiefende Analysen zeigten, dass die Manipulation zu unterschiedlicher kognitiver Verarbeitung geführt hatte. Deshalb wurde im zweiten Experiment in Studie 1 der Urteilsumfang manipuliert. Sowohl die Urteilsgenauigkeit als auch die erzielten Punkte im Wissenstest waren nun in der „zwei-Urteil“-Gruppe mit spezifischem Urteilsumfang höher. Studie II zielte darauf ab das Verständnis von Textschwierigkeitseffekten auf die metakognitive Genauigkeit zu erhöhen. Sequenzen mit gleicher oder zufälliger Textschwierigkeit könnten als Anker fungieren und so höhere oder niedrigere Urteilsgenauigkeiten induzieren. Um die Wirkung von Textschwierigkeit auf metakognitive Genauigkeit und Lernleistung zu untersuchen, wurden vier Gruppen von Lernern verglichen, die jeweils ein E-Learning mit unterschiedlichem Aufbau (in Blöcken vs. gemischt) und Schwierigkeits-Sequenzen (ansteigend vs. absteigend) bearbeiteten. Wie vermutet, war die Genauigkeit höher mit Schwierigkeits-Blöcken. Die Lernurteile für spätere E-Learning-Kapitel sanken in Gruppen mit Schwierigkeits-Blöcken stärker ab. Gleichzeitig stieg die Genauigkeit für spätere E-Learning-Kapitel in den Gruppen mit Schwierigkeits-Blöcken an. Schließlich erweiterte Studie III die vorherigen Ergebnisse durch die Untersuchung von möglichen Auswirkungen der so genannten Multimedia-Heuristik auf die Urteilsgenauigkeit. Zu diesem Zweck wurde eine “konzeptionelle Bilder”-Gruppe mit einer “dekorative Bilder”-Gruppe und einer „Text“-Gruppe verglichen. Je nach Bedingung enthielt das E-Learning entweder konzeptionelle Bilder, die die Kapitelinhalte zusammenfassten oder dekorative Bilder ohne relevante Informationen. Die Kontrollgruppe erhielt eine reine Textversion des gleichen E-Learning. Wie vermutet wirken sich kombinierte Urteile positiv auf die Genauigkeit und Lernleistung aus, beide waren am höchsten mit den konzeptionellen Bildern. In Experiment 2 von Studie III, wurde der Urteilsumfang von global zu spezifisch verändert, um die Genauigkeit weiter zu erhöhen. Erneut waren die Genauigkeit und die Lernleistung mit den konzeptionellen Bildern am höchsten. Anders als erwartet wirkten sich die spezifischen Urteile jedoch nicht positiv auf die Urteilsgenauigkeit aus. Zusammengefasst zeigen die vorgestellten Arbeiten dieser Dissertation Möglichkeiten auf, die Genauigkeit metakognitiver Urteile nachhaltig zu erhöhen und so die benötigte Voraussetzung für die Verwendung des metakognitiven Ansatzes zur Personalisierung von E-Learning sowie der Erhöhung von dessen Lerneffizienz und Effektivität zu schaffen.