Learning often takes place in environments with uncertainty about current and future outcomes. To behave adaptively in these circumstances, people need to learn beliefs from past experiences, based on which they can predict future outcomes. In my dissertation, I examine: (1) Normative computations that should determine learning under uncertainty. (2) Uncertainty biases that lead to deviations from normative learning. (3) Age-related differences in learning under uncertainty that are characteristic across the lifespan. Here, the term normative computations from the field of computational neuroscience refers to computations that provide an optimal solution to a learning and decision-making problem. My dissertation studies draw on computational models that implement normative computations and formally define uncertainty. Based on these models, the studies systematically investigated to what degree younger adults and people across the lifespan consider uncertainty when learning from their experiences. I begin by illustrating that adaptive behavior consists of several related steps, including a representation of the environment, decision making, and learning (Introduction). Based on this, I present a framework that decomposes uncertainty into three forms: perceptual uncertainty, expected uncertainty, and unexpected uncertainty (Normative computations). Perceptual uncertainty is related to sensory information processing, expected uncertainty arises from outcome variability, and unexpected uncertainty is the consequence of changes in the environment. For each form, I describe how individuals should learn under uncertainty based on normative computations. I then show that biases, that is, deviations from a normative consideration of uncertainty, are characteristic of human learning behavior (Uncertainty biases). Finally, I motivate why capturing these biases in computational models of cognition can improve our understanding of age-related lifespan differences in learning under uncertainty (Lifespan differences). The first dissertation study (Bruckner et al., 2020a) examined which normative computations should guide learning under perceptual uncertainty, to which degree humans regulate learning accordingly, and how past perceptual choices bias this process. The second study (Nassar et al., 2016) investigated expected and unexpected uncertainty in younger and older adults, particularly how biases in the consideration of uncertainty explain age-related learning differences. The third study (Bruckner et al., 2020b) built upon this and examined the role of simplified learning strategies across the lifespan. Finally, the fourth study (Van den Bos et al., 2018) was an opinion paper on how applying computational cognitive models advances our understanding of age-related lifespan differences in learning and decision making. In the following, I briefly summarize the results of the dissertation studies mentioned above. In Bruckner et al. (2020a), we showed that perceptual uncertainty often corrupts learning because of misinterpreted perceptual information. Learning behavior under perceptual uncertainty should be more cautious than in perceptually clear situations to avoid such misinterpretations. We found that humans consider perceptual uncertainty during learning. However, we also identified learning biases driven by previous perceptual choices, which led to a less cautious regulation of learning. In Nassar et al. (2016), our results suggested that age-related learning differences are related to the adjustment to expected uncertainty. In particular, we found that older adults (60 to 80 years) exhibit a bias to underestimate uncertainty about their beliefs compared to younger adults (20 to 30 years). This form of uncertainty underestimation leads to less flexible learning behavior compared to younger adults. In Bruckner et al. (2020b), we found that age-related impairments in learning under uncertainty often arise because children (7 to 11 years) and older adults resort to simplified learning strategies that lead to more repetitive responding (perseveration) and stronger environmental influences on behavior (environmental control) compared to younger adults. Finally, in Van den Bos et al. (2018), we argued that computational cognitive models are an essential tool to gain a better understanding of age-related learning and decision-making differences. In particular, we illustrated both promises of the application of computational models to study age-related behavioral differences (concerning risk-taking, strategy selection, and reinforcement learning) and potential pitfalls. After discussing the implications of these studies (General discussion and future directions), I propose a cognitive model of learning under uncertainty based on the new insights of my studies and previous work in the literature (Uncertainty in the cycle of adaptive behavior). In summary, the dissertation highlights that learning is a dynamic process that is influenced by multiple forms of uncertainty. People take uncertainty into account during learning but show inherent uncertainty biases that substantially change across the lifespan.
Adaptives Verhalten verlangt eine ständige Verarbeitung von neuen Ereignissen sowie eine Reaktion auf diese. In der Psychologie und den Neurowissenschaften wird dies als Lern- und Entscheidungsprozess bezeichnet. Solche Prozesse finden in der Regel in Situationen statt, in denen Unsicherheit über aktuelle und zukünftige Ereignisse herrscht. Um sich in derartigen Situationen erfolgreich zurechtfinden zu können, muss man aus den Erfahrungen der Vergangenheit Vorhersagen über zukünftige Ereignisse ableiten. Die Dissertation behandelt folgende Themen: (1) Normative Berechnungen, die dem Lernen unter Unsicherheit zugrunde liegen sollten. (2) Verzerrungen, die bei der Berücksichtigung von Unsicherheit zu Abweichungen vom normativen Lernen führen. (3) Altersrelatierte Unterschiede über die Lebensspanne, die beim Lernen unter Unsicherheit charakteristisch sind. Der Begriff normative Berechnungen aus dem Forschungsfeld Computational Neuroscience bezieht sich in dieser Dissertation auf Berechnungen, die zu einer optimalen Lösung eines Lern- und Entscheidungsproblems führen. Meine Dissertationsstudien basieren auf Computermodellen, die normative Berechnungen implementieren und Unsicherheit formal definieren. Anhand dieser Modelle wird systematisch untersucht, inwieweit Menschen im jüngeren Erwachsenenalter und über die Lebensspanne Unsicherheit berücksichtigen, um aus ihren Erfahrungen zu lernen. Zu Beginn der Dissertation wird demonstriert, dass adaptives Verhalten aus mehreren Schritten besteht, von der Repräsentation der Umgebung über die Entscheidungsfindung bis hin zu Lernprozessen (Introduction). Auf dieser Grundlage stelle ich zunächst ein Modell vor, das Unsicherheit in drei Formen unterteilt: Perzeptuelle Unsicherheit, erwartete Unsicherheit und unerwartete Unsicherheit (Normative computations). Perzeptuelle Unsicherheit hängt mit der Verarbeitung sensorischer Informationen zusammen, erwartete Unsicherheit ergibt sich aus der Variabilität von Ereignissen und unerwartete Unsicherheit ist die Folge von Veränderungen in der Umgebung. Für jede dieser drei Formen beschreibe ich, wie Unsicherheit beim Lernen aufgrund von normativen Berechnungen berücksichtigt werden sollte. Danach zeige ich, dass Verzerrungen, also Abweichungen von den normativen Berechnungen, durch die man sich an Unsicherheit anpasst, charakteristisch für menschliches Lernen sind (Uncertainty biases). Abschließend erfolgt eine Darstellung, die verdeutlicht, warum die Erfassung dieser Verzerrungen mit Computermodellen nützlich ist, um altersrelatierte Unterschiede über die Lebensspanne beim Lernen unter Unsicherheit besser verstehen zu können (Lifespan differences). In der ersten Dissertationsstudie (Bruckner et al., 2020a) wurde untersucht, welche normativen Berechnungen beim Lernen unter perzeptueller Unsicherheit wichtig sind, in welchem Maße jüngere Erwachsene dementsprechend lernen und wie dieser Prozess durch vorherige perzeptuelle Entscheidungen verzerrt wird. In der zweiten Studie (Nassar et al., 2016) wurde Lernen unter erwarteter und unerwarteter Unsicherheit bei jüngeren und älteren Erwachsenen untersucht. Insbesondere wurde hier erforscht, inwiefern Verzerrungen bei der Berücksichtigung dieser Unsicherheiten altersrelatierte Lernunterschiede erklären. Die dritte Studie (Bruckner et al., 2020b) hat darauf aufgebaut und speziell bei Kindern und älteren Erwachsenen untersucht, inwiefern sie auf vereinfachte Lernstrategien zurückgreifen und auf normative Berechnungen verzichten. Die vierte Studie (Van den Bos et al., 2018) hat schließlich beschrieben, wie Computermodelle die Erforschung altersrelatierter Lernunterschiede über die Lebensspanne unterstützen können. Die Ergebnisse der oben genannten Studien werden im Folgenden kurz zusammengefasst. In Bruckner et al. (2020a) konnten wir zeigen, dass perzeptuelle Unsicherheit beim Lernen zu vorschnellen Schlussfolgerungen auf Basis von Fehlinterpretationen einer Wahrnehmung führen kann. Um vorschnelle Schlussfolgerungen zu vermeiden, sollte man sich beim Lernen unter perzeptueller Unsicherheit vorsichtiger verhalten als in perzeptuell eindeutigen Situationen. Wir fanden in dieser Studie heraus, dass Menschen perzeptuelle Unsicherheit beim Lernen berücksichtigen. Zusätzlich stellten wir allerdings eine Verzerrung bei der Berücksichtigung perzeptueller Unsicherheit aufgrund von früheren perzeptuellen Entscheidungen beim Lernen fest, die wiederum zu einer weniger vorsichtigen Anpassung des Lernverhaltens führt. In Nassar et al. (2016) fanden wir Hinweise darauf, dass altersrelatierte Lernunterschiede mit Verzerrungen bei der Anpassung an erwartete Unsicherheit zusammenhängen. Insbesondere stellten wir fest, dass ältere Erwachsene (60 bis 80 Jahre) dazu neigen, die Unsicherheit über ihre Erwartungen im Vergleich zu jüngeren Erwachsenen (20 bis 30 Jahre) zu unterschätzen. Diese Form der Unsicherheitsunterschätzung führt zu einem weniger flexiblen Lernverhalten im Vergleich zu jüngeren Erwachsenen. In Bruckner et al. (2020b) wurde gezeigt, dass altersrelatierte Unterschiede beim Lernen unter Unsicherheit damit zusammenhängen, dass Kinder (7 bis 11 Jahre) und ältere Erwachsene häufig auf vereinfachte Lernstrategien zurückgreifen, was dazu führt, dass Verhalten wiederholt (Perseveration) oder stärker durch die Umgebung beeinflusst wird (externe Kontrolle). Abschließend wurde in Van den Bos et al. (2018) argumentiert, dass Computermodellierung eine wichtige Methode ist, um altersrelatierte Unterschiede beim Lernen und in der Entscheidungsfindung besser zu verstehen. Hier wurden sowohl die Vorteile der Anwendung von Computermodellen zur Erforschung altersrelatierter Verhaltensunterschiede (in Bezug auf Risikobereitschaft, Strategieauswahl und Verstärkungslernen) als auch potenzielle Fallstricke aufgezeigt. Nach der Diskussion der Dissertationsprojekte (General discussion and future directions) stelle ich ein kognitives Modell zum Lernen unter Unsicherheit vor, das auf den neuen Erkenntnissen meiner Studien und früheren Arbeiten aus der Literatur basiert (Uncertainty in the cycle of adaptive behavior). Zusammenfassend legt meine Dissertation dar, dass Lernen ein dynamischer Prozess ist, der von vielfältigen Formen der Unsicherheit beeinflusst wird. Menschen berücksichtigen ihre Unsicherheit beim Lernen, weisen aber charakteristische Unsicherheitsverzerrungen auf, die sich im Laufe der Lebensspanne erheblich verändern.
