Representations facilitate Bayesian reasoning: Computational facilitation and ecological design revisited

Abstract

Bayesian reasoning describes the process of assessing the likelihood of a hypothesis based on the prior probability of that hypothesis and new information which may strengthen or weaken the hypothesis, called the posterior probability. In medical settings, Bayesian reasoning is involved when making inferences about a disease such as breast cancer given a positive test result, e.g., from a routine mammography screening. Previous prominent studies on Bayesian reasoning postulated that humans were cognitively biased, relied on misleading heuristics when making inferences, and finally were “not Bayesian at all”. More recently, however, research has focused on the external representation of the problem, instead of searching for explanations inside of the mind only. By reformulating the information from conditional probabilities into natural frequencies, rates of correct estimates of posterior probabilities increased drastically. Two explanations for this effect have been proposed: 1) natural frequencies facilitate the computation of Bayesian posterior probabilities because they demand fewer arithmetic operations, and 2) natural frequencies mimic the way information is sampled in natural environments (i.e. they follow an ecological design), and therefore conform to the way humans perform Bayesian reasoning in their every-day lives. In this dissertation, I test both claims more thoroughly, focusing on quantity representations and the implications different representations have for the arithmetic complexity of Bayesian reasoning operations and working-memory involvement. In the real world, what we observe are series of real, discrete, and countable events. While the ability to understand number symbols like Arabic numerals is specific for humans and requires cultural education, humans and other animals possess a sense for discrete and countable quantities, termed analogue quantities, Those quantities can be directly perceived by the senses and are not transformed in a verbal or visual code. Chapter II investigates if children in second and fourth grades of elementary school can solve Bayesian reasoning problems better, if the information is presented as analogue quantities instead of natural frequencies. Also, in addition to precise estimates of posterior probabilities, children were asked for categorical inferences about the hypothesis, which assess Bayesian reasoning performance at a coarser level. Results suggest that presenting information as discrete, countable objects increases the number of correct solutions, and makes more children choose a Bayesian strategy systematically to answer the problems. The level of correct answers for categorical inferences was higher than that for precise estimates of posterior probabilities. Younger children were more accurate in judging the frequency of events than the probability of a single event, while no difference was found for older children. Apparently, even second-graders can systematically engage in Bayesian reasoning if the information is presented in a way that children perceive it in their natural environments. A follow-up study was conducted because some questions in the original study did not demand inferences from one set of events to another. The follow-up study followed the same design as the original, except that the task and question formulation was changed to involve making inferences. The same differences as reported in the first study were observed, so that the results reported earlier were not due to flawed question formats. Chapter III extends the results observed in chapter II for regular children to those with clinically impaired arithmetic competencies, i.e. developmental dyscalculia. Developmental dyscalculia is an isolated deficit in processing numerical material and solving arithmetical problems. Some children develop dyscalculia because they lack the most basic sense of quantity due to genetic preconditions or adverse intrauterine events. Those children show a severe deficit in processing single, countable events, as well as number symbols. Other children, however, develop dyscalculia because they have linguistic processing deficits which prevent them from developing a reliable connection between discrete events and symbolic number representations. While those children have a deficit in encoding the meaning of number symbols, their basic quantity representations remain intact. Children with a confirmed diagnosis of dyscalculia solved Bayesian reasoning problems with either symbolic quantity representations (natural frequencies), or analogue quantities. Children could solve more problems with analogue quantity information than with natural frequencies. Subsequent analysis showed that the beneficial effect of analogue quantities was influenced by the intactness of basic quantity representations in children. While analogue quantity information was generally helpful for children with dyscalculia, in line with clinical models of dyscalculia, children with impaired basic quantity representations can extract fewer meaningful information from analogue quantities, compared to children who only experience problems in processing symbolic quantities. Finally, chapter IV investigated if the differences found in the number of correct solutions on Bayesian reasoning tasks with different representations can also be detected in response times, and if the different arithmetic operations involved recruit different working-memory resources. As the number of arithmetic steps increases, not only does the probability of errors increase, but also the time it takes to determine the correct answer. In the first part of this chapter, response times were assessed for Bayesian reasoning tasks with different representations. Mirroring the number of correct solutions, response times increased with increasing processing demands. While analogue quantities led to fast categorical judgments, the time needed to answer questions about posterior probabilities depended on the number of events which had to be counted. Natural frequencies showed fast response times for both, categorical judgments and judgments for posterior probabilities. With conditional probability information, response times were high for judgments, regardless of the precision. Not only the number of computational steps is different between the task representations, but also their quality: while natural frequencies involve performing one addition, conditional probabilities rely on multiplications to determine the answer. Analogue quantities require the single events to be counted to calculate the posterior probability. Addition involves the manipulation of quantities on a mental number line, and recruits visuo-spatial working-memory resources. On the other hand, multiplications and counting rely on the verbal-auditory working-memory system. The second part of chapter IV reports the results of a dual-task study in which participants had to perform Bayesian reasoning tasks with different representations at the same time as reactions tasks either blocking resources of the verbal-auditory or visuo-spatial working-memory system. As predicted, Bayesian reasoning performance with natural frequencies was affected by a visuo-spatial, but not a verbal-auditory secondary task, while the opposite pattern emerged for icon arrays and conditional probabilities. Also, while making categorical inferences was susceptible to secondary task interference for natural frequencies and conditional probabilities, neither the rate of correct solutions nor response times declined under dual-task conditions for analogue quantities. Possibly extracting meaning from analogue quantities occurs without intention and relies less on working-memory resources. Overall, the research presented in this dissertation supports both claims – that presenting information the way it is encountered in natural environments increases reasoning performance, and that differences in computational load determine the rate of correct solutions for Bayesian reasoning problems with different solutions. But besides confirming assertions which have been made over a decade ago, this work hopefully contributed a number of new elements to theories of Bayesian reasoning. First, I could show that even children in second grade can systematically integrate information according to Bayes rule, when they are given quantity representations that they can apprehend. Second, even children with severe impairments in performing arithmetic operations can reason the Bayesian way when the information does not involve number symbols. Also, this effect is stronger for children with intact representations of analogue quantities. And finally, this dissertation for the first time reported response time data for Bayesian reasoning problems. Given the long history of response time analysis as a tool for assessing mental workload and differentiating cognitive processes, they should compliment rates of correct responses in future studies interested in the mental mechanisms that underlie Bayesian reasoning. Likewise, for the first time a dual-task approach was used to distinguish working-memory demands of the different representation formats. Patterns of interference were generally in line with previous research in numerical cognition. To conclude, this dissertation extended the previous assertions of computational facilitation and ecological design, and points out links to theories of the development and impairment of quantity representation, and research connecting cognitive arithmetic to elementary processes of working-memory. Hopefully, this research will prove useful in deepening these connections.

Bayesianisches Inferenzen sind Schlussfolgerungen über die Wahrscheinlichkeit einer Hypothese anhand der a-priori-Wahrscheinlichkeit der Hypothese, und neuen Informationen, die für oder gegen die Hypothese sprechen können. Die resultierende Wahrscheinlichkeit nach Berücksichtigung neuer Informationen wird auch a-posteriori-Wahrscheinlichkeit genannt. Bayesianische Inferenzen finden beispielsweise in der Medizin Anwendung, wenn aufgrund eines positiven Testergebnis auf das Vorhandensein einer Krankheit geschlossen wird, z.B. bei einer Routine-Mammographie im Rahmen eines Screeningprogramms für Brustkrebs. Erste Untersuchungen der kognitiven Psychologie kam zu der Schlussfolgerung, dass Menschen sich bei Inferenzen auf irreführende Heuristiken stützen, die zu einer Verzerrung der Urteile führen. Neuere Studien heben jedoch die Rolle der Repräsentation der Informationen hervor, statt pauschal ein kognitives Defizit zu attestieren. Durch eine Umformulierung der Informationen von bedingten Wahrscheinlichkeiten zu natürlichen Häufigkeiten erhöhte sich die Rate korrekter Bayesianischer Inferenzen drastisch. Zwei Erklärungen für diesen Effekt wurden vorgeschlagen: 1) natürliche Häufigkeiten erleichtern die Berechnung der a-posteriori-Wahrscheinlichkeiten, weil sie weniger Rechenoperationen benötigen, und 2) natürliche Häufigkeiten imitieren, wie Menschen Informationen in natürlichen Umgebungen aufnehmen (d.h. natürliche Häufigkeiten folgen einem ökologischen Design), und damit der Art und Weise, wie Menschen Inferenzen im alltäglichen Leben vornehmen. In dieser Dissertation untersuche ich beide Erklärungsansätze genauer. Dabei liegt der Fokus zum Einen auf der normalen bzw. verzögerten Entwicklung von Mengenrepäsentation und darauf, wie früh entwickelte, analoge Mengenrepräsentationen Bayesianische Inferenzen im Vergleich zu symbolischen Mengenrepräsentationen verbessern. Die Fähigkeit, Symbole wie arabische Ziffern zu verstehen ist spezifisch für den Menschen und erfordert kulturelle Bildung. Andererseits haben Menschen und andere Tiere einen Sinn für diskrete und zählbaren Mengen. Diese sogenannten analogen Mengen können direkt mit den Sinnen wahrgenommen werden und sind nicht in einen verbalen oder visuellen Code transformiert. Zum Anderen liegt der Fokus dieser Arbeit auf den Auswirkungen verschiedener Repräsentationen auf die arithmetische Komplexität der Berechnung der Bayesianischen a-posteriori-Wahrscheinlichkeit. Die Komplexität der Berechnung sollte sich nicht nur in der Anzahl korrekter Inferenzen widerspiegeln, sondern auch Auswirkungen auf die Reaktionszeit und die Anforderungen an Arbeitsgedächtnisprozesse haben. Kapitel II untersucht, ob Kinder in der zweiten und vierten Klasse der Grundschule Bayesianische Inferenzaufgaben besser lösen, wenn die Informationen als analoge Mengen anstelle von natürlichen Häufigkeiten präsentiert werden. Neben der genauen Schätzungen der a-posteriori-Wahrscheinlichkeiten sollten die Kinder kategoriale Inferenzen bezüglich der Hypothese vornehmen. Diese kategorialen Inferenzen erfordern lediglich ein Urteil, ob die Hypothese eher wahrscheinlich oder eher unwahrscheinlich ist, und erfassen damit Bayesianische Denkprozesse auf einem gröberen Niveau. Die Ergebnisse zeigen, dass die Darstellung von Informationen als analoge Mengen zu mehr korrekten Inferenzen führt und mehr Kinder systematisch eine Bayesianische Strategie anwenden, um die Aufgaben zu beantworten. Das Niveau der richtigen Antworten für kategoriale Inferenzen war höher als das für präzise Schätzungen der a -posteriori-Wahrscheinlichkeiten. Jüngere Kinder konnten die Häufigkeit von Ereignissen besser einschätzen als die Wahrscheinlichkeit einzelner Ereignisse, während ältere Kinder beide Arten von Ereignissen gleich gut beurteilen konnten. Offenbar können auch Zweitklässler systematisch eine Bayesianische Inferenzstrategie anwenden, wenn die Informationen so dargeboten werden, wie sie Kinder in ihrer natürlichen Umgebung wahrnehmen. Eine Nachfolgeuntersuchung wurde durchgeführt, weil einige Fragen in der ursprünglichen Studie keine Inferenzen von der einen auf eine andere Gruppe erforderten. Die Folgeuntersuchung hatte den gleichen Aufbau wie das Original, außer, dass die Formulierung der Aufgabe und Fragen geändert wurden, so dass alle Aufgaben nun Inferenzen erforderten. In dieser Folgeuntersuchung ergaben sich die gleichen Effekte wie in der ursprünglichen Studie berichtet, so dass die Aufgabenformulierung nicht für die berichteten Ergebnisse verantwortlich war. Kapitel III erweitert die Ergebnisse aus Kapitel II für normale Kinder auf Kinder mit klinisch beeinträchtigten arithmetischen Kompetenzen, d.h. einer Entwicklungsdyskalkulie. Entwicklungsdyskalkulie ist ein isoliertes Defizit in der Verarbeitung numerischen Materials und der Durchführung arithmetischer Operationen. Manche Kinder entwickeln eine Dyskalkulie, weil ihnen die grundlegende Vorstellung von Mengen aufgrund von genetischen Konditionen oder intrauterinen Komplikationen fehlt. Diese Kinder zeigen schwere Defizite in der Verarbeitung analoger Mengen sowie verbaler oder visueller Zahlennotationen. Andere Kinder jedoch entwickeln eine Dyskalkulie, weil ihre sprachliche Verarbeitung Defizite aufweist, die eine stabile Assoziation zwischen analogen Mengen und symbolischen Mengenrepräsentationen verhindern. Während diese Kinder ein Defizit bei der Enkodierung verbaler oder visueller Zahlenrepräsentationen haben, bleibt die Repräsentation analoger Mengen intakt. In der Studie lösten Kinder mit der bestätigten Diagnose einer Dyskalkulie Bayesianische Inferenzaufgaben und erhielten die Informationen entweder als Zahlensymbole (natürliche Häufigkeiten), oder als analoge Mengen. Kinder konnten mehr Aufgaben mit analogen Mengen lösen als mit natürlichen Häufigkeiten. Die anschließende Analyse zeigte, dass der positive Effekt analoger Mengen von der Unversehrtheit der analogen Mengenrepräsentation der Kinder abhängt. Während analoge Mengen in der Regel hilfreich für Kinder mit Dyskalkulie waren, konnten im Einklang mit klinischen Modellen der Dyskalkulie Kinder mit klinisch beeinträchtigten analogen Mengenrepräsentationen weniger aussagekräftige Informationen aus analogen Mengen extrahieren als Kindern, deren Beeinträchtigung auf symbolische Mengenrepräsentationen beschränkt war. Schließlich untersucht Kapitel IV, ob die Unterschiede in der Anzahl der richtigen Lösungen, die bei Bayesianischen Inferenzaufgaben mit verschiedenen Repräsentationen beobachtet wurden, auch in Reaktionszeiten festgestellt werden können, und ob die verschiedenen arithmetischen Operationen die für die Berechnung von a-priori-Wahrscheinlichkeiten durchgeführt werden müssen, unterschiedliche Aspekte des Arbeitsgedächtnisses rekrutieren. Mit der Zahl der Rechenschritte steigt nicht nur die Wahrscheinlichkeit von Fehlern, sondern auch die Zeit, die es braucht, um die richtige Antwort zu ermitteln. Im ersten Teil dieses Kapitels wurden die Reaktionszeiten für Inferenzaufgaben mit verschiedenen Repräsentationen verglichen. Dabei ergab sich, dass, konform zur Komplexität der notwenigen arithmetischen Operationen, ein Abfall der Anzahl der richtigen Lösungen mit einem Anstieg der Reaktionszeit zusammenhing. Während analoge Mengen zu schnellen kategorialen Urteilen führten, war die Zeit, die benötigt wurde um a-posteriori-Wahrscheinlichkeiten zu ermitteln, abhängig von der Anzahl der einzelnen Elemente in der Menge. Natürliche Häufigkeiten zeigten schnelle Reaktionszeiten, sowohl für kategoriale Urteile als auch die Berechnung von Wahrscheinlichkeiten. Mit bedingten Wahrscheinlichkeiten benötigten die Probanden die meiste Zeit, unabhängig davon, ob sie nach kategorialen oder exakten Urteilen gefragt wurden. Nicht nur die Zahl der Rechenschritte unterscheidet sich zwischen der Repräsentationen, sondern die Art: Während natürliche Häufigkeiten eine Addition erfordern, sind mit bedingten Wahrscheinlichkeiten Multiplikationen notwendig, um zu korrekten Inferenzen zu gelangen. Analoge Mengen erfordern es, die einzelnen Ereignisse zu zählen, um a-posteriori-Wahrscheinlichkeiten zu berechnen. Additionen involvieren die Manipulation von Mengen auf einen mentalen Zahlenstrahl und rekrutieren visuell-räumliche Arbeitsgedächtnisprozesse. Multiplikationen hingegen benötigen verbal-auditive Arbeitsgedächtnisressourcen. Der zweite Teil des Kapitels IV zeigt die Ergebnisse einer Dual-Task-Studie, in der Teilnehmer Bayesianische Inferenzaufgaben mit unterschiedlichen Repräsentationen zeitgleich zu Reaktionsaufgaben durchführen mussten, die entweder Ressourcen des verbal- auditiven oder visuell-räumlichen Arbeitsgedächtnissystems blockierten. Wie angenommen wurde die Inferenzleistung mit natürlichen Häufigkeiten durch eine visuell-räumliche, nicht aber eine verbal-auditiven Zweitaufgabe vermindert, während das entgegengesetzte Muster für analoge Mengen und bedingte Wahrscheinlichkeiten gefunden wurde. Mit natürlichen Häufigkeiten und bedingten Wahrscheinlichkeiten waren auch kategoriale Inferenzen anfällig für den Einfluss einer Zweitaufgabe, während für analoge Mengen weder die Rate der richtigen Inferenzen noch die Reaktionszeiten beeinflusst wurden. Möglicherweise lässt sich die Bedeutung von Mengeninformationen aus analogen Mengen ohne Intention und den Einsatz von Arbeitsgedächtnisressourcen extrahieren. Insgesamt unterstützt die in dieser Dissertation präsentierte Forschung beide Erklärungsansätze – dass die Darstellung von Informationen, wie sie in natürlichen Umgebungen vorkommen, Bayesianische Inferenzen erleichtert, und dass die Unterschiede in der Komplexität und Art der arithmetischen Operationen, die mit den unterschiedlichen Formaten verbunden sind, die Rate der richtigen Inferenzen und die Reaktionszeiten bestimmt. Ich hoffe, mit dieser Arbeit einige neue Elemente zu diesen Erklärungsansätzen hinzuzufügen. Zum einen konnte ich zeigen, dass auch Kinder in der zweiten Klasse systematisch Informationen nach dem Satz von Bayes integrieren können, wenn diese Informationen als Mengen dargeboten werden, die sie begreifen können. Zweitens sind auch Kinder mit schweren Beeinträchtigungen bei der Durchführung arithmetischer Operationen kleine Bayesianer, wenn die Informationen als analoge Mengen dargeboten werden. Dieser Effekt ist stärker für Kinder mit intakten Darstellungen von analogen Größen. Und schließlich werden in dieser Dissertation zum ersten Mal Reaktionszeiten für Bayesianische Inferenzaufgaben berichtet. Angesichts der langen Geschichte der Reaktionszeitanalyse als Mittel zur Erfassung der Komplexität mentaler Operationen und der Differenzierung kognitiver Prozesse sollten sie zukünftig bei Studien zu kognitiven Prozessen bei Bayesianischen Inferenzen zusätzlich zu der Rate korrekter Antworten erhoben werden. Ebenso wurde zum ersten Mal ein Dual-Task-Ansatz verwendet, um die Anforderungen verschiedener Repräsentationen an Arbeitsgedächtnisprozesse in Bayesianischen Inferenzaufgaben zu untersuchen. Die vorliegende Arbeit erweitert die bisherigen Erklärungsansätze, Erleichterung der Berechnung und ökologisches Design, und bietet Anknüpfungspunkte zu Theorien der allgemeinen und klinischen Entwicklungspsychologie, sowie zu Modellen des Arbeitsgedächtnisses. Ich hoffe diese Dissertation erweist sich als nützlicher Ausgangspunkt, um die Verbindungen zu vertiefen.