Some Issues of Teaching Statistical Thinking

Abstract

The present dissertation proposes methods for improving statistical reasoning, focusing throughout on the difficult concept of conditional probability. Gigerenzer and Hoffrage (1995) have shown that statistical reasoning in Bayesian tasks can be substantially improved if statistical information is communicated using natural frequencies rather than probabilities. However, research has thus far been limited to tasks in which respondents use a binary cue (e.g., medical tests with a "positive" or "negative" result) to infer the state of a binary criterion ("is a disease present or not?"). In Chapter 1, this approach is generalized to more complex situations (several cues; non- binary cue structures). Empirical results show that the effect of natural frequencies is even larger in complex situations than in the simple Bayesian situations investigated previously. The second Chapter addresses what is arguably the best known Bayesian Problem, the Monty Hall Dilemma (also known as the Three-Door Problem or Goat Problem), which is often used to demonstrate people?s deficiencies in dealing with uncertainty. The success of previous attempts to elucidate the counterintuitive, but correct solution to the problem has been limited. Chapter 2 of the dissertation provides empirical evidence to show that, using different cognitive psychological concepts, the problem can be formulated in such a way that 60% of respondents make the correct choice. Investigation of the mutual dependencies of the four concepts under investigation, which cognitive psychologists had previously only examined separately, also yields theoretically relevant results. Chapter 3 focuses on the difficulties encountered when interpreting significant test results. With significance tests one can assess the probability of available data given hypotheses. They do not allow conclusions to be drawn about the probability of hypotheses. Nevertheless, this and other misconceptions about the results of significant tests are widespread among university and college students. This chapter presents first evidence to show that statistics lecturers teaching psychology students also entertain these misconceptions. In an empirical study, 80% of statistics lecturers were misled by the misinterpretations presented (only the professors participating in the study did not make any misinterpretations). Based on the most frequent misinterpretations, a didactic concept to counteract these misconceptions is presented in Chapter 3. When implemented in statistics lectures, this concept should guarantee that the word "significance" does not remain a diffuse term that students can only use "mechanically", but that they become fully aware of which conclusions can be drawn from a significance test, and which cannot.

Die vorliegende Dissertation schlägt Ansätze zur Verbesserung des statistischen Denkens vor. Der rote Faden der Arbeit ist das als schwierig geltende Konzept der bedingten Wahrscheinlichkeit. Gigerenzer und Hoffrage (1995) konnten zeigen, dass sich statistisches Denken in Bayesianischen Aufgaben erheblich verbessern lässt, wenn man die statistischen Informationen - statt in Wahrscheinlichkeiten ? in natürlichen Häufigkeiten repräsentiert. Bislang wurden in der Forschung jedoch nur Aufgaben betrachtet, bei denen von einem binären Cue (z.B. ein medizinischer Test mit den möglichen Ausprägungen "positiv" und "negativ") auf ein ebenfalls binäres Kriterium ("liegt eine Krankheit vor oder nicht?") geschlossen werden sollte. In Kapitel 1 wird dieser Ansatz auf komplexere Situationen (mehrere Cues bzw. nicht-binäre Cuestrukturen) verallgemeinert und es wird empirisch gezeigt, dass der Effekt von natürlichen Häufigkeiten in komplexen Situationen sogar noch größer ist als in den bislang untersuchten einfachen Bayesianischen Situationen. Das zweite Kapitel beschäftigt sich mit dem wohl berühmtesten Bayesianischen Problem, dem "Monty Hall Dilemma" (bzw. "3-Türen-Problem" bzw. "Ziegenproblem), das immer wieder gerne verwendet wird, um die menschlichen Unzulänglichkeiten beim Umgang mit Unsicherheit zu demonstrieren. Bisherige Versuche, die der Intuition zuwiderlaufende richtige Lösung zu verdeutlichen, waren nur wenig erfolgreich. In Kapitel 2 der Dissertation wird empirisch gezeigt, dass durch den Einsatz verschiedener kognitionspsychologischer Konzepte das Problem so formuliert werden kann, dass 60% der Versuchspersonen sich für das richtige Wechseln entscheiden. Theoretisch relevante Ergebnisse liefert auch die Untersuchung der wechselseitigen Abhängigkeiten der vier untersuchten Konzepte, die bislang in der Kognitionspsychologie nur getrennt betrachtet wurden. Im dritten Kapitel werden Verständnisschwierigkeiten bei der Interpretation eines signifikanten Testergebnisses beleuchtet. Mit einem Signifikanztest berechnet man die Wahrscheinlichkeit der vorliegenden (oder noch unwahrscheinlicherer) Daten unter der Voraussetzung, dass die Nullhypothese stimmt. Aussagen über die Wahrscheinlichkeit von Hypothesen sind mit Signifikanztests nicht möglich. Diese und andere Fehlvorstellungen über ein signifikantes Testergebnis sind unter Studierenden aber weitverbreitet. In diesem Kapitel wird erstmals gezeigt, dass auch Dozenten aus dem Bereich Statistik für Psychologen diesen Fehlvorstellungen unterliegen. In einer empirischen Untersuchung ließen sich 80% der Statistikdozenten von den vorgegebenen Missinterpretationen verleiten (lediglich die an der Untersuchung teilnehmenden Professoren zeigten keine Fehlinterpretationen). Ausgehend von den häufigsten Misinterpretationen wird in Kapitel 3 ein didaktisches Konzept vorgestellt, das diesen Fehlvorstellungen entgegenarbeitet. Eine Implementation dieses Konzepts in eine Statistikvorlesung sollte gewährleisten, dass das Wort "Signifikanz" für Studenten nicht nur ein diffuser, mechanisch verwendeter Begriff bleibt, sondern dass klar wird, welche Aussagen sich mit Signifikanztests machen lassen und welche nicht.