Natural frequencies in medical risk communication: Applications of a simple mental tool to improve statistical thinking in physicians and patients

Abstract

The way in which statistical information is represented is an important determinant for people's ability to interpret and utilize it. More specifically, the so-called natural frequency format has repeatedly been shown to improve statistical thinking in a range of text problems. Natural frequencies are absolute frequencies resulting from sequentially observing and counting events in a natural environment. The goal of this dissertation was to explore how natural frequencies can be used to improve statistical thinking in physicians and patients. Study 1 compared the effectiveness of two versions of a one-hour classroom tutorial for medical students on interpreting diagnostic test results with Bayesian reasoning. Two months after the training, the students who had learned how to translate probabilities into natural frequencies were more likely to solve Bayesian inference tasks correctly than those who had been instructed how to insert probabilities into Bayes' rule. The following two studies looked more closely at one of the features of the natural frequency format that contributes to its facilitating effect. Study 2 found support for the hypothesis that cardinal numbers are easier to process than probabilities in Bayesian inference problems that are otherwise equivalent (i.e., even when the number of computations does not differ between the formats). However, as Study 3 showed, simply adding one cardinal number (here the total number of considered cases) cannot circumvent the disadvantage of representing numerical information as percentages or probabilities. The remaining studies explored the use of natural frequencies to facilitate patients' understanding of medically diagnostic tests. Study 4 examined 27 German health pamphlets informing women of the risks and benefits associated with mammography screening for breast cancer. The results showed that the pamphlets typically did not provide a balanced picture of the benefits and risks and often presented statistical information in an ambiguous way. In Study 5, two versions of a new pamphlet text were evaluated by a sample of women between 40 and 69 years, the main readership of mammography pamphlets. One version presented statistical information as natural frequencies, the other as percentages. The first goal of the study was to explore whether understanding of the pamphlet depended on the statistical format used, the second goal was to assess the information demand of the women concerning mammography screening. Overall, there was only a small effect of statistical format. Natural frequencies improved the understanding of specific topics only. Both versions of the pamphlet were evaluated positively, but one third of the women indicated a dislike for precise numerical information in mammography pamphlets, which could explain the overall low recall level in the study. The information demand of the participants was high, the women wanted to be informed especially about risks, error rates, procedural aspects, and benefits of screening. Several implications of these findings for medical risk communication and the design of health information pamphlets are discussed.

Unsere Fähigkeit, statistische Informationen richtig zu interpretieren und darauf basierend gute Entscheidungen zu treffen, ist wesentlich von der Art der Darstellung dieser Informationen abhängig. In mehreren Studien, die statistisches Denken anhand von Textaufgaben untersucht haben, hat sich die Darstellung der Zahlen in Form von so genannten natürlichen Häufigkeiten als besonders hilfreich erwiesen. Natürliche Häufigkeiten sind absolute Häufigkeiten, die sich aus dem sequentiellen Beobachten und Auszählen von Ereignissen in einer natürlichen Umgebung ergeben. Das Ziel dieser Dissertation war es zu untersuchen, wie natürliche Häufigkeiten dazu genutzt werden können, das Verständnis von statistischen Informationen in der medizinischen Risikokommunikation zu erleichtern. Für die Interpretation von diagnostischen Testergebnissen durch den medizinischen Experten ist das so genannte Bayesianische Denken relevant, dabei geht es um die Aktualisierung einer Wahrscheinlichkeitseinschätzung auf Grundlage neuer Evidenz. Studie 1 verglich die Effektivität von zwei Versionen einer einstündigen Unterrichtseinheit über Bayesianisches Denken für Medizinstudenten. Die Teilnehmer, die gelernt hatten, Wahrscheinlichkeiten in natürliche Häufigkeiten zu übersetzen, konnten zwei Monate nach dem Training deutlich mehr Textaufgaben korrekt lösen als diejenigen, die gelernt hatten, Wahrscheinlichkeiten in die entsprechende Formel einzusetzen. Studie 2 ergab, dass der Vorteil dieses Formats gegenüber einer Darstellung in Wahrscheinlichkeiten oder Prozentzahlen nicht nur auf einer Verringerung der Rechenschritte in den Bayesianischen Textaufgaben basiert, sondern auch darauf, dass absolute Häufigkeiten generell leichter zu verarbeiten sind als Wahrscheinlichkeiten. Studie 3 zeigte, dass die Nachteile einer Repräsentation in Form von Wahrscheinlichkeiten in Bayesianischen Textaufgaben nicht allein dadurch zu mildern sind, dass eine absolute Häufigkeit hinzugefügt wird. Die folgenden Studien beschäftigten sich mit der Frage, wie medizinische Laien auf verständliche Weise über die Unsicherheiten und Risiken von diagnostischen Tests informiert werden können. Studie 4 analysierte 27 Broschüren, die über die Screening-Mammographie zur Früherkennung von Brustkrebs informierten. Die Ergebnisse zeigten, dass die meisten Broschüren nicht ausgewogen über Nutzen und Risiken informierten und statistische Informationen oft missverständlich präsentiert wurden. Zwei Versionen eines neuen Broschürentexts (einer mit natürlichen Häufigkeiten, der anderen mit Prozentangaben) wurden in Studie 5 von Frauen zwischen 40 und 69 Jahren evaluiert. Erfasst wurde das Verständnis der Broschüren in Abhängigkeit vom statistischen Format, sowie der Informationsbedarf der Frauen bezüglich des Screenings. Insgesamt zeigte sich ein kleiner Effekt des Formats, natürliche Häufigkeiten konnten nur die Verständlichkeit bestimmter Themen verbessern. Beide Versionen der Broschüre wurden positiv bewertet, aber ein Drittel der Frauen lehnte präzise numerische Information in Mammographie-Broschüren generell ab. Der Informationsbedarf der Teilnehmerinnen war hoch, sie wollten insbesondere über Risiken, Fehlerraten und prozedurale Aspekte des Screenings informiert werden. Die Befunde haben eine Reihe von Implikationen für die medizinische Risikokommunikation und die Gestaltung von Gesundheitsbroschüren.