Disagreement among and within individuals is not unusual. If there is, however, only one correct answer to a particular question, disagreement can lead to serious problems. Take, for example, a patient who consults with different doctors (or the same doctor on different occasions) about the malignancy of a mass in her mammogram and hears different diagnoses. Not to know which diagnosis is correct and whether the prescribed treatment is appropriate can endanger a patient’s health and understandably raises concerns about the judge’s competence. However, in such disagreement can lie hidden potential, a source of wisdom that becomes visible only when taking a step back to observe the disagreeing “crowd” from a distance. Such crowds often possess a fragmented and probably noisy encyclopedia of information, which is distributed over the individual members in the group. How should this fragmented knowledge be assembled into a meaningful and accurate judgment? Is there one superior strategy that consistently outperforms competing strategies? Or does the performance of each strategy depend on the statistical properties of the environment?
In the first chapter, I introduce the elementary concepts on which this dissertation draws. Crowds can be understood in many ways, of which two are relevant in this dissertation. First, a crowd can be several individuals forming a group of people, for example, a group of radiologists diagnosing the malignancy of a tumor. Second, one can think of the different opinions existing within an individual’s mind as an inner crowd. For example, a single radiologist might assess the same mammogram multiple times and give different diagnoses. The main empirical body covers work on the wisdom of the inner crowd, that is, methods to harness the wisdom within an individual. In Chapter 2, I compare theoretically and empirically the performance of two strategies to improve confidence judgments of associated decisions. In the case of inconsistent judgments, should one choose the higher confidence judgment or average them? Averaging two confidence judgments consistently improves their accuracy, whereas always choosing the higher confidence judgment is risky: It can substantially harm the accuracy of confidence judgments and begins to outperform averaging only in environments where the probability of making a correct judgment is 60% or higher. Therefore, when one lacks insight into the statistical properties of an environment, the results of the presented studies suggest that averaging—due to its robustness—should be the default strategy to harness one’s conflicting judgments. In the third chapter, I investigate the relationship between inconsistency in decisions, confidence judgments, and the statistical environment within expert decisions. I seek to understand when physicians change their mind, and I offer advice for people relying on expert decisions. In short, when an expert disagrees with herself, the results of this study suggest to choose the more confident decision—since the probability of making a correct decision is often 60% or higher in expert decisions. In Chapter 4, I extend the wisdom of the inner crowd to sequential diagnostic decision making and investigate cognitive dependencies between successive decisions. Existing literature suggests that gains from aggregating judgments are larger the more independent judgments are. The results so far show that the statistical properties of the environment moderate the extent of cognitive dependency processes. Future studies should investigate how such dependencies influence the accuracy of the final diagnosis. In Chapter 5, my colleagues and I review four judgment-aggregation strategies through an ecological lens. I show that there are a variety of ways to reduce uncertainty, each successful under distinct statistical properties of the environment. If such statistical properties cannot be known, I suggest adopting two principles: (a) aggregate more judgments than fewer, and (b) use experience to adapt to the environment. Finally, in Chapter 6 I summarize the key results and point to new ideas for future research.
Taken together, the results suggest that judgment-aggregation strategies offer great potential to reduce judgment uncertainty, yet the process of doing so involves dealing with another type of uncertainty: What strategy to select in a particular environment? To investigate this and further questions I use analytical methods, computer simulations and empirical studies in different domains, ranging from mere perceptual tasks to general knowledge questions to diagnostic decisions. This work extends previous research in that it adapts and compares previous strategies and investigates them in the context of expert decisions. All in all, this sheds a different light on judgment inconsistency and shows how and when disagreement among and within individuals can be turned into a benefit.
Meinungsdifferenzen zwischen, aber auch innerhalb, Personen findet man jeden Tag, überall und zu jeglichem Thema. Wenn es jedoch nur eine richtige Antwort auf eine Fragestellung geben kann, können Meinungsunterschiede zum Problem werden. Lässt eine Patientin zum Beispiel ihr Mammogram von verschiedenen Ärzt/innen (oder von derselben Ärztin mehrmals) auf Krebs untersuchen, kommt es durchaus vor, dass unterschiedliche Diagnosen gegeben werden. Für die Patientin kann es eine enorme Belastung sein, nicht zu wissen welche Diagnose zutrifft, und ob sie eine angemessene Behandlung bekommt. Verständlicherweise wirft dies Zweifel an der Kompetenz der Ärzt/innen auf. Schliesslich kann nur eine Diagnose stimmen. Aus einem anderen Blickpunkt betrachtet kann sich jedoch hinter diesen Unstimmigkeiten ein Potenzial—eine Art Intelligenz—verstecken. Dieses wird erst erkennbar, sobald man einen Schritt zurücktritt und den vielen unterschiedlichen Meinungen, aus der Ferne betrachtet, eine umfassende Gestalt gibt. Man könnte zum Beispiel annehmen, dass jede einzelne Meinung ein Teil eines Puzzles ist und alle, oder ein Teil der Meinungen zusammen das Bild erst vervollständigen—die “Weisheit der Vielen”. Die Herausforderung liegt darin, wie man das Puzzle zusammenlegen soll. Liegen Teile dabei, die zu einem anderen Puzzle gehören? Welche Strategien stehen zur Verfügung um die Teile zusammenzufügen? Und in welchen statistischen Umgebungen führen welche Strategien zum Erfolg? In Kapitel 1 stelle ich die grundlegenden Konzepte vor, auf die sich diese Arbeit bezieht. Die Weisheit der Vielen kann in verschiedenen Gestalten vorkommen. Zwei davon sind relevant für diese Dissertation. Erstens, kann Wissen über verschiedene Personen verteilt sein, vergleichbar zu Ärzten die unterschiedliche Diagnosen geben. Zweitens, kann Wissen auch innerhalb einer Person verteilt sein, zum Beispiel wenn ein Arzt dasselbe Mammogram zweimal evaluiert und dabei zu unterschiedlichen Diagnosen kommt. Ein Großteil dieser Arbeit untersucht, wann sich unterschiedliche Meinungen in einer Person manifestieren und vergleicht den Erfolg von verschiedenen Strategien um Meinungen zu aggregieren. Im zweiten Kapitel befasse ich mich mit subjektiven Wahrscheinlichkeitsurteilen in Entscheidungsszenarien mit zwei Alternativen. Wenn sich zwei Wahrscheinlichkeitsurteile von einer Person unterscheiden, wann sollte man Ihren Mittelwert nehmen und wann das höhere Wahrscheinlichkeitsurteil wählen? Theoretische und empirische Resultate zeigen, dass der Mittelwert zweier Wahrscheinlichkeitsurteile eine robuste Strategie ist, um ein akkurateres Wahrscheinlichkeitsurteil zu erzielen, wohingegen es eine riskante Strategie ist, sich immer auf das höhereWahrscheinlichkeitsurteil zu verlassen. Das höhere Wahrscheinlichkeitsurteil kann Abweichung vom wahren Wert erheblich erhöhen und uebertrifft nur dann den Erfolg des Mittelwerts, wenn die objektive Wahrschenlichkeit, dass man richtig antwortet bei 60% oder höher liegt. In Kapitel 3 untersuche ich das Verhältnis zwischen inkonsistenten Entscheidungen, subjektiven Wahrscheinlichkeiten und der statistischen Umgebung in Expertenentscheidungen. Im Detail, versuche ich zu verstehen, wann Mediziner/innen ihre Meinung ändern und biete Hilfestellungen für diejenigen, die sich auf Expertenentscheidungen verlassen müssen. Kurzum, wenn ein/e Experte/in sich widerspricht, kann man sich auf die Entscheidung mit dem höheren Wahrscheinlichkeitsurteil verlassen—da in der Regel Expert/innen eine objektive Wahrscheinlichkeit richtig zu liegen von 60% erreichen oder übertreffen. In Kapitel 4 erforsche ich die Abhängigkeit zwischen aufeinanderfolgenden Teilentscheidungen in einem sequenziellen Diagnose Verfahren. In der Regel lassen sich Fehler besser ausgleichen, je unabhängiger die einzelnen Entscheidungen sind. Bisher zeigen die Resultate, dass die statistische Umgebung moderiert, wie stark Teilentscheidungen in einem sequenziellen Verfahren voneinander abhängen. Künftige Studien sollten erforschen, wie sich Abhängigkeiten zwischen Teilentscheidungen auf die Richtigkeit der endgültigen Diagnose auswirken. In Kapitel 5 begutachten meine Kollegen und ich vier bekannte Strategien für das Aggregieren von Entscheidungen aus einer ökologischen Perspektive. Ich zeige, dass es eine Auswahl an Methoden gibt um Unsicherheit zu reduzieren und dass jede Methode ihre eigene Nische in einer statistischen Umgebung hat. Kennt man die Umgebung nicht, kann man zwei Prinzipien folgen: (a) Aggregieren Sie lieber mehr als weniger Urteile, und (b) verwenden Sie Feedback um sich an die Umgebung anzupassen. In Kapitel 6 fasse ich die zentralen Erkenntnisse zusammen und zeige neue Ideen für zukünftige Studien auf. Zusammengenommen, zeigt diese Arbeit, dass man durch das Aggregieren von unterschiedlichen Urteilen Unsicherheit reduzieren kann. Jedoch impliziert die Auswahl an Strategien eine andere Unsicherheit: Welche Strategie sollte man wann anwenden? Dieser und weiteren Fragen gehe ich mit Anwendung von analytischen Methoden, Computer Simulationen und empirischen Studien auf den Grund. Ich treibe bestehende Forschung voran, indem ich bisherige Strategien erweitere, gegenüberstelle und im Kontext von Expertenentscheidungen untersuche. Im Großen und Ganzen beleuchtet diese Arbeit Meinungsunterschiede aus einem anderen Blickwinkel und weist auf, wie und wann man sie zum Guten wenden kann.
