Human-Centered Design and Evaluation of Explanation User Interfaces – A Design Science Research Perspective

Abstract

Künstliche Intelligenz (KI) ist nicht mehr aus unseren privaten und beruflichen Leben wegzudenken. In Form von persönlichen Assistenten unterstützen sie uns dabei Aufgaben zu erfüllen oder nehmen sie uns komplett ab. Implementiert in Entscheidungsunterstützungssystemen kann KI dazu beitragen, dass menschliche Entscheidungsträger:innen informierte Entscheidungen treffen können. Weiterhin kann KI vielseitige Dimensionen wie die kognitive Anstrengung oder Belastung und die Leistung positiv beeinflussen oder auch zu Zeitersparnissen führen. Spätestens die Veröffentlichung von ChatGPT hat gezeigt, wie mächtig aktuelle KI-Ansätze sein können und welche weitreichenden Konsequenzen sowie Implikationen KI-Systeme entstehen lassen. Doch viele dieser mächtigen KI-Ansätze teilen sich eine kritische Eigenschaft, welche zu großen Herausforderungen für die Gestaltung, Evaluierung und Nutzung von KI-Systemen führen kann. Dabei handelt es sich um das Blackbox-Problem. Viele neuartige und hochleistungsfähige KI-Ansätze basieren auf komplexen Architekturen und beinhalten viele nicht-lineare Berechnungen, wodurch diese an Intransparenz gewinnen und daher häufig als opak beschrieben werden. Durch diesen Umstand wissen wir, welche Daten in die KI als Eingabe eingegangen sind und bspw. im Falle einer Klassifikation erhalten wir eine Ausgabe in Form einer Klasse. Das Blackbox-Problem liegt zwischen der Ein- und Ausgabe. In Blackbox-KI-Ansätzen können wir nur schwer nachvollziehen, welche Merkmale der Eingabedaten besonders wichtig oder unwichtig für die Ausgabe waren. Wir können nicht einschätzen, ob die KI für uns sinnvolle oder unerwünschte Merkmale für die Entscheidungsfindung nutzt, welche bspw. zu Diskriminierung oder einer kognitiven Verzerrung führen können. In unkritischen Aufgaben wie bspw. der Sentiment-Klassifizierung von Rezensionen in positiv und negativ, sind die Auswirkungen des Blackbox-Problems eher gering. Wenn KI aber in eher kritischen Bereichen eingesetzt wird wie im Bereich der Gesundheitsversorgung, im Personal- oder Finanzwesen, steigen die potenziellen Risiken, welche aus dem Blackbox-Problem entstehen und können weitreichende Folgen haben.

Das Forschungsfeld erklärbare KI (EKI) widmet sich diesem Blackbox-Problem. In diesem Forschungsfeld werden Methoden entwickelt, welche Blackbox-KI erklärbar machen sollen, bspw. durch die Generierung von Erklärungen für individuelle KI-Ausgaben. Gleichermaßen wird daran geforscht, transparente KI-Modelle und Architekturen zu entwickeln, um das Blackbox-Problem erst gar nicht aufkommen zu lassen. Ein weiterer wichtiger Forschungsfokus im Bereich EKI besteht darin, zu untersuchen und verstehen, wie Erklärungen gestaltet und wahrgenommen werden. Forschung hat bereits gezeigt, dass es keine allgemeingültige Lösung gibt, welche für alle EKI-Systeme gleichermaßen funktionieren. Denn es gibt eine Vielzahl von Branchen und Anwendungsszenarien für EKI, wobei die Nutzer:innen sehr individuelle Bedürfnisse, Vorkenntnisse und Erwartungen an Erklärungen stellen können. Es gibt also eine große Anzahl von Aspekten, welche die Wahrnehmung von Erklärungen und die Interaktionserfahrung beeinflussen können. Diese Herausforderung wird dadurch verstärkt, dass Erklärungen in den unterschiedlichsten Formaten für Nutzer:innen gestaltet werden können, wie bspw. Erklärungen in natürlicher Sprache, die grafische Hervorhebung relevanter Eingabedaten oder auch die Visualisierung in Form von Diagrammen. In diesem Spannungsfeld gibt es viele Möglichkeiten, mittels wissenschaftlicher Erkenntnisgewinnung einen wertvollen Beitrag zu leisten. Denn das Forschungsfeld EKI wird in der Forschung häufig dadurch charakterisiert, dass mehr human-zentrierte Evaluierungen sowie dazugehöriges Designwissen fehlt.

Die Aspekte der humanzentrierten Gestaltung und Evaluierung wurden in dieser Dissertation erforscht. Als Fokus wurden die User Interfaces (UIs) von EKI-Systemen ausgewählt, da sie ein elementarer Bestandteil der Interaktionserfahrung darstellen und hier die Erklärungen den Nutzer:innen bereitgestellt werden. Diese Klasse der UIs wird Explanation UI (XUI) genannt. XUIs sind jene UIs, welche Informationen über die Ausgabe eines EKI-Systems präsentieren und einen besonderen Fokus auf die Erklärungen legen. So präsentieren XUIs bspw. die Eingabedaten, die Ausgabe, eine oder mehrere Erklärungen und weitere Informationen, welche bei der Interpretation der Erklärungen unterstützen. Die Erforschung der human-zentrierten Gestaltung und Evaluierung von XUIs wurde in dieser Dissertation maßgeblich mittels des Design Science Research Paradigmas durchgeführt. In den individuellen Forschungsarbeiten, welche Teil dieser Dissertation sind, wurde die Gestaltung und Wahrnehmung von XUIs in unterschiedlichen Domänen untersucht. Dazu gehören Domänen wie die Gesundheitsbranche, Mobilitätsbranche, soziale Medien oder Personalmanagement. Neben den unterschiedlichen Branchen wurden viele verschiedene Akteure in die Gestaltung von human-zentrierten XUIs involviert. Hierzu gehören bspw. Domänenexpert:innen, Nutzer:innen oder von EKI-Ausgaben betroffene Personen. Durch die Involvierung von diversen Akteuren fließen vielseitige Erwartungshaltungen, Informationsbedürfnisse und Vorerfahrungen in den Gestaltungsprozess von XUIs ein. Im Rahmen des Gestaltungsprozesses wurden die Akteure auch in human-zentrierten Evaluierungen involviert. Dabei kamen unterschiedliche Forschungsmethoden zum Einsatz. Einerseits wurden qualitative Methoden verwendet und insbesondere semi-strukturierte Interviews durchgeführt. Andererseits wurden quantitative Methoden wie Onlineexperimente und Umfragen durchgeführt. Durch diese human-zentrierten Evaluierungen konnten viele tiefgehende Erkenntnisse gewonnen werden. Die gewonnenen Erkenntnisse beziehen sich auf die Problemidentifizierung mit existierenden vergleichbaren Systemen, Verbesserungspotenziale für die gestalteten XUIs, die Wahrnehmung sowie Effekte der gestalteten XUIs auf Nutzer:innen und die Wiederverwendbarkeit des entwickelten Designwissens.

Die individuellen Forschungsprojekte und das zuvor beschriebene Vorgehen führten dazu, dass ein umfangreiches Wissen hinsichtlich der human-zentrierten Gestaltung und Evaluierung entwickelt wurde. Die Forschungsergebnisse haben gezeigt, wie Erklärungen in XUIs bspw. die Vertrauenswürdigkeit, Nützlichkeit, Interaktivität, Nutzerbindung oder Zufriedenheit positiv beeinflussen können. Weiterhin wurde das entwickelte Designwissen in Form von Designprinzipien zusammen mit Praktiker:innen evaluiert. Dabei lag der Fokus auf der Wiederverwendbarkeit und die Evaluierungen haben gezeigt, dass sie als sehr hoch bewertet wird. Zusätzlich gaben die Nutzer:innen stets einen hohen Zuspruch hinsichtlich der Akzeptanz der Designprinzipien für eigene Projekte an oder sie Kollegen zu empfehlen. Die in den individuellen Projekten generierten Erkenntnisse und Wissensbeiträge wurden im Rahmen der kumulativen Dissertationsschrift zusammengeführt. Um dies zu erreichen, werden die übergeordneten Forschungsfragen präsentiert, welche sich in den individuellen Forschungsarbeiten widerspiegeln. Es werden die Wissensbasis und das Begründungswissen präsentiert, welche die Basis der durchgeführten und präsentierten Forschung darstellen. Die in den unterschiedlichen Projekten verwendeten Forschungsmethoden werden ebenfalls präsentiert. Anschließend werden alle im Rahmen der Dissertation gewonnen wissenschaftlichen Erkenntnisse mit einem Bezug zu human-zentrierter Gestaltung und Evaluierung von XUIs in einer Information Systems Design Theory (ISDT) zusammengefasst. Durch die entwickelte ISDT werden die erarbeiteten Erkenntnisse zusammengeführt und zugänglich gemacht. Hierdurch entstehen vielfältige Wissensbeiträge mit Relevanz für die Forschung und Praxis. Dazu gehören bspw. die in der ISDT enthaltenen Designprinzipien, welche Wissen dazu bereitstellen, wie sich konkrete Designkonfigurationen von XUIs implementieren lassen. Hinzu kommen die empirischen Erkenntnisse, welche einen Einblick hinsichtlich der Effekte von unterschiedlichen Designkonfigurationen auf die Interaktionserfahrung für Nutzer:innen mit XUIs gewähren.

Artificial intelligence (AI) has become integral to our private and professional lives. In the form of personal assistants, they support us in completing tasks or take them off our hands thoroughly. Implemented in decision support systems, AI can help human decision-makers make informed decisions. Furthermore, AI can positively influence various dimensions such as cognitive effort or load and performance or even lead to time savings. The publication of ChatGPT has shown how powerful current AI approaches can be and the far-reaching consequences and implications that AI systems can have. However, many of these powerful AI approaches share a critical property that can lead to significant challenges in designing, evaluating, and using AI systems. This is the black box problem. Many novel and high-performance AI approaches are based on complex architectures and involve many non-linear calculations, making them less transparent and, therefore, often described as opaque. Due to this fact, we know which data has been entered into the AI as input, and, for example, in the case of a classification, we receive an output in the form of a class. The black box problem lies between the input and output. In black box AI approaches, it is difficult for us to understand which features of the input data were particularly important or unimportant to the output. We cannot assess whether the AI uses features that are useful or undesirable to us for decision-making, which could, for example, lead to discrimination or bias. In non-critical tasks such as the sentiment classification of reviews into positive and negative, the effects of the black box problem are relatively small. However, when AI is used in more critical areas such as healthcare, human resources, or finance, the potential risks arising from the black box problem increase and can have far-reaching consequences.

Explainable AI (XAI) research is dedicated to this black box problem. In this research field, methods are being developed to make black box AI explainable, for example, by generating explanations for individual AI outputs. At the same time, research is being carried out to develop transparent AI models and architectures in order to prevent the black box problem from arising in the first place. Another important research focus in XAI is examining and understanding how explanations should be designed and the associated effects. Research has shown that no universal solution works equally for all XAI systems. There are a variety of industries and application scenarios for XAI, whereby users can have very individual needs, previous knowledge, and expectations of explanations. There are, therefore, a large number of aspects that can influence the perception of explanations and the interaction experience. This challenge is compounded by the fact that explanations can be designed for users in various formats, such as explanations in natural language, graphical highlighting of relevant input data, or visualization in the form of diagrams. In this area of tension, there are many opportunities to make a valuable contribution by acquiring scientific knowledge. The XAI research field is often characterized by the lack of more human-centered evaluations and the associated design knowledge. The aspects of human-centered design and evaluation were explored in this dissertation. The user interfaces (UIs) of XAI systems were chosen as a focus because they represent an elementary part of the interaction experience, and this is where the explanations are provided to the users. This class of UIs is called Explanation UI (XUI). XUIs are those UIs that present information about the output of an XAI system and place a particular focus on the explanations. For example, XUIs present the input data, the output, one or more explanations, and other information that supports the interpretation of the explanations. The research into the human-centered design and evaluation of XUIs in this dissertation was largely carried out using the Design Science Research paradigm. In the individual research work that is part of this dissertation, the design and perception of XUIs in different domains were examined. These include domains such as the healthcare industry, mobility industry, social media, and human resources management. In addition to the different industries, many different actors were involved in the design of human-centered XUIs. This includes, for example, domain experts, users, or people affected by XAI systems. By involving various actors, diverse expectations, information needs, and previous experiences flow into the design process of XUIs. The actors were also involved in human-centered evaluations as part of the design process. Different research methods were used. On the one hand, qualitative methods were used, and, in particular, semi-structured interviews were carried out. On the other hand, quantitative methods such as online experiments and surveys were carried out. Many in-depth insights were gained through these human-centered evaluations. The insights gained relate to problem identification with existing comparable systems, the potential for improvement for the designed XUIs, the perception and effects of the designed XUIs on users, and the reusability of the developed design knowledge.

The individual research projects and the approach described above led to the development of extensive knowledge regarding human-centered design and evaluation. The research results have shown how explanations in XUIs can positively influence trustworthiness, usefulness, interactivity, user loyalty, or satisfaction. Furthermore, the design knowledge developed in design principles was evaluated by practitioners. The focus was on reusability, and the results have shown that it is rated very high. In addition, users consistently reported high acceptance of the design principles for their projects or recommended them to colleagues. The insights and knowledge contributions generated in the individual projects were brought together as part of the cumulative dissertation. In order to achieve this, the overarching research questions are presented, which are reflected in the individual research work. The knowledge base and the justification knowledge are presented, representing the basis of the research carried out and presented. The research methods used in the different projects are also presented. Subsequently, all scientific findings gained as part of the dissertation regarding human-centered design and evaluation of XUIs are summarized in an Information Systems Design Theory (ISDT). Through the developed ISDT, the knowledge gained is brought together and made accessible. This creates a wide range of relevant knowledge contributions to research and practice. These include, for example, the design principles contained in the ISDT, which provide knowledge on how concrete design configurations of XUIs can be implemented. In addition, empirical findings provide insight into the effects of different design configurations on the interaction experience for users with XUIs.