Design, Implementation, and Evaluation of an LLM Assisted User Interface for a Questionnaire on Hereditary Risk Factors in Breast and Ovarian Cancer

Abstract

This bachelor’s thesis examines the integration of large language models into medical questionnaires using the example of a checklist from the Deutsche Krebsgesellschaft for recording hereditary risk factors for breast and ovarian cancer. The aim is to develop and evaluate an LLM-assisted user interface that supports users in answering complex questions, thereby improving usability and user experience. As part of a human-centered design process, a proof of concept was designed, developed, and tested in a qualitative study with six participants. The user interface includes arti- ficial intelligence support from two LLM agents that communicate with each other and generate appropriate outputs for users. The results of the study show improved trans- parency, guidance, and efficiency through LLM assistance, while reducing the overall complexity of the questionnaire. The work confirms the potential of large language models to support medical survey in- struments, but also provides an outlook on necessary improvements and future research areas for the further development of such applications.

Diese Bachelorarbeit untersucht die Integration von Large Language Modellen in medi- zinische Fragebögen am Beispiel einer Checkliste der Deutschen Krebsgesellschaft zur Er- fassung von erblichen Risikofaktoren für Brust- und Eierstockkrebs. Ziel ist die Entwick- lung und Evaluation eines LLM-unterstützten User Interfaces, das Nutzer der Checkliste bei der Beantwortung komplexer Fragen unterstützt und auf diese Weise die Benutzer- freundlichkeit und Benutzererfahrung verbessert. Im Rahmen des Human-Centered Design Prozesses, zugeschnitten auf das Ziel dieser Bachelorarbeit, wurde ein Proof of Concept entworfen, entwickelt und in einer qualita- tiven Studie mit sechs Teilnehmern getestet. Das User Interface umfasst eine künstliche Intelligenz Unterstützung durch zwei LLM-Agenten, die miteinander kommunizieren und auf diese Weise den Nutzenden angebrachte Rückmeldungen generieren. Die Ergebnisse der Studie zeigen eine verbesserte Transparenz, Führung und Verständlichkeit durch die LLM-Assistenz, während es die generelle Komplexität des Fragebogens reduziert. Die Arbeit bestätigt das Potenzial von Large Language Modellen zur Unterstützung medizinischer Erhebungsinstrumente, gibt jedoch auch einen Ausblick auf notwendige Verbesserungen und zukünftige Forschungsfelder für die Weiterentwicklung solcher An- wendungen.