Algorithmische Klassifikation: ein nützliches Instrument für digitale Kopfschmerztagebücher in mHealth Apps?

Abstract

Diese Arbeit untersucht die Genauigkeit eines Instruments zur Klassifizierung einzelner Kopfschmerzattacken von Migräne und Kopfschmerzen vom Spannungstyp in digitalen Kopfschmerzkalendern. Dazu wurde die Klassifizierung von Kopfschmerzattacken durch einen Neurologen mit der Klassifizierung derselben Kopfschmerzattacken durch einen Algorithmus verglichen. Der Algorithmus folgt einer Verzweigungslogik und basiert auf den ICHD-3 Kriterien für Migräne und wahrscheinliche Migräne mit und ohne Aura und für Kopfschmerzen vom Spannungstyp und wahrscheinliche Kopfschmerzen vom Spannungstyp. Zur Validierung wurde eine Stichprobe von 102 einzelnen Kopfschmerzattacken von Patienten*innen aus der Datenbank der Kopfschmerzmanagement-App M-sense von einem Neurologen mit Spezialisierung in Kopfschmerzmedizin und durch den Algorithmus klassifiziert. Der Neurologe und der Algorithmus klassifizierten Migräne mit Aura (MA), Migräne ohne Aura (MO), Kopfschmerzen vom Spannungstyp (SKS) und Nichtmigräne- oder Nicht-SKS-Ereignisse. Die Ergebnisse wurden in einer Kappa Statistik verglichen und in einer Validitätsprüfung ausgewertet. Von den 102 Kopfschmerzattacken waren 86 Fälle übereinstimmend und 16 Fälle nicht übereinstimmend. Dies entspricht Cohens κ 0.74 und somit einer erheblichen Übereinstimmung. In der Validitätsprüfung zeigte sich als häufigster Grund für die Nichtübereinstimmung (12 von 16) unbeabsichtigte Fehler durch den Neurologen. Der zweithäufigste Grund (3 von 16) waren unzureichende Informationen für eine Klassifizierung durch den Neurologen. Zusammenfassend kann das Instrument digitale Kopfschmerzkalender mit guter Genauigkeit automatisiert auswerten und somit als diagnostische Entscheidungshilfe die unersetzlichen Fähigkeiten der Ärzte*innen erweitern und die klinischen Prozesse unterstützen. Es ist in mHealth integrierbar und vereinfacht die zeitintensive und fehleranfällige manuelle Auswertung von Kopfschmerztagebüchern. Basierend auf diesem Instrument können weitere Funktionalitäten für Kopfschmerzmanagement-Apps entwickelt werden, womit eine personalisierte Versorgung von Kopfschmerzpatienten*innen möglich wird.

This work investigates the accuracy of a tool for classifying individual attacks of migraine and tension-type headache reported in digital headache calendars. For this purpose, headache attacks classified by a neurologist were compared with an algorithm’s classification of the same headache attacks. The algorithm follows a branching logic and is based on ICHD-3 criteria for migraine and probable migraine with and without aura and for tension-type headache and probable tension-type headache. To validate the algorithm, a sample of 102 individual patient headache attacks from the M-sense headache management app database were classified independently by both a neurologist with specialization in headache medicine and by the algorithm. The neurologist and algorithm classified migraine with aura (MA), migraine without aura (MO), TTH, and non-migraine or non-TTH events. Results were compared in a kappa statistic and analyzed in a disagreement validity assessment. Of the 102 headache attacks, 86 cases were concordant, and 16 cases were discordant. This corresponds to Cohen's κ 0.74 and thus to substantial agreement. In the validity test, the most frequent reason for disagreement (12 of 16) was shown to be unintentional errors by the neurologist. The second most common reason (3 of 16) was that the neurologist had insufficient information for classification. Overall, the study results indicate that the tool can evaluate digital headache calendars with good accuracy in an automated manner. It could thus serve as a diagnostic decision support tool to enhance the irreplaceable skills of the physician and thereby support clinical processes. Further, the integration of this tool into mHealth innovates the time-consuming and error-prone manual evaluation of headache diaries. Based on this tool, further functionalities can also be developed for headache management apps, enabling personalized care for headache patients.