Hintergrund: Systeme der Künstlichen Intelligenz sind in der Medizin bisher wenig etabliert und beschränken sich auf Bereiche, in denen große Datensätze zur Verfügung stehen, wie die Frakturerkennung auf Röntgenbildern. Viele KI-Systeme sollen dem Fachkräftemangel entgegenwirken und entlasten. In der diagnostischen Radiologie ist die anatomische und ätiologische Zuordnung einer Raumforderung oft zeitintensiv, insbesondere in der Augenhöhle mit vielen verschiedene Gewebearten und möglichen Pathologien. Spezielle Fachexpertise ist nicht flächendeckend vorhanden. Radiolog:innen suchen in Nachschlagewerken oder online nach Hilfe. Entwicklungen im Bereich des Maschinellen Lernens ermöglichen Systeme zur inhaltsbasierten Bildersuche (CBIRS). In nur wenigen Sekunden kann anhand von Bildcharakteristika in einer Referenzdatenbank nach ähnlichen Fällen recherchiert und so besonders der Diagnostikprozess von Erkrankungen mit atypischen Bildmerkmalen verbessert werden.
Zielsetzung: Die Studie testet die Verwendung eines in domo entwickelten Prototyps eines CBIRS mit dem Namen 'RadioEye' als radiologisches Referenz-Tool in der MRT-Bildgebung des Auges und der Orbita im Vergleich zur bisherigen radiologischen Vorgehensweise der Diagnosefindung. Endpunkte sind die Diagnose-Richtigkeit, die Bearbeitungszeit und die Sicherheit, mit der die Diagnose gestellt wird.
Methodik: In einer Cross-Over-Studie testeten wir 36 Radiolog:innen (16 Assistenz-, 10 Fach-, und 10 Oberärzt:innen), an insgesamt 288 orbitalen MRT-Fällen aus 20 Krankheitsbildern. Jede/r befundete 8 Fälle, davon 4 auf gewohnte Art und 4 mit CBIRS sowie weiterhin optionalen Referenzen. Sie dokumentierten jeweils die getroffene Diagnose und die Sicherheit der Diagnose-Richtigkeit auf einer 4-Punkt-Likert-Skala, zudem maßen wir die benötigte Befundungszeit.
Ergebnisse: Die Diagnose-Richtigkeit der Radiolog:innen aller drei Erfahrungslevel zusammen stieg signifikant von 55.88 % in der Baseline auf dann 73.48 % in der Intervention bei CBIRS-Verwendung (p = 0.005; OR = 2.23; 95 % CI: 1.27, 3.89). Bei alleiniger CBIRS-Nutzung betrug die Diagnose-Richtigkeit 71.15 %. Wurde das CBIRS und andere Referenz-Tools verwendet, lag die Diagnose-Richtigkeit bei 82.14 %. Die mittlere Befundungszeit pro Fall sank von 330.46 s (SD 161.53) in der Baseline auf 268.69 s (SD 113.27) in der Intervention um 61.76 s statistisch signifikant (p = 0.024). Die empfundene Sicherheit der Diagnose-Richtigkeit stieg auf der Likert-Skala durch die Nutzung des CBIRS und war im Vergleich zur Sicherheit bei reiner Verwendung anderer Referenz-Tools in der Baseline mit einer Odds Ratio von 2.65 mehr als doppelt so hoch (OR = 2.65; 95 % CI: 1.52, 4.60; p < 0.001).
Fazit: Das Verwenden des CBIRS RadioEye steigert in der Analyse von Erkrankungen des Auges und der Orbita im MRT bei Radiolog:innen signifikant die Diagnose-Richtigkeit, führt zu signifikanter Zeitersparnis und steigert signifikant die subjektive Sicherheit der Diagnose-Richtigkeit.
Background: AI systems in medicine are currently still rare and limited to areas with lots of available data like bone fracture detection on X-ray scans. Many of these systems are meant to counteract specialist shortages and reduce the workload. In diagnostic radiology the anatomical and etiological classification of a mass can be time-consuming, especially in the orbit, which contains a high diversity of tissue types with numerous possible pathologies. Trained experts aren’t available comprehensively. Radiologists search for help in reference books or online. Advancements in Machine Learning have led to Content-Based Image Retrieval Systems (CBIRS). In only a few seconds, these systems enable the finding of similar pathology cases by browsing a reference data bank for certain features, which enhances the diagnostic process especially of pathologies with atypical picture characteristics.
Objective: The study tests the use of a prototype of an in-house developed CBIRS named ‘RadioEye’ as radiological reference tool in MRI imaging of the eye and orbit, compared to the radiologists’ common practice of making a diagnosis. Endpoints are diagnostic accuracy, the time needed to diagnose, and the confidence of diagnosing the right pathology.
Methods: In a cross-over study we tested 36 radiologists (16 residents, 10 board-certified, 10 attendings) on 288 orbital MRI cases containing 20 pathologies. Every reader analyzed 8 cases, 4 were diagnosed as usual, the other 4 were diagnosed with CBIRS support and free use of common reference tools. The radiologists had to write down a final diagnosis and on a 4-point-Likert-Scale their confidence in their respective diagnostic accuracy, additionally we measured the time needed to make a diagnosis.
Results: The diagnostic accuracy of radiologists, all three experience levels combined, increased significantly from 55.88 % at baseline level to 73.48 % in the intervention when using the CBIRS (p = 0.005; OR = 2.23; 95 % CI: 1.27, 3.89). When only the CBIRS was used, diagnostic accuracy increased up to 71.15 %. When the CBIRS and common reference tools were used, we measured a diagnostic accuracy of 82.14 %. The mean time needed to diagnose dropped from 330.46 s (SD 161.53) at baseline to 268.69 s (SD 113.27) in the intervention, a mean of 61.76 s (p = 0.024) less for each case. The overall confidence in having made the right diagnosis increased on the Likert-Scale when using the CBIRS. Compared to the confidence at baseline when only other reference tools were used, the confidence more than doubled when using the CBIRS with an odds ratio of 2.65 (OR = 2.65; 95 % CI: 1.52, 4.60; p < 0.001).
Conclusion: Radiologists using the CBIRS RadioEye when analyzing pathologies of the eye and orbit in MRI, show a significant increase in diagnostic accuracy, they need significantly less time and show significantly increased subjective confidence in making the right diagnosis.
