Hintergrund: Die Computertomographie des Thorax ist eine häufige und bedeutsame Untersuchung der Radiologie. Die Ergebnisse einer CT-Untersuchung werden in einem Befundtext dargestellt, welcher jedoch keiner festen Struktur folgt, und bislang gibt es keine Kategorisierung von Befundtexten, obwohl dies den klinischen Alltag erheblich erleichtern würde. Um strukturierte Daten aus Befundtexten der CT des Thorax zu extrahieren, wurden drei verschiedene Deep-Learning-Modelle für das Natural Language Processing (NLP) entwickelt.
Methoden: Ein annotierter Datensatz bestehend aus 5.950 Befundtexten der CT-Diagnostik des Thorax (inklusive CT-Untersuchungen zur Lungenarterienembolie) wurde für das Training dreier Deep-Learning-Modelle erstellt und die Befundtexte auf das Auftreten 21 verschiedener Befunde untersucht. Für die Klassifikation der Befundtexte mittels Natural Language Processing wurden zum einen ein AWD-LSTM sowie zwei Transformer-Architekturen (BERT und DistilBERT) verwendet. Im Anschluss wurde die Klassifikationsleistungsfähigkeit der Modelle mithilfe der Metriken Genauigkeit, Sensitivität, positivem prädiktiven Wert, F1-Wert sowie AUC beurteilt.
Ergebnisse: Alle drei Modelle erzielten hohe Metriken, welche zwischen den verschiedenen Befunden variierten. Die Genauigkeit erreichte bei allen Befunden >0,96 für das AWD-LSTM, >0,89 für BERT und >0,87 für DistilBERT. Dabei stiegen die Parameter mit zunehmender Prävalenz des jeweiligen Befundes.
Schlussfolgerung: Mithilfe dreier Deep-Learning-Modelle (AWD-LSTM, BERT, DistilBERT) konnten auf Basis eines verhältnismäßig geringen Datensatzes an Texten verschiedene computergestützte Klassifikationssysteme von Befundtexten der CT des Thorax entwickelt werden, welche in der Lage waren, selbstständig die Befunde zu identifizieren. Die Modelle können nun auf sämtliche Befundtexte der CT-Bildgebung des Thorax angewendet und die extrahierten Labels für weiterführende Aufgaben genutzt werden.
Background: Computed tomography of the chest is a common and very important examination in radiology. The results of a CT examination are presented in a report text that does not follow a fixed structure and so far, there is no categorization of the findings, although this would make clinical practice easier. In order to extract structured data from diagnostic texts of the chest CT, three different deep learning models for natural language processing (NLP) were developed.
Methods: An annotated data set consisting of 5,950 report texts from CT chest examinations (including CT examinations of pulmonary artery embolism) was created for the training of three deep learning models, and the report texts were screened for the occurrence of 21 different findings. An LSTM and two transformer architectures (BERT and DistilBERT) were used to classify the reports using natural language processing. The classification performance of the models was then assessed using the metrics accuracy, sensitivity, precision, F1 value and AUC.
Results: All three models were able to achieve high metrics, which varied between the different findings. The accuracy for every finding reached >0.96 for the LSTM, >0.89 for BERT and >0.87 for DistilBERT. During the process the parameters increased with higher prevalence of the respective finding.
Conclusion: With the help of three deep learning models (AWD-LSTM, BERT, DistilBERT) and based on a relatively small dataset of reports, various computer-aided classification systems of chest CT reports could be developed, which were able to identify the findings independently. The models may now be applied to all reports of chest CTs, and the extracted labels can be used for further tasks.
