Qualität der Berichterstattung diagnostischer Genauigkeitsstudien in der radiologischen Literatur

Abstract

Background: Diagnostic accuracy studies are often judged to have a poor quality of reporting. European Radiology started recommending the use of the Standards for Reporting Diagnostic Accuracy (STARD) within its submission guidelines in 2017, while Radiology made the use of the STARD checklist mandatory for its submissions in 2016. We used these changes to the submission guidelines as an opportunity to analyze if recommending the use of the STARD checklist or making it mandatory has improved the quality of reporting of diagnostic accuracy studies. Methods: MEDLINE (via PubMed) was searched for diagnostic accuracy studies published in European Radiology and Radiology with a validated search strategy. The search was limited to studies published in 2015 and 2019. Two independent reviewers assessed the quality of reporting of all included studies with the help of the updated STARD checklist. If an item was adequately reported, it scored a point. To calculate the total STARD score of each article the scored points were summed up. Item 11 (rationale for choosing the reference standard [if alternatives exist]) was excluded for this analysis because the reviewers were not able to determine whether the item was not reported because no alternatives exist or because the authors did not mention it. Student’s t tests for independent samples as well as Wilcoxon–Mann–Whitney tests were used to analyze differences in the number of reported STARD items between studies published in 2015 and in 2019 within each journal. Differences between both journals were analyzed with student’s t test as well. Results: 180 diagnostic accuracy studies met the inclusion criteria. The mean total number of reported STARD items of all included studies was 16.9 ± 2.9 of 29 items (58.3%, range 9.5 - 24.5). The quality of reporting of diagnostic accuracy studies was significantly better after the changes in the submission guidelines in both journals (European Radiology: 16.3 ± 2.7 versus 15.1 ± 2.3, p < 0.02, Radiology: 19.5 [IQR 18.5 - 21.5] versus 18.0 [IQR 15.5 - 19.5], p < 0.001, Vargha and Delaney’s A = 0.24). The quality of reporting of diagnostic accuracy studies was significantly better in Radiology (18.6 ± 2.4) than in European Radiology (15.9 ± 2.6, p < 0.01). Conclusion: The quality of reporting of diagnostic accuracy studies published in two radiological medical journals is still moderate. Encouraging authors to follow the STARD checklist has improved the quality of reporting as well as making the use of the STARD checklist mandatory. Editors should consider adding mandatory reporting guidelines to the submission guidelines of their journals to make a contribution to improving the quality of reporting.

Hintergrund: Diagnostische Genauigkeitsstudien weisen häufig Mängel in der Qualität ihrer Berichterstattung auf. European Radiology hat 2017 eine Empfehlung zur Verwendung der Standards for Reporting Diagnostic Accuracy (STARD) in ihren Einreichungsrichtlinien ergänzt, während Radiology die Verwendung der STARD-Checkliste 2016 verpflichtend gemacht hat. In dieser Arbeit haben wir die beiden Änderungen in den Einreichungsrichtlinien zum Anlass genommen, zu analysieren, ob eine Empfehlung oder Verpflichtung zur Verwendung der STARD-Checkliste zu einer Verbesserung der Qualität der Berichterstattung diagnostischer Genauigkeitsstudien geführt hat. Methoden: Mit einer validierten Suchstrategie haben wir MEDLINE via PubMed nach diagnostischen Genauigkeitsstudien durchsucht, die in den Jahren 2015 und 2019 in den Journalen European Radiology und Radiology veröffentlicht wurden. Zwei Auswerterinnen haben mit Hilfe der aktuellen STARD-Checkliste unabhängig voneinander die Qualität der Berichterstattung der eingeschlossen Studien geprüft. Wurde ein Item der STARD-Checkliste suffizient wiedergegeben, konnte ein Punkt vergeben werden. Um einen STARD-Gesamtscore zu berechnen, wurden alle erzielten Punkte einer Studie addiert. Item 11 (Grund für die Wahl des Referenzstandards [wenn Alternativen existieren]) musste für diese Analyse ausgeschlossen werden. Denn nicht in jeder klinischen Situation existieren Alternativen für den Referenzstandard. Den beiden Auswerterinnen war es nicht möglich einzuschätzen, ob Item 11 in einer Studie nicht berücksichtigt wurde, weil es keine Alternativen zum Referenzstandard gab oder weil es nicht erfüllt wurde. T-Tests und Wilcoxon-Mann-Whitney-Tests wurden genutzt, um jeweils Unterschiede zwischen den beiden Jahren innerhalb eines Journals zu untersuchen sowie zwischen den beiden Journalen selbst. Ergebnisse: 180 diagnostische Genauigkeitsstudien erfüllten die Einschlusskriterien. Der Mittelwert des STARD-Gesamtscores der eingeschlossenen Studien betrug 16,9 ± 2,9 von 29 Items (58,3%; Spannweite 9,5 - 24,5). In beiden Journalen verbesserte sich die Qualität der Berichterstattung mit den Änderungen der Einreichungsrichtlinien signifikant (European Radiology: 16,3 ± 2,7 versus 15,1 ± 2,3; p < 0,02; Radiology: 19,5 [IQA 18,5 - 21,5] versus 18,0 [IQA 15,5 - 19,5]; p < 0,001; Varghas und Delaneys A = 0,24). Die Qualität der Berichterstattung diagnostischer Genauigkeitsstudien war in Radiology (18,6 ± 2,4) signifikant besser als in European Radiology (15,9 ± 2,6; p < 0,01). Fazit: Die Qualität der Berichterstattung ist in zwei führenden Journalen der radiologischen Literatur nach wie vor moderat. Die Empfehlung und Verpflichtung zur Verwendung der STARD-Checkliste hat in beiden Journalen zu einer Verbesserung der Qualität der Berichterstattung geführt. Herausgeber*innen können mit ergänzenden Verpflichtungen zur Verwendung bestimmter Reporting Guidelines einen Beitrag zur Verbesserung der Qualität der Berichterstattung leisten.