Evaluation of the quality of current literature in the field of bovine, canine and equine reproduction and the manageability of its assessing by using a previously validated checklist

Abstract

Veterinarians provide a wide range of services and play an important role in protecting animal welfare and maintaining animal and public health. Publications are important to implement knowledge into the practice despite the difficulties of a continuous increase of literature and variations in quality. Thus, the systematic evaluation of the quality of veterinary literature may help to imply best available care for patients of the highest available evidence. The overall objective of this study was to evaluate the quality of actual veterinary literature and the manageability of its assessing. First an overview of evidence-based veterinary medicine, its strengths and weaknesses regarding the establishment in a workaday life was shown. In the first study the quality of a randomly selected sample of published literature on reproduction of cattle, horses and dogs was evaluated and compared. A literature search was conducted in the databases Medline and Veterinary Science. Approximately five times more articles on clinical bovine reproduction (n = 25 910) were found compared to canine (n = 5 015) and equine (n = 5 090) reproduction. For the evaluation of the literature a checklist was used. A subset of 600 articles published between 1999 and 2008 was randomly selected. After applying exclusion criteria a total of 268 trials (86 for cattle, 99 for horses and 83 for dogs) was evaluated and used for further analysis. Data of this study demonstrated for the field of canine and equine reproduction fewer clinical trials with a control group compared to bovine reproduction (cattle 66%, horses 41% and dogs 41%). For all three species investigated, few publications were identified (4%) with the highest level of evidence, i.e. controlled, randomized and blinded trials or meta-analyses. In cattle 33% of the publications were graded adequately to draw sound conclusions. Only 7% and 11% were graded adequately in dogs and horses, respectively. Altogether, the results of this study demonstrate deficits and differences of published literature on reproduction in cattle, dogs and horses. Hence, improvement of the quality of well-designed, conducted and reported clinical trails is required. The objective of the second study was to determine the inter-observer agreement utilizing an existing checklist for the evaluation of scientific literature in the field of animal reproduction. Three publications on bovine reproduction (one case report, one randomized controlled study without blinding and a blinded, randomized controlled study) were selected. Fourteen international recognized scientists in the field of animal reproduction were utilized. Each reviewer was provided with the three articles, three checklists, and supplementary explanations. Altogether, 13 of the respondents filled out over 90% of the answers of the three evaluation forms. The repeatability for the respondents using a Fleiss’ kappa was 0.35. By combining ‘strongly agree’ and ‘agree’ as well as ‘strongly disagree’ and ‘disagree’ the kappa value increased to 0.49. There was a very strong agreement among the respondents concerning the classification of the level of evidence (98% of all evaluation forms). Only in one case a randomized, controlled trial was considered as a controlled trial. Evaluation of information provided regarding housing (35% identically answers) and preconditions or pretreatments (42%) of the animals varied widely in all publications. These data illustrate that by combination of the extreme positions the kappa value raised from a fair to a moderate agreement. Even if the repeatability of classification was moderate, repeatability of important review categories was high. Our data provide evidence that such a checklist does provide a reasonable and practical tool to assess the quality of publications. Overall, the two studies demonstrated the manageability of using a checklist to assess the quality of publications. Additionally, publications in the field of animal reproduction vary widely in their quality and the deficits are species specific. The lack of high quality trials hampers the implementation of high evidence knowledge. Therefore, the veterinarian should always try to assess the quality of information before implementing results into practice.

Veterinärmediziner haben ein weit reichendes Aufgabengebiet und spielen eine wichtige Rolle im Tierschutz und der Aufrechterhaltung der Gesundheit von Tier und Mensch. Wissenschaftliche Veröffentlichungen sind von großer Bedeutung, um Erkenntnisse in die Praxis einzuführen. Allerdings besteht die Schwierigkeit eines ständigen Anstiegs der Publikationsmenge und deren Qualitätsunterschieden. Aus diesem Grund wurde eine systematische Beurteilung der Qualität von veterinärmedizinischer Literatur dem Tierarzt helfen, eine optimale Betreuung der Patienten anhand von Erkenntnissen mit der höchsten Evidenz zu gewährleisten. Ziel dieser Arbeit war die Beurteilung der Qualität von aktueller veterinärmedizinischer Literatur und die Durchführbarkeit dieser Beurteilung. Zuerst wird ein Überblick der evidenzbasierten Veterinärmedizin und ihre Vor- und Nachteile bei der Etablierung im Praxisalltag dargestellt. In der ersten Studie wurde die Qualität einer randomisierten Stichprobe von Publikationen über die Reproduktionsmedizin von Rindern, Pferden und Hunden bewertet und verglichen. Eine Literatursuche wurde anhand der Datenbanken Medline und Veterinary Science durchgeführt. Ungefähr das Fünffache an Artikeln wurde zur Reproduktionsmedizin von Rindern (n = 25 910) im Vergleich zu Hunden (n = 5 015) und Pferden (n = 5 090) gefunden. Für die Beurteilung der Literatur wurde ein Fragebogen genutzt. Eine Stichprobe von 600 Artikeln, die zwischen 1999 und 2008 publiziert wurden, wurde randomisiert ausgewählt. Nach der Anwendung von Ausschlusskriterien wurden 268 Studien (86 für Rinder, 99 für Pferde und 83 für Hunde) bewertet und weitere Analysen durchgeführt. Die Daten dieser Studie bestätigten für den Bereich der Reproduktionsmedizin von Hunden und Pferden weniger klinische Studien mit einer Kontrollgruppe im Vergleich zur Reproduktionsmedizin von Rindern (Rinder 66%, Pferde 41% und Hunde 41%). Für alle drei untersuchten Tierarten wurden nur wenige Publikationen (4%) mit dem höchsten Evidenzlevel (kontrollierte, randomisierte und verblindete Studien oder Metaanalysen) identifiziert. Als adäquate, um wissenschaftlich gesicherte Schlussfolgerungen ziehen zu können, wurden 33% der Publikationen aus dem Themenbereich Rind eingestuft. Nur 7% und 11% waren bei Hunden und Pferden als adäquate beurteilt worden. Insgesamt weisen die Ergebnisse dieser Studie Defizite und Unterschiede in Publikationen der Reproduktionsmedizin von Rindern, Pferden und Hunden auf. Dementsprechend ist eine Verbesserung der Qualität der Planung, Durchführung und Beschreibung klinischer Studien erforderlich. Ziel der zweiten Studie war die Untersuchung des inter-observer Agreements bei der Nutzung eines existierenden Fragebogens für die Bewertung von wissenschaftlicher Literatur in dem Bereich der Veterinär-Reproduktionsmedizin. Drei Artikel zu dem Thema der Reproduktionsmedizin von Rindern (ein Fallbericht, eine randomisierte, kontrollierte Studie ohne Verblindung und eine verblindete, randomisierte und kontrollierte Studie) wurden ausgewählt. Vierzehn internationale Tierarzte mit Spezialisierung auf dem Gebiet der Veterinär-Reproduktionsmedizin haben an dieser Studie teilgenommen. Jeder Teilnehmer erhielt die drei Artikel, drei Fragebogen und eine Liste mit Erläuterungen. Insgesamt haben dreizehn Teilnehmer über 90% der drei Fragebogen ausgefüllt. Die Übereinstimmungen der Antworten ergaben einen Fleiss’ Kappa von 0.35. Die Zusammenführung von ‚trifft voll und ganz zu’ und ‚trifft zu’ sowie ‚trifft ganz und gar nicht zu’ und ‚trifft nicht zu’ führten zu einem Anstieg des Kappas auf 0.49. Es bestand eine große Übereinstimmung zwischen den Teilnehmern in Bezug auf die Einteilung der Artikel in Evidenzstufen (98% der Artikel). Nur in einem Fall wurde eine randomisierte, kontrollierte Studie als eine kontrollierte Studie eingestuft. Beurteilungen zu Informationen zur Haltung (35% identische Antworten) sowie Vorerkrankungen und Vorbehandlungen (42%) der Tiere waren zu allen Artikeln sehr unterschiedlich. Diese Daten verdeutlichen, dass sich beim Zusammenfuhren der extremen Positionen der Antworten der Kappa-Wert von einer ausreichenden auf eine mittelmäßige Übereinstimmung erhöht. Trotz einer mittelmäßigen Übereinstimmung war die Übereinstimmung von wichtigen Bewertungskategorien hoch. Unsere Daten bieten Anhaltspunkte, dass die Nutzung eines Fragebogens ein angemessenes und praktisches Instrument ist, um die Qualität von Publikationen zu beurteilen. Insgesamt verdeutlichen die beiden Studien die Durchführbarkeit der Qualitätsbeurteilung von Literatur anhand eines Fragebogens. Zusätzlich weisen Publikationen im Bereich der Veterinär- Reproduktionsmedizin Unterschiede in ihrer Qualität auf. Diese sind tierartspezifisch. Die Ermangelung von qualitativ hochwertigen Studien verhindert die Einführung von Erkenntnissen hoher Evidenz. Diese sind allerdings notwendig, um fundierte Schlussfolgerungen fur veterinärmedizinische Fragestellungen zu ziehen. Aus diesem Grund sollten Tierarzte möglichst die Qualität von Informationen vor ihrer Umsetzung in die Praxis beurteilen.