Virtual Control Groups in Nonclinical Studies

Abstract

The concept of virtual control groups (VCGs) aims to replace concurrent control groups (CCGs) in nonclinical studies, potentially reducing the number of animals required in toxicity studies by up to 25%. To evaluate and develop this concept, a consortium comprising pharmaceutical companies, small and medium enterprises, and academic institutions was formed. VCGs are generated from historical control data (HCD), i.e., control group data from past toxicity studies that complied with regulatory guidelines and are usually stored in a standardized data format. VCGs are created by a resampling approach meaning that animal data is randomly drawn from the HCD pool forming the VCGs. To assess the performance of VCGs, nonclinical toxicity studies in rodents (denoted as “legacy studies”) consisting of the CCG and three treatment groups served as a benchmark. “Well-performing” VCGs should reproduce the original results of legacy studies after substituting CCGs with VCGs— comprising statistical outcomes, test-substance related findings, and study conclusions on the test substance’s adverse effects. This thesis shows that the reproducibility of original results with VCG significantly depends on careful selection of HCD in advance: HCD resembling the legacy-study animals in their endpoints’ value distribution leads to high reproducibility of statistical outcomes. Additionally, it was shown on three representative legacy studies that despite low to moderate reproducibility of statistical results, the overall conclusions of the toxicity studies still remained reproducible. The results of the thesis highlight the need for rigorous selection and quality control of HCD including examination of distributions and time-dependent changes of endpoint values. This work introduces and discusses strategies to mitigate the effects of potential confounding factors in the data, aiming to create effective VCGs. Furthermore, the results highlight the need to judge the VCG performance beyond the reproducibility of statistical outcomes. Demonstrating the applicability of VCGs in nonclinical toxicity studies, this work provides workflows and procedures for the ongoing development of the VCG concept ultimately aiming for acceptance by regulatory bodies.

Das Konzept der virtuellen Kontrollgruppen (VCGs) hat zum Ziel, gleichlaufende Kontrollgruppen (CCG) in nichtklinischen Studien zu ersetzen. Dadurch könnte die Zahl der in Studien benötigten Tiere um bis zu 25% reduziert werden. Um die Anwendbarkeit dieses Konzepts zu prüfen und weiterzuentwickeln, wurde ein Konsortium aus Mitgliedern der pharmazeutischen Industrie, kleinen und mittelständischen Unternehmen und akademischen Instituten gegründet. VCGs werden aus historischen Kontrolldaten (HCD) erstellt, i.e., Kontrollgruppendaten aus vergangenen Toxizitätsstudien, welche sich an regulatorische Richtlinien hielten und in einem standardisierten Datenformat gespeichert werden. Um VCGs zu erstellen, wurde ein Resampling-Ansatz verwendet, i.e., Tierdaten werden zufällig aus dem HCD-pool gezogen und bilden die VCGs. Als Benchmark zur Bestimmung der VCG-Performance wurden nichtklinische Toxizitätsstudien in Nagern genutzt (genannt “Legacystudie“), bestehend aus einer CCG und drei Behandlungsgruppen. VCGs haben eine „gute Performance“ wenn sie die Originalergebnisse der Legacystudien reproduzieren nachdem die CCGs mit VCGs ersetzt worden sind—einschließlich statistischer Ergebnisse, testsubstanzbedingter Befunde sowie Schlussfolgerungen zu adversen Effekten durch die Testsubstanz. Diese Arbeit zeigt, dass die Reproduzierbarkeit der Originalergebnisse durch die VCGs stark von der vorzeitigen Auswahl der HCD abhängt. HCD, welche der Legacystudie stark in der Verteilung ihrer Endpunktwerte ähneln, führen zu einer guten Reproduzierbarkeit der statistischen Ergebnisse. Weiterhin wurde am Beispiel drei repräsentativer Legacystudien wurde gezeigt, dass trotz niedriger bis moderater Reproduzierbarkeit statistischer Ergebnisse, die generellen Schlussfolgerungen der Toxizitätsstudien reproduziert werden konnten. Die Ergebnisse dieser Arbeit verdeutlichen die Notwendigkeit einer gründlichen Vorauswahl und Qualitätskontrolle der HCD, was die Prüfung der Verteilungen und zeitabhängigen Veränderungen der Endpunkte beinhaltet. Die Arbeit präsentiert und diskutiert Strategien, um den Einfluss potenzieller Störfaktoren in den HCD zu begrenzen, alles zum Ziel, gut funktionierende VCGs zu erstellen. Außerdem heben die Ergebnisse die Notwendigkeit hervor, die Performance der VCGs nicht nur anhand der Reproduzierbarkeit statistischer Signifikanzen zu beurteilen. Diese Arbeit zeigt, dass VCGs in nichtklinischen Toxizitätsstudien verwendet werden können und stellt Workflows und Anleitungen zur Verfügung, die die Entwicklung des VCG-Konzepts voranbringen. Ziel ist es, dass das VCG-Konzept von Kontrollbehörden angenommen wird.