Deep learning-based methods for image reconstruction in cardiac CT and cardiac cine MRI

Abstract

Objective: Non-invasive medical imaging techniques such as computed tomography (CT) and magnetic resonance imaging (MRI) are nowadays essential tools for the assessment of cardiac diseases, e.g. coronary artery disease or cardiac dysfunction. The image reconstruction problems in these imaging modalities can be ill-posed for different reasons. For example, in low-dose CT, the measured data is noisy, while in accelerated cardiac MRI, undersampling in k-space leads to incomplete data. Thus, regularization methods must be applied to obtain images suitable for diagnostic purposes. In this thesis, we develop, investigate and evaluate different Neural Networks (NNs)-based methods for image reconstruction in cardiac CT and cardiac cine MRI. Methods: We addressed the reconstruction of low-dose CT and accelerated MR-images using different NNs-based methods. We first performed an ablation study using iterative networks. Then, based on the obtained results and observations, we opted to develop a NNs-based approach, named XT,YT-approach, tailored to the reduction of undersampling artefacts for 2D radial cardiac cine MRI. The approach is based on a NN which is trained on the xt-and yt-spatio-temporal slices which can be extracted from the cine MR images. The XT,YT-approach was then applied to a generalized iterative image reconstruction framework using NN-image priors which we evaluated for 2D radial cine MRI and 3D low-dose CT. Results: The presented XT,YT-method achieved competitive or better results compared to other NNs-based methods and outperformed several other iterative reconstruction methods. Training the NN in spatio-temporal domain has several advantages. First, it is suitable for training on limited datasets. Second, it offers the possibility to highly reduce the number of trainable parameters and therefore prevent the NN from overfitting. Third, the NN is naturally stable with respect to rotation in the xy-plane. Fourth, spatio-temporal correlation is efficiently exploited even by only using 2D convolutional layers. The proposed generalized reconstruction scheme using NN-priors was shown to outperform two other iterative reconstruction methods based on total variation-minimization and learned dictionaries for 3D low-dose CT and 2D radial cardiac cine MRI. Conclusion: Although iterative neural network methods constitute the state-of-the-art for image reconstruction problems, their applicability is currently still limited to relatively small problems. Iterative reconstruction methods using NN-based image priors empirically outperform standard ones and have the potential to reduce the radiation dose exposure in CT and to accelerate the measurements process in MRI.

Ziel: Nichtinvasive Bildgebungsverfahren wie die Computertomographie (CT) und die Magnetresonanztomographie (MRT) sind wesentliche Werkzeuge f¨ur die Diagnose von Herzerkrankungen wie z.B. koronare Herzkrankheiten oder Herzfunktionsst¨orungen. Die dazugeh¨origen Rekonstruktionsprobleme sind aus verschiedenen Gr¨unden schlecht gestellt. Bei niedrigdosierten CT-Scans sind die Daten verrauscht, w¨ahrend diese bei der kardialen MRT unvollst¨andig sind. Um diagnostische Bilder zu erhalten, werden Regularisierungsmethoden angewandt. In dieser Arbeit entwickeln und untersuchen wir verschie- dene auf neuronalen Netzen (NN) basierende Methoden zur Bildrekonstruktion in der Herz-CT und Herz-Cine-MRT. Methoden: Wir verwendeten verschiedene NN-basierte Methoden zur Rekonstruktion von niedrig dosierten CT- und unterabgetasteten MR-Bildern. Zuerst f¨uhrten wir eine Parameterstudie mit iterativen NN durch. Basierend auf den Ergebnissen und Beobachtungen haben wir uns f¨ur die Entwicklung eines NN-basierten Ansatzes mit dem Namen XT,YT- Ansatz zur Reduktion von Unterabtastungsartefakten f¨ur die 2D-Radial-Herz-Cine-MRT entschieden. Der Ansatz basiert auf einem NN, das auf r¨aumlich-zeitlichen xt- und yt- Schichten trainiert wird, die aus den MR-Bildern extrahiert werden k¨onnen. Der XT,YT- Ansatz wurde dann in einer verallgemeinerten iterativen Rekonstruktionsmethode mit NN-Priors angewandt, die wir f¨ur 2D Cine-MRT und 3D Niedrigdosis-CT evaluiert haben. Ergebnisse: Die vorgestellte XT,YT-Methode erzielte ¨ahnliche oder bessere Ergebnisse als andere NN-basierte Methoden und schnitt besser ab als einige andere iterative Methoden. Das Training des NN im r¨aumlich-zeitlichen Bereich hat mehrere Vorteile. Erstens ist es geeignet f¨ur das Training mit beschr¨ankten Datens¨atzen. Zweitens bietet es die M¨oglichkeit, die Anzahl der Trainingsparameter zu reduzieren und somit eine ¨Uberanpassung des NN zu verhindern. Drittens ist das NN stabil bez¨uglich Rotation in der xy-Ebene. Viertens wird die r¨aumlich-zeitliche Korrelation effizient genutzt, selbst wenn nur 2D Faltungsschichten verwendet werden. Das vorgestellte allgemeine Rekonstruktionsschema mit NN-Priors ¨ubertraf f¨ur niedrigdosierte 3D CT und unterabgetastete 2D Herz Cine MR zwei andere auf Totalvariationminimierung und gelernten Dictionaries basierende iterative Rekonstruktionsmethoden. Schlussfolgerung: Obwohl iterative NN den Stand der Technik f¨ur Bildrekonstruktionsprobleme darstellen, ist ihre Anwendbarkeit derzeit auf relativ kleine Probleme beschr¨ankt. Iterative Rekonstruktionsmethoden anhand NN-basierter Priors ¨ubertreffen empirisch Standardmethoden und haben das Potenzial, die Strahlendosisbelastung in der CT zu reduzieren und den Messprozess in der MRT zu beschleunigen.