Off- and online detection of dynamical phases in time series: with applications to molecular dynamics

Abstract

In this thesis we provide a consistent framework for the data analysis of time series exhibiting a complex dynamical behaviour. We show that, while Markov chains are a natural choice to model the change of dynamical phases, vector autoregressive (VAR) processes provide a convincing model for the flexibility within a dynamical phase. They arise naturally from the discretisation of stochastic differential equations, allow to include non-Markovian effects and can be used to unify several hidden Markov model (HMM) variants. A combination of a Markov model for the change of dynamical phases with VAR processes for the modelling of internal flexibility yields into a procedure which we name HMM-VAR. We demonstrate how to combine HMM-VAR with Perron cluster cluster analysis (PCCA) to analyse time series from complex systems. Furthermore, we develop an algorithm to detect dynamical changes in a time series on-line, i.e. reading the data sequently. Application of so-called objective Bayes techniques provide a change point detection procedure which is (i) sampling free, as all needed integrals can be solved analytically, (ii) applicable to high-dimensional time series and (iii) computationally cheap. It turns out, that the central object of our analysis is the so-called moment matrix, since it does not only allow a stable computation of the estimators for parameters of a VAR process, the compression of information contained in a time series and combination of information belonging to different time series by summing up their moment matrices, and therefore allowing efficient implementation of all algorithms presented here, but also a way to cluster obtained time series segments to the same dynamical phases without the computational effort of an HMM procedure. Finally, we demonstrate how to apply the change point detection algorithm within a rather complex computational setting to compute rate constants for a small biomolecular system with the help of distributed computing.

Motiviert durch die Analyse von Daten aus Molekül Dynamik Simulationen, befasst sich diese Arbeit mit der Analyse von Zeitreihen mit komplexen dynamischen Eigenschaften. Typischerweise lässt sich das dynamische Verhalten von Molekülen in verschiedene dynamische Phasen, sogenannte Konformationen, unterteilen. Diese Phasen können sich z.B. aus verschiedenen geometrischen Strukturen, zwischen denen das thermisch angeregte Molekül wechselt, ergeben. Solch ein komplexes Verhalten sollte bei der Erstellung eines (reduzierten) Modells zur Modellierung der ursprünglichen Dynamik berücksichtigt werden. Wir zeigen auf, dass, neben der Modellierung des Wechsels zwischen verschiedenen Konformationen durch eine Markov-Kette, für die dynamische Modellierung innerhalb einer Konformation die Verwendung vektorwertiger autoregressiver Prozesse (VAR) naheliegend ist. Da der Sprungprozess zwischen verschiedenen Phasen in der Regel nicht beobachtbar ist, koppeln wir diese lokalen VAR- Prozesse mit einem sogenannten Hidden Markov Model und demonstrieren, wie dieses, zusammen mit der sogenannten Perron Cluster Cluster Analyse, zur Analyse von Moleküldaten verwendet werden kann. Des Weiteren wird ein Algorithmus entwickelt, der es erlaubt den Wechsel zwischen verschiedenen dynamischen Phasen on-line, d.h. mit sukzessiven Zugriff auf die Daten, zu detektieren. Hierbei stellt sich als zentrales Objekt die sogenannte Moment- Matrix heraus. Zum einen erlaubt diese die numerisch stabile Schätzung der Parameter der VAR-Prozesse, die Kodierung von Information in einem kleinen Objekt und das effiziente Zusammenfassen von, in verschiedenen Zeitreihen enthaltenen, Informationen. Zum anderen ist es allein auf Grundlage der Moment-Matrizen möglich, Zeitreihen-Segmente entsprechend ihrer jeweiligen dynamischen Phase zusammenzufassen. Hierdurch kann der online Algorithmus, kombiniert mit einem nachträglichen Clustern der Moment- Matrizen, alternativ zu den HMM basierten Ansätzen eingesetzt werden. Der Vorteil hiervon liegt in der Vermeidung des komplexen Optimierungsproblems, welches beim Einsatz von HMM's gelöst werden muss. Abschließend wird das erlangte on-line Verfahren zur Schätzung von Austrittsraten, d.h. die Sprunghäufigkeit zwischen verschiedenen Konformationen, in molekularen Systemen verwendet. Die naive Simulation molekularer Systeme zur Schätzung solcher Raten ist oftmals nicht praktikabel, da der für die numerische Stabilität notwendige, Integrationszeitschritt zu klein ist um in vertretbarer Zeit Konformationswechsel ausreichend oft zu beobachten. Nach wie vor ist die Suche nach Algorithmen zur Verringerung des Aufwands solcher Simulation, ein wichtiges Forschungsthema. Eine alternative Strategie wäre, statt der Verringerung des Aufwands, eine Verteilung des Aufwands auf parallele Prozessoren. Anhand eines molekularen Beispiels demonstrieren wir, wie die hier entwickelten Algorithmen benutzt werden können, um diese Idee umzusetzen.