Reversible Markov State Models

Abstract

The dynamics of proteins is characterized by infrequent complex rearrangements of the overall protein structure, so called conformational changes. Experiments cannot observe conformational changes directly with atomistic resolution so that computer simulations have to be used for the detailed study of these processes. The rare occurrence of conformational changes on timescales accessible by simulations results in a sampling problem. Obtaining reliable estimates for quantities connected to rare transition events from simulation data is very difficult and can require prohibitively long running times for computations. Markov state models can systematically integrate ensembles of short trajectories and thus effectively parallelize the computational effort, but the rare transition events still need to be spontaneously sampled in the data. Reversible Markov state models can be used to overcome the sampling problem. Reliable estimates of probabilities for rare transitions can be computed with a simulation effort that is orders of magnitudes smaller than the average effort required to observe even a single rare event. They arise naturally as a discrete space, finite data description of metastable conformational processes. In this thesis methods for the estimation and uncertainty quantification of reversible Markov state models and a novel approach for the estimation of transition probabilities from simulation data containing rare events are developed. Estimators for reversible transition probabilities are constructed using a maximum likelihood approach and efficient algorithms for the solution of the arising optimization problem are developed. The method can also be applied in situations in which additional information about stationary probabilities is available. Uncertainty quantification for reversible Markov state models is facilitated using a Bayesian approach. An efficient Monte Carlo algorithm for sampling of reversible transition matrices from the arising posterior distribution is developed. A variant that can incorporate \emph{a priori} information about the stationary probabilities is also presented. Stationary probabilities can often be efficiently estimated from enhanced sampling simulations which do not suffer from a sampling problem. For many interesting metastable processes only one direction of the process is rare while the reverse direction can be sampled efficiently for appropriately chosen initial conditions. Reversibility can be used to estimate transition probabilities in situations in which only one direction of the process of interest has been observed if information about the stationary probabilities of the process is available. So that enhanced sampling simulations and short molecular dynamics trajectories can be systematically combined using reversible Markov state models.

Die Dynamik von Proteinen auf langen Zeitskalen ist geprägt durch sogenannte Konformationsänderungen, selten auftretende Veränderungen der räumlichen Struktur von Proteinen. Experimentell können Konformationsänderungen nicht direkt auf atomistischen Skalen beobachtet werden, so dass ein detailliertes Studium dieser Prozesse nur mit Hilfe von Computersimulationen durchgeführt werden kann. Das seltene Auftreten von Konformationsänderungen führt allerdings zu einem Sampling-Problem. Die verlässliche Schätzung von Größen, die mit solchen seltenen Ereignissen in Verbindung stehen, kann nur schwer durchgeführt werden und erfordert zum Teil unvertretbar lange Rechenzeiten für die Erstellung der notwendigen Daten. Markov'sche Modelle erlauben die Schätzung aus einem Ensemble von kurzen Trajektorien, so dass eine einfache Parallelisierung der Berechnung möglich wird. Trotzdem müssen die seltenen übergänge zwischen verschiedenen Konformationen in den Daten vorhanden sein. Reversible Markov'sche Modelle können dabei helfen das Sampling-Problem zu lösen. Wahrscheinlichkeiten für seltene übergänge können mit um Grössenordnungen geringerem Aufwand geschätzt werden, als für die Simulation eines einzelnen übergangs im Mittel notwendig ist. Diese Modelle ergeben sich natürlicherweise ausgehend von einer diskretisierten Beschreibung der Konformationsdynamik, welche mittels einer endlichen Datenmenge geschätzt wurde. In der vorliegenden Arbeit werden Methoden für die Schätzung und die Berechnung von Unsicherheiten für reversible Markov'sche Modelle entwickelt. Außerdem wird eine neuartige Methode für die Schätzung von Übergangswahrscheinlichkeiten aus Daten, welche seltene Ereignisse enthalten, vorgestellt. Reversible Schätzer für Übergangswahrscheinlichkeiten werden ausgehend von einer Maximum Likelihood Formulierung konstruiert und effiziente Algorithmen für die Lösung des zugehörigen Optmierungsproblems werden entwickelt. Die vorgestellte Methode kann auch in Situationen angewandt werden in denen zusätzliches Wissen über stationäre Wahrscheinlichkeiten verfügbar ist. Die Berechnung von Unsicherheiten wird durch einen Bayes'schen Ansatz ermöglicht. Ein effizienter Monte Carlo Algorithmus für die Ziehung von reversiblen Übergangsmatritzen aus der zugehörigen Posterior-Verteilung wird entwickelt. Eine Variante bei der das Wissen um stationäre Wahrscheinlichkeiten genutzt werden kann wird ebenfalls vorgestellt. In vielen Fällen ist eine effiziente Schätzung von stationären Wahrscheinlichkeiten aus Enhanced Sampling Simulationen, die nicht unter einem Sampling-Problem leiden, möglich. Häufig ist nur eine Richtung eines Prozesses selten und die entgegengesetzte Richtung kann effizient simuliert werden. Reversibilität kann dazu genutzt werden Übergangswahrscheinlichkeiten auch in solchen Situationen zu schätzen in denen nur eine Richtung des Prozesses beobachtet wurde, wenn Wissen über die stationären Wahrscheinlichkeiten verfügbar ist. Enhanced Sampling Simulationen und kurze Molekulardynamik Trajektorien können so durch reversible Markov'sche Modelle systematisch kombiniert werden.