Markov Processes Beyond Equilibrium and Optimal Control: Theory, Applications, and Examples

Abstract

This thesis is concerned with the long-term dynamics of irreversible Markov processes in discrete and continuous state spaces. In the first part, we study how the long-term dynamics of a reversible Markov process changes if an external force that destroys detailed balance is added. We derive an intuitive and general comparison result in terms of commuting times which indicates that under certain constraints the external driving force will always accelerate the long-term dynamics. We argue that non-trivial cycles in the probability flow are the key feature of irreversible processes and explain two ways of obtaining cycle decompositions in detail. We study how cycles can be used to construct reversible surrogates of irreversible processes that represent the long-term dynamics more faithfully than simple symmetrization, and apply this to the problem of module detection in directed networks. %This problem is equivalent to the problem of finding metastable sets for Markov processes on discrete state spaces. As a second application, we consider the problem of computing transition pathways between metastable states. This is done by considering the current of reactive trajectories which is computed by Transition Path Theory. We show that this current has cycles if the dynamics is irreversible, and compare two possible Hodge-Helmholtz like splittings of the current into simpler parts. One method is based on a projection, the second is based on cycle decompositions. We show that the second method allows for a computation of the statistics of transition pathways. In the second part, we study optimal control problems that arise if the external force can be adjusted by a controller who wants to minimize a certain objective function. We focus on linear quadratic (LQ) control problems and show that they are dual to sampling problems which appear e.g. in Molecular Dynamics. A numerical method to approximately solve LQ control problems is derived. The method uses a logarithmic transformation together with a Galerkin projection onto a suitable space of basis functions. The result is a discretization of the entire control problem that replaces the continuous dynamics by a discrete Markov jump process, and preserves the most important structural properties. If the dynamics is metastable, then we propose to utilize the metastable structure by choosing a committor basis, guided by MSM theory. We derive error bounds for this choice which complement standard error bounds from the theory of finite elements. The method is flexible and can also incorporate other choices, e.g. piecewise polynomial or radial basis functions. Throughout the thesis, we complement theoretical results with careful numerical experiments.

Diese Arbeit behandelt die Langzeit-Dynamik irreversibler Markovprozesse in diskreten und kontinuierlichen Zustandsräumen. Im ersten Teil wird untersucht wie sich die Langzeit-Dynamik eines reversiblen Prozesses unter dem Einfluss einer externen Kraft ändert, welche die Reversibilität zerstört. Wir geben ein intuitives und allgemeines Resultat mithilfe von commuting times an, welches zeigt dass die externe Kraft unter gewissen Zwangsbedingungen stets für eine Beschleunigung der Langzeit-Dynamik sorgt. Wir argumentieren, dass Zyklen im Wahrscheinlichkeitsfluss Schlüsselmerkmale irreversibler Prozesse sind und beschreiben zwei Methoden zur Zerlegung des Flusses in Zyklen im Detail. Mit diesen Methoden werden reversible Ersatzprozesse konstruiert, welche die Langzeit-Dynamik irreversibler Prozesse besser abbilden als einfaches Symmetrisieren. Dies wird auf das Problem der Moduldetektion in gerichteten Netzwerken angewendet. Als zweite Anwendung wird das Problem der Berechnung von Übergangspfaden zwischen metastabilen Mengen betrachtet. Dabei betrachten wir den Fluss reaktiver Trajektorien, der durch Transition Path Theory gegeben ist. Wir zeigen, dass dieser Fluss bei irreversibler Dynamik ebenfalls Zyklen enthält, und vergleichen zwei Methoden, um den Fluss in einfachere Bestandteile zu zerlegen. Die erste Methode basiert auf einer Projektion, die zweite auf Zyklenzerlegungen. Wir zeigen, dass die zweite Methode geeignet ist, um die Statistik der Übergangspfade zu bestimmen. Im zweiten Teil werden Optimalsteuerungsprobleme behandelt, welche entstehen, wenn die externe Kraft von einem externen Agenten gesteuert werden kann. Wir beschränken uns auf linear-quadratische (LQ) Kontrollprobleme und zeigen, dass diese dual zu bestimmten Samplingproblemen z.B. in der Moleküldynamik sind. Eine numerische Methode zur Lösung von LQ Kontrollproblemen wird hergeleitet. Diese Methode benutzt eine logarithmische Transformation zusammen mit einer Galerkin Projektion auf einen geeigneten Unterraum. Das Ergebnis ist eine Diskretisierung des gesamten Kontrollproblems, welches die kontinuierliche Dynamik mit einem diskreten Markovsprungprozess ersetzt und die wesentlichen strukturellen Eigenschaften erhält. Wenn die Dynamik metastabil ist, schlagen wir die Benutzung einer Committorbasis im Sinne der MSM Theorie vor und geben Fehlerschranken an. Diese Fehlerschranken ergänzen Standard-Fehlerschranken aus der Theorie der finiten Elemente. Die Methode ist flexibel und erlaubt die Benutzung anderer Basisfunktionen, z.B. stückweise polynome oder radiale Basisfunktionen. In der gesamten Arbeit ergänzen wir theoretische Resultate mit sorgfältigen numerischen Experimenten.