On a strongly convex approximation of a stochastic optimal control problem for importance sampling of metastable diffusions

Abstract

Die Berechnung statistischer Eigenschaften von hochdimensionalen Diffusionsprozessen, zum Beispiel Differenzen der freien Energie zwischen den Konformationen von komplexen Molekülen, kann numerisch sehr aufwändig sein, insbesondere dann, wenn die zu untersuchenden Ereignisse statistisch selten auftreten. Monte-Carlo-Verfahren sind hier prinzipiell geeignet, weil ihre numerische Komplexität nicht (bzw. nur schwach) von der Dimension abhängt, allerdings ist die Konvergenz gewöhnlicher Monte-Carlo-Schätzungen im Falle seltener Ereignisse oft sehr langsam, was die Verfahren ineefizient macht. Importance Sampling ist eine Varianzreduktionsmethode, um Monte-Carlo- Abschätzungen für seltene Ereignisse praktikabel zu machen. Die Idee dabei ist es, Stichproben nach einer veränderten Wahrscheinlichkeitsverteilung zu erzeugen, unter der die seltene Werten nicht mehr selten sind, und den Schätzer der statistischen Eigenschaften mit dem Likelihood-Quotienten zwischen der ursprünglichen und der veränderten Verteilung entsprechend umzugewichten (gemäß dem Satz von Radon-Nikodym). Hartmann und Schütte haben 2012 gezeigt, dass die Identifikation der optimalen Importance-Sampling- Verteilung auf ein Problem der optimalen Steuerung führt. Eine mögliche Strategie, um das Optimalsteuerungsproblem in hohen Dimensionen zu lösen, ist die Diskretisierung der Steuerung in einem endlichdimensionalen Vektorraum, wodurch sich ein endlichdimensionales Optimierungsproblem ergibt, das z.B. durch das Verfahren des steilsten Abstiegs gelöst werden kann. Der Schwerpunkt dieser Dissertation ist die Identifizierung von hinreichenden Bedingungen für die gleichmäßige Konvexität des endlichdimensionalen Optimimierungsproblems. Aus der gleichmäßigen Konvexität werden dann die Existenz- und Eindeutigkeit von Lösungen des endlichdimensionalen Problems gefolgert und die exponentielle Konvergenz des Abstiegsverfahrens beweisen. Um den Kreis in Bezug auf das zugrundeliegende Optimalsteuerungsproblems zu schließen, wird gezeigt, dass die eindeutige Lösung des Optimierungsproblems eine Bestapproximation der optimalen Steuerung ist, die sich aus der Lösung der Hamilton-Jacobi-Bellman- Gleichung für die zugehörige Wertefunktion ergibt.

The estimation of statistical properties of high-dimensional, metastable diffusions - such as free energy differences between conformations of large, complex molecules - poses computational challenges, particularly when rare events are involved. On the one hand, the high dimensionality implies that most methods other than Monte Carlo methods are too expensive to be feasible. On the other hand, standard Monte Carlo estimates often converge slowly, because one must wait on average for long periods of time in order to simulate the rare events of interest, and because the statistical property itself is dominated by rare values. Importance sampling refers to a broad class of Monte Carlo methods that aim to improve the estimation of averages that depend on small probability values by replacing the initial estimation problem with a simpler estimation problem. The essential idea is to sample values from a different distribution and to reweight the values by the Radon-Nikodym derivative of the original distribution with respect to the importance sampling distribution. In 2012, Hartmann and Schütte showed that, if the statistical property admitted a free energy-like formulation, then the problem of identifying the optimal importance sampling measure was equivalent to a stochastic optimal control problem, by Jensen's inequality. The optimal control problem was then solved approximately, by projection to a finite- dimensional subspace of admissible feedback controls, and by performing gradient descent on the restriction of the control functional to the approximating subspace. The main result of this thesis is the specification of conditions on the basis elements of the approximating subspace that guarantee that the restriction of the control functional is strongly convex, so that the approximate stochastic optimal control problem corresponds to a strongly convex optimisation problem. Strong convexity is important because it ensures the existence and uniqueness of a unique solution to the approximate optimal control problem, and that - in the limit of small descent step size - the gradient descent iterates converge exponentially quickly to the unique solution. More importantly, high-dimensional optimisation problems are much easier to solve when they are convex. Under the additional assumption that the basis elements and the desired property belong to the same Hilbert space, we show that the unique solution corresponds to the orthogonal $L^2$ projection of the true optimal control to the approximating subspace.