A sequential quadratic Hamiltonian scheme for solving optimal control problems with non-smooth cost functionals

Ein sequentielles quadratisches Hamilton Schema um Optimalsteuerprobleme mit nicht-glatten Kostenfunktionalen zu lösen

Please always quote using this URN: urn:nbn:de:bvb:20-opus-182170
  • This thesis deals with a new so-called sequential quadratic Hamiltonian (SQH) iterative scheme to solve optimal control problems with differential models and cost functionals ranging from smooth to discontinuous and non-convex. This scheme is based on the Pontryagin maximum principle (PMP) that provides necessary optimality conditions for an optimal solution. In this framework, a Hamiltonian function is defined that attains its minimum pointwise at the optimal solution of the corresponding optimal control problem. In the SQH scheme, thisThis thesis deals with a new so-called sequential quadratic Hamiltonian (SQH) iterative scheme to solve optimal control problems with differential models and cost functionals ranging from smooth to discontinuous and non-convex. This scheme is based on the Pontryagin maximum principle (PMP) that provides necessary optimality conditions for an optimal solution. In this framework, a Hamiltonian function is defined that attains its minimum pointwise at the optimal solution of the corresponding optimal control problem. In the SQH scheme, this Hamiltonian function is augmented by a quadratic penalty term consisting of the current control function and the control function from the previous iteration. The heart of the SQH scheme is to minimize this augmented Hamiltonian function pointwise in order to determine a control update. Since the PMP does not require any differ- entiability with respect to the control argument, the SQH scheme can be used to solve optimal control problems with both smooth and non-convex or even discontinuous cost functionals. The main achievement of the thesis is the formulation of a robust and efficient SQH scheme and a framework in which the convergence analysis of the SQH scheme can be carried out. In this framework, convergence of the scheme means that the calculated solution fulfills the PMP condition. The governing differential models of the considered optimal control problems are ordinary differential equations (ODEs) and partial differential equations (PDEs). In the PDE case, elliptic and parabolic equations as well as the Fokker-Planck (FP) equation are considered. For both the ODE and the PDE cases, assumptions are formulated for which it can be proved that a solution to an optimal control problem has to fulfill the PMP. The obtained results are essential for the discussion of the convergence analysis of the SQH scheme. This analysis has two parts. The first one is the well-posedness of the scheme which means that all steps of the scheme can be carried out and provide a result in finite time. The second part part is the PMP consistency of the solution. This means that the solution of the SQH scheme fulfills the PMP conditions. In the ODE case, the following results are obtained that state well-posedness of the SQH scheme and the PMP consistency of the corresponding solution. Lemma 7 states the existence of a pointwise minimum of the augmented Hamiltonian. Lemma 11 proves the existence of a weight of the quadratic penalty term such that the minimization of the corresponding augmented Hamiltonian results in a control updated that reduces the value of the cost functional. Lemma 12 states that the SQH scheme stops if an iterate is PMP optimal. Theorem 13 proves the cost functional reducing properties of the SQH control updates. The main result is given in Theorem 14, which states the pointwise convergence of the SQH scheme towards a PMP consistent solution. In this ODE framework, the SQH method is applied to two optimal control problems. The first one is an optimal quantum control problem where it is shown that the SQH method converges much faster to an optimal solution than a globalized Newton method. The second optimal control problem is an optimal tumor treatment problem with a system of coupled highly non-linear state equations that describe the tumor growth. It is shown that the framework in which the convergence of the SQH scheme is proved is applicable for this highly non-linear case. Next, the case of PDE control problems is considered. First a general framework is discussed in which a solution to the corresponding optimal control problem fulfills the PMP conditions. In this case, many theoretical estimates are presented in Theorem 59 and Theorem 64 to prove in particular the essential boundedness of the state and adjoint variables. The steps for the convergence analysis of the SQH scheme are analogous to that of the ODE case and result in Theorem 27 that states the PMP consistency of the solution obtained with the SQH scheme. This framework is applied to different elliptic and parabolic optimal control problems, including linear and bilinear control mechanisms, as well as non-linear state equations. Moreover, the SQH method is discussed for solving a state-constrained optimal control problem in an augmented formulation. In this case, it is shown in Theorem 30 that for increasing the weight of the augmentation term, which penalizes the violation of the state constraint, the measure of this state constraint violation by the corresponding solution converges to zero. Furthermore, an optimal control problem with a non-smooth L\(^1\)-tracking term and a non-smooth state equation is investigated. For this purpose, an adjoint equation is defined and the SQH method is used to solve the corresponding optimal control problem. The final part of this thesis is devoted to a class of FP models related to specific stochastic processes. The discussion starts with a focus on random walks where also jumps are included. This framework allows a derivation of a discrete FP model corresponding to a continuous FP model with jumps and boundary conditions ranging from absorbing to totally reflecting. This discussion allows the consideration of the drift-control resulting from an anisotropic probability of the steps of the random walk. Thereafter, in the PMP framework, two drift-diffusion processes and the corresponding FP models with two different control strategies for an optimal control problem with an expectation functional are considered. In the first strategy, the controls depend on time and in the second one, the controls depend on space and time. In both cases a solution to the corresponding optimal control problem is characterized with the PMP conditions, stated in Theorem 48 and Theorem 49. The well-posedness of the SQH scheme is shown in both cases and further conditions are discussed that ensure the convergence of the SQH scheme to a PMP consistent solution. The case of a space and time dependent control strategy results in a special structure of the corresponding PMP conditions that is exploited in another solution method, the so-called direct Hamiltonian (DH) method.show moreshow less
  • Diese Dissertation handelt von einem neuen so genannten sequentiellen quadratischen Hamilton (SQH) iterativen Schema um Optimalsteuerungsprobleme mit Differentialmodellen und Kostenfunktionalen, die von glatt bis zu unstetig und nicht-konvex reichen, zu lösen. Dieses Schema basiert auf dem Pontryagin Maximumprinzip (PMP), welches notwendige Optimalitätsbedingungen für eine optimale Lösung zur Verfügung stellt. In diesem Rahmen wird eine Hamiltonfunktion definiert, die ihr Minimum punktweise an der optimalen Lösung des entsprechendenDiese Dissertation handelt von einem neuen so genannten sequentiellen quadratischen Hamilton (SQH) iterativen Schema um Optimalsteuerungsprobleme mit Differentialmodellen und Kostenfunktionalen, die von glatt bis zu unstetig und nicht-konvex reichen, zu lösen. Dieses Schema basiert auf dem Pontryagin Maximumprinzip (PMP), welches notwendige Optimalitätsbedingungen für eine optimale Lösung zur Verfügung stellt. In diesem Rahmen wird eine Hamiltonfunktion definiert, die ihr Minimum punktweise an der optimalen Lösung des entsprechenden Optimalsteuerungsproblems annimmt. In diesem SQH Schema wird diese Hamiltonfunktion durch einen quadratischen Strafterm erweitert, der aus der aktuellen Steuerungsfunktion und der Steuerungsfunktion aus der vorherigen Iteration besteht. Das Herzstück des SQH Schemas ist die punktweise Minimierung dieser erweiterten Hamiltonfunktion um eine Aktualisierung der Steuerungsfunktion zu bestimmen. Da das PMP keine Differenzierbarkeit in Bezug auf das Steuerungsfunktionsargument verlangt, kann das SQH Schema dazu benutzt werden, Optimalsteuerungsprobleme mit sowohl glatten als auch nicht-konvexen oder sogar unstetigen Kostenfunktionalen zu lösen. Das Hauptergebnis dieser Dissertation ist die Formulierung eines robusten und effizienten SQH Schemas und eines Rahmens, in dem die Konvergenzanalyse des SQH Schemas ausgeführt werden kann. In diesem Rahmen bedeutet Konvergenz des Schemas, dass die berechnete Lösung die PMP Bedingung erfüllt. Die steuernden Differentialmodelle der betrachteten Optimalsteuerungsprobleme sind gewöhnliche Differentialgleichungen (ODEs) und partielle Differentialgleichungen (PDEs). Im PDE Fall werden elliptische und parabolische Gleichungen, sowie die Fokker-Planck (FP) Gleichung betrachtet. Für sowohl den ODE als auch den PDE Fall werden Annahmen formuliert, für die bewiesen werden kann, dass eine Lösung eines Optimalsteuerungsproblems das PMP erfüllen muss. Die erhaltenen Resultate sind für die Diskussion der Konvergenzanalyse des SQH Schemas essentiell. Diese Analyse hat zwei Teile. Der erste ist die Wohlgestelltheit des Schemas, was bedeutet, dass alle Schritte des Schemas ausgeführt werden können und ein Ergebnis in endlicher Zeit liefern. Der zweite Teil ist die PMP Konsistenz der Lösung. Das bedeutet, dass die Lösung des SQH Schemas die PMP Bedingungen erfüllt. Im ODE Fall werden die folgenden Resultate erhalten, die die Wohlgestelltheit des Schemas und die PMP Konsistenz der entsprechenden Lösung darlegen. Lemma 7 legt die Existenz eines punktweisen Minimums der erweiterten Hamiltonfunktion dar. Lemma 11 beweist die Existenz eines Gewichtes des quadratischen Strafterms, sodass die Minimierung der entsprechenden erweiterten Hamiltonfunktion zu einer Kontrollaktualisierung führt, die den Wert des Kostenfunktionals verringert. Lemma 12 legt dar, dass das SQH Schema stehen bleibt falls eine Iterierte PMP optimal ist. Satz 13 beweist die Kostenfunktional verringernden Eigenschaften der SQH Steuerungsfunktionsaktualisierung. Das Hauptresultat ist in Satz 14 gegeben, welches die punktweise Konvergenz des SQH Schemas gegen eine PMP konsistente Lösung darlegt. Das SQH-Verfahren wird in diesem ODE Rahmen auf zwei Optimalsteuerungsprobleme angewendet. Das erste ist ein optimales Quantensteuerungsproblem, bei dem gezeigt wird, dass das SQH-Verfahren viel schneller zu einer optimalen Lösung konvergiert als ein globalisiertes Newton-Verfahren. Das zweite Optimalsteuerungsproblem ist ein optimales Tumorbehandlungsproblem mit einem System gekoppelter hochgradig nicht-linearer Zustandsgleichungen, die das Tumorwachstum beschreiben. Es wird gezeigt, dass der Rahmen, in dem die Konvergenz des SQH Schemas bewiesen wird, auf diesen hochgradig nicht-linearen Fall anwendbar ist. Als nächstes wird der Fall von PDE Optimalsteuerungsprobleme betrachtet. Zunächst wird ein allgemeiner Rahmen diskutiert, in dem eine Lösung des entsprechenden Optimalsteuerungsproblem die PMP Bedingungen erfüllt. In diesem Fall werden viele theoretische Abschätzungen in Satz 59 und Satz 64 bewiesen, die insbesondere die essentielle Beschränktheit von Zustands- und Adjungiertenvariablen beweisen. Die Schritte für die Konvergenzanalyse des SQH Schemas sind analog zu denen des ODE Falls und führen zu Satz 27, der die PMP Konsistenz der Lösung, erhalten durch das SQH Schemas, darlegt. Dieser Rahmen wird auf verschiedene elliptische und parabolische Optimalsteuerungsprobleme angewendet, die lineare und bilineare Steuerungsmechanismen beinhalten, genauso wie nicht-lineare Zustandsgleichungen. Darüber hinaus wird das SQH-Verfahren zum Lösen eines zustandsbeschränkten Optimalsteuerungsproblems in einer erweiterten Formulieren diskutiert. Es wird in Satz 30 gezeigt, dass wenn man das Gewicht des Erweiterungsterms, der die Verletzung der Zustandsbeschränkung bestraft, erhöht, das Maß dieser Zustandsbeschränkungsverletzung durch die entsprechende Lösung gegen null konvergiert. Weiterhin wird ein Optimalsteuerungsproblem mit einem nicht-glatten L\(^1\)-Zielverfolgungsterm und einer nicht-glatten Zustandsgleichung untersucht. Für diesen Zweck wird eine adjungierte Gleichung definiert und das SQHVerfahren wird benutzt um das entsprechende Optimalsteuerungsproblem zu lösen. Der letzte Teil dieser Dissertation ist einer Klasse von FP Modellen gewidmet, die auf bestimmte stochastische Prozesse bezogen sind. Die Diskussion beginnt mit dem Fokus auf Random Walks bei dem auch Sprünge mit enthalten sind. Dieser Rahmen erlaubt die Herleitung eines diskreten FP Modells, das einem kontinuierlichen FP Modell mit Sprüngen und Randbedingungen entspricht, die sich zwischen absorbierend bis komplett reflektierend bewegen. Diese Diskussion erlaubt die Betrachtung der Driftsteuerung, die aus einer anisotropen Wahrscheinlichkeit für die Schritte des Random Walks resultiert. Danach werden zwei Drift-Diffusionsprozesse und die entsprechenden FP Modelle mit zwei verschiedenen Steuerungsstrategien für ein Optimalsteuerungsproblem mit Erwartungswertfunktional betrachtet. In der ersten Strategie hängen die Steuerungsfunktionen von der Zeit ab und in der zweiten hängen die Steuerungsfunktionen von Ort und Zeit ab. In beiden Fällen wird eine Lösung zum entsprechendem Optimalsteuerungsproblem mit den PMP Bedingungen charakterisiert, dargestellt in Satz 48 und Satz 49. Die Wohlgestelltheit des SQH Schemas ist in beiden Fällen gezeigt und weitere Bedingungen, die die Konvergenz des SQH Schemas zu einer PMP konsistenten Lösung sicherstellen, werden diskutiert. Der Fall einer Ort und Zeit abhängigen Steuerungsstrategie führt auf eine spezielle Struktur der entsprechenden PMP Bedingungen, die in einem weiteren Lösungsverfahren ausgenutzt werden, dem sogenannten direkten Hamiltonfunktionsverfahren (DH).show moreshow less

Download full text files

Export metadata

Metadaten
Author: Tim Breitenbach
URN:urn:nbn:de:bvb:20-opus-182170
Document Type:Doctoral Thesis
Granting Institution:Universität Würzburg, Fakultät für Mathematik und Informatik
Faculties:Fakultät für Mathematik und Informatik / Institut für Mathematik
Referee:Prof. Dr. Alfio Borzi, Prof. Dr. Kurt Chudej
Date of final exam:2019/06/07
Language:English
Year of Completion:2019
DOI:https://doi.org/10.25972/OPUS-18217
Dewey Decimal Classification:5 Naturwissenschaften und Mathematik / 51 Mathematik / 510 Mathematik
GND Keyword:Optimale Kontrolle
Tag:Non-smooth optimal control; Pontryagin maximum principle; Scheme for solving optimal control problems; Sequential quadratic Hamiltonian scheme
Release Date:2019/06/11
Licence (German):License LogoCC BY-NC-SA: Creative-Commons-Lizenz: Namensnennung, Nicht kommerziell, Weitergabe unter gleichen Bedingungen 4.0 International