- AutorIn
- Lukas Beckenbach Technische Universität Chemnitz
- Titel
- Stability and Performance of Model Based Approximate Optimal Control Designs
- Zitierfähige Url:
- https://nbn-resolving.org/urn:nbn:de:bsz:ch1-qucosa2-839896
- Datum der Einreichung
- 07.09.2022
- Datum der Verteidigung
- 16.12.2022
- Abstract (DE)
- Optimale Regelung kennzeichnet einen Prozessregelungsansatz mit einem bestimmten Ziel; häufig ein vom Anwender definierter Kostenindex, der Strafen für das Prozessverhalten und den erforderlichen Steuerungsaufwand über einen unendlichen Zeithorizont kombiniert. Diese Regler können auf verschiedene Weise konstruiert werden, wobei Prozessdaten und Lernstrategien einbezogen werden können. Lernende Regelung ist zu einem beliebten Ansatz für die optimale Steuerung komplexer dynamischer Prozesse geworden, da die Verfügbarkeit von immer mehr Daten den Einsatz von Lerntechniken fördert. Diese Regler können so trainiert werden, dass sie sich optimal verhalten. Weil Lernmethoden häufig parametrische Funktionsnäherungen beinhalten, können im Allgemeinen nur annähernd optimale Regler gefunden werden, deren Performanz als Abweichung zu den optimalen Kosten über den unendlichen Horizont charakterisiert werden kann. Die Quantifizierung dieser Reglerperformanz setzt jedoch (asymptotisch) stabile geschlossene Regelkreise voraus. Lernende Regler erfordern meist zugeschnittene Trainingsverfahren für den Approximator und/oder ausreichend viele Trainingsläufe, um den Regelkreis stabil zu machen, wobei die Stabilitätsgrenzen unerwünschterweise oft von der Wahl des Approximators und seinen Eigenschaften abhängen. Zudem ist die Sicherstellung der Erfüllung von Nebenbedingungen ein weiteres, besonders aufwändiges Problem, das zusätzliche Sorgfalt beim Entwurf der Regelung und des Trainings erfordert. Darüber hinaus machen parametrische Approximatoren und unterschiedliche Trainingsverfahren Performanzabschätzungen für den Regler schwierig. Um die oben genannten Probleme zu lösen, werden in dieser Arbeit lernende Regelungsansätze mit klassischen, nicht lernenden Methoden kombiniert. Die auf Control-Lyapunov-Funktionen basierende Regelung sowie die modellprädiktive Regelung bezeichnen zwei spezielle, optimierungsbasierte Ansätze mit Abstimmungsmöglichkeiten zur Berücksichtigung von Prozessspezifikationen, in die lernende Regelelemente eingebettet werden können. In der Folge können Vorteile aus beiden Bereichen gezogen werden. Mit Hilfe von Control-Lyapunov-Funktionen und der prädiktiven Regelung werden in dieser Arbeit modellbasierte optimale Regler unter Verwendung von Lernstrategien konzipiert und ihre Stabilitäts- und Performanzeigenschaften untersucht. Die nicht lernenden Methoden sowie geeignete Lernstrategien werden hierzu auf relevante Eigenschaften untersucht. Ein besonderer Schwerpunkt im Reglerentwurf liegt dabei auf der Verwendung von Kostenapproximatoren. Es werden geeignete Trainingsbedingungen für Kostenapproximatoren abgeleitet, um (praktische und asymptotische) Stabilität des Regelkreises unter dem jeweiligen Regler bei möglichen Approximatorfehlern zu gewährleisten. Darüber hinaus werden quantifizierte Performanzabschätzungen der modellprädiktiven, lernenden Regelung bereitgestellt, die die Reglerperformanz mit Trainingsspezifikationen und Approximatoreigenschaften verknüpfen.
- Abstract (EN)
- Optimal control denotes a process regulation approach with respect to a specific goal; commonly a cost index defined by the control engineer combining penalties on the process behavior and the required control efforts over an infinite time horizon. These controllers can be constructed in various ways which may include process data and learning strategies. Learning-based control has become a popular approach to optimally controlling complex dynamical processes as the availability of ever more data promotes the use of learning techniques. By mimicking trial-and-error learning, these controllers can be trained to behave optimal. Since learning methods often involve parametric function approximators, only approximate optimal controllers can be found in general, whose performance may then be characterized as an offset to the optimal cost over the infinite horizon. However, quantifying this controller performance requires (asymptotically) stable closed-loops which thus is a primary objective of the control design. Learning-based controllers commonly demand suitably tailored approximator training procedures and/or sufficiently many repetitive training turns to render the closed loop stable. Corresponding stability margins however often depend on the choice of approximator and its properties, which may be undesirable in practice. If present, ensuring constraint satisfaction is another particularly elaborate issue which requires additional care in the control and training design. Furthermore, the use of parametric approximators in combination with a range of different training procedures renders quantified performance estimates for the controller difficult and scarce. To tackle the above concerns, this work merges model-based learning control approaches with classical, non-learning methods. Control Lyapunov function based control as well as model predictive control denote two particular, optimization-based approaches with tuning capabilities to address process specifications and into which learning-based control elements can be embedded. Subsequently, advantages can be drawn from both fields. With the help of control Lyapunov functions and the predictive control framework, this work proposes model-based approximate optimal control designs under the use of learning strategies and investigates their stability and performance properties in an online and offline learning framework. To make guarantees, the non-learning methods and suitable learning paradigms are inspected for relevant properties. A specific focus of the control design is laid on the use of cost approximators which an optimization-based learning controller utilizes for approximate optimal process regulation. Suitable cost approximator training conditions are derived to ensure (practical and asymptotic) closed-loop stability under the respective approximate optimal controller in the presence of possible approximator errors. Additionally, quantified performance estimates of model prediction based learning control are provided, linking the controller performance to training specifications and approximator properties.
- Freie Schlagwörter (EN)
- Optimal Control, Learning Control, Stability, Performance
- Klassifikation (DDC)
- 621.3
- Normschlagwörter (GND)
- Optimale Kontrolle, Stabilität, Regelung, Ljapunov-Funktion, Modellprädiktive Regelung
- GutachterIn
- Prof. Dr.-Ing. habil. Stefan Streif
- Prof. Dr. rer. nat. Matthias Gerdts
- Prof. Dr.-Ing. Daniel Görges
- BetreuerIn Hochschule / Universität
- Prof. Dr.-Ing. habil. Stefan Streif
- Den akademischen Grad verleihende / prüfende Institution
- Technische Universität Chemnitz, Chemnitz
- Version / Begutachtungsstatus
- publizierte Version / Verlagsversion
- URN Qucosa
- urn:nbn:de:bsz:ch1-qucosa2-839896
- Veröffentlichungsdatum Qucosa
- 09.03.2023
- Dokumenttyp
- Dissertation
- Sprache des Dokumentes
- Englisch
- Lizenz / Rechtehinweis