Proximal Methods for Nonconvex Composite Optimization Problems

Proximal-Verfahren für nichtkonvexe zusammengesetzte Optimierungsprobleme

Please always quote using this URN: urn:nbn:de:bvb:20-opus-289073
  • Optimization problems with composite functions deal with the minimization of the sum of a smooth function and a convex nonsmooth function. In this thesis several numerical methods for solving such problems in finite-dimensional spaces are discussed, which are based on proximity operators. After some basic results from convex and nonsmooth analysis are summarized, a first-order method, the proximal gradient method, is presented and its convergence properties are discussed in detail. Known results from the literature are summarized andOptimization problems with composite functions deal with the minimization of the sum of a smooth function and a convex nonsmooth function. In this thesis several numerical methods for solving such problems in finite-dimensional spaces are discussed, which are based on proximity operators. After some basic results from convex and nonsmooth analysis are summarized, a first-order method, the proximal gradient method, is presented and its convergence properties are discussed in detail. Known results from the literature are summarized and supplemented by additional ones. Subsequently, the main part of the thesis is the derivation of two methods which, in addition, make use of second-order information and are based on proximal Newton and proximal quasi-Newton methods, respectively. The difference between the two methods is that the first one uses a classical line search, while the second one uses a regularization parameter instead. Both techniques lead to the advantage that, in contrast to many similar methods, in the respective detailed convergence analysis global convergence to stationary points can be proved without any restricting precondition. Furthermore, comprehensive results show the local convergence properties as well as convergence rates of these algorithms, which are based on rather weak assumptions. Also a method for the solution of the arising proximal subproblems is investigated. In addition, the thesis contains an extensive collection of application examples and a detailed discussion of the related numerical results.show moreshow less
  • In Optimierungsproblemen mit zusammengesetzten Funktionen wird die Summe aus einer glatten und einer konvexen, nicht glatten Funktion minimiert. Die vorliegende Arbeit behan- delt mehrere numerische Verfahren zur Lösung solcher Probleme in endlich-dimensionalen Räumen, welche auf Proximity Operatoren basieren. Nach der Zusammenfassung einiger grundlegender Resultate aus der konvexen und nicht- glatten Analysis wird ein Verfahren erster Ordnung, das Proximal-Gradienten-Verfahren, vorgestellt und dessen Konvergenzeigenschaften ausführlichIn Optimierungsproblemen mit zusammengesetzten Funktionen wird die Summe aus einer glatten und einer konvexen, nicht glatten Funktion minimiert. Die vorliegende Arbeit behan- delt mehrere numerische Verfahren zur Lösung solcher Probleme in endlich-dimensionalen Räumen, welche auf Proximity Operatoren basieren. Nach der Zusammenfassung einiger grundlegender Resultate aus der konvexen und nicht- glatten Analysis wird ein Verfahren erster Ordnung, das Proximal-Gradienten-Verfahren, vorgestellt und dessen Konvergenzeigenschaften ausführlich behandelt. Bekannte Resultate aus der Literatur werden dabei zusammengefasst und durch weitere Ergebnisse ergänzt. Im Anschluss werden im Hauptteil der Arbeit zwei Verfahren hergeleitet, die zusätzlich Informationen zweiter Ordnung nutzen und auf Proximal-Newton- beziehungsweise Proximal-Quasi- Newton-Verfahren beruhen. Der Unterschied zwischen beiden Verfahren liegt darin, dass bei ersterem eine klassische Schrittweitensuche verwendet wird, während das zweite stattdessen einen Regularisierungsparameter nutzt. Beide Techniken führen dazu, dass im Gegensatz zu vielen verwandten Verfahren in der jeweils ausführlichen Konvergenzanalyse die globale Konvergenz zu stationären Punkten ohne weitere einschränkende Voraussetzungen bewiesen werden kann. Ferner zeigen umfassende Resultate die lokalen Konvergenzeigenschaften sowie Konvergenzraten der Algorithmen auf, welche auf lediglich schwachen Annahmen beruhen. Ein Verfahren zur Lösung auftretender Proximal-Teilprobleme ist ebenfalls Bestandteil dieser Arbeit. Die Dissertation beinhaltet zudem eine umfangreiche Sammlung von Anwendungsbeispielen und zugehörigen numerischen Ergebnissen.show moreshow less

Download full text files

Export metadata

Additional Services

Share in Twitter Search Google Scholar Statistics
Metadaten
Author: Theresa LechnerGND
URN:urn:nbn:de:bvb:20-opus-289073
Document Type:Doctoral Thesis
Granting Institution:Universität Würzburg, Fakultät für Mathematik und Informatik
Faculties:Fakultät für Mathematik und Informatik / Institut für Mathematik
Referee:Prof. Dr. Christian Kanzow, Prof. Dr. Peter Ochs
Date of final exam:2022/10/12
Language:English
Year of Completion:2022
DOI:https://doi.org/10.25972/OPUS-28907
Dewey Decimal Classification:5 Naturwissenschaften und Mathematik / 51 Mathematik / 510 Mathematik
GND Keyword:Optimierung
Tag:composite optimization; proximal Newton method; proximal gradient method
MSC-Classification:49-XX CALCULUS OF VARIATIONS AND OPTIMAL CONTROL; OPTIMIZATION [See also 34H05, 34K35, 65Kxx, 90Cxx, 93-XX] / 49Mxx Numerical methods [See also 90Cxx, 65Kxx] / 49M15 Newton-type methods
65-XX NUMERICAL ANALYSIS / 65Kxx Mathematical programming, optimization and variational techniques / 65K05 Mathematical programming methods [See also 90Cxx]
65-XX NUMERICAL ANALYSIS / 65Kxx Mathematical programming, optimization and variational techniques / 65K10 Optimization and variational techniques [See also 49Mxx, 93B40]
90-XX OPERATIONS RESEARCH, MATHEMATICAL PROGRAMMING / 90Cxx Mathematical programming [See also 49Mxx, 65Kxx] / 90C26 Nonconvex programming, global optimization
90-XX OPERATIONS RESEARCH, MATHEMATICAL PROGRAMMING / 90Cxx Mathematical programming [See also 49Mxx, 65Kxx] / 90C53 Methods of quasi-Newton type
Release Date:2022/10/14
Licence (German):License LogoCC BY-NC-ND: Creative-Commons-Lizenz: Namensnennung, Nicht kommerziell, Keine Bearbeitungen 4.0 International