guest ::
Global optimization of processes through machine learning = Globale Prozessoptimierung durch maschinelles Lernen
2021
Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2021
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University
Genehmigende Fakultät
Fak04
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2021-03-08
Online
DOI: 10.18154/RWTH-2021-05536
URL: https://publications.rwth-aachen.de/record/820314/files/820314.pdf
Einrichtungen
Inhaltliche Beschreibung (Schlagwörter)
chemical engineering (frei) ; machine learning (frei) ; optimization (frei) ; process systems engineering (frei)
Thematische Einordnung (Klassifikation)
DDC: 620
Kurzfassung
Modelle des maschinellen Lernens können komplexe Zusammenhänge aus Daten lernen und haben in verschiedenen Bereichen zu bahnbrechenden Ergebnissen geführt. In der Verfahrenstechnik hat die Kombination von maschinellem Lernen und mechanistischer Modellierung ein großes Potenzial für die Prozessoptimierung. Allerdings führen maschinelle Lernmodelle häufig zu großen nichtlinearen Optimierungsproblemen, bei denen eine deterministische globale Optimierung wünschenswert, aber oft unlösbar ist. In dieser Arbeit wird die globale Lösung von Optimierungsproblemen mit eingebetteten maschinellen Lernmodellen durch die Entwicklung von Unterraumformulierungen und engen Relaxationen um Größenordnungen beschleunigt. Die Unterraumformulierungen werden für Optimierungsprobleme mit eingebetteten trainierten (tiefen und flachen) künstlichen neuronalen Netzen und Gaußschen Prozessen entwickelt. Der Ansatz formuliert die Modelle in ihrem ursprünglichen Variablenraum, was die Anzahl der zu verzweigenden Variablen im Vergleich zur Standard Vollraumformulierung reduziert. Wir propagieren McCormick Relaxationen durch die Modelle, die im Vergleich zur üblicherweise verwendeten Hilfsvariablenmethode zu einer geringeren Größe der Unterprobleme führen. Darüber hinaus werden enge Relaxationen für die Aktivierungsfunktion von neuronalen Netzen, für Funktionen, die in der Bayes'schen Optimierung verwendet werden, und für Kovarianz Funktionen entwickelt. Unser Ansatz verbessert die Rechenleistung im Vergleich zu den Vollraumformulierungen erheblich und ermöglicht so eine globale Optimierung für das Design von Membranen, Energieprozessen und chemischen Prozessen unter Verwendung von datengetriebenen Modellen. Um die Gültigkeit der datengetriebenen Modelle während der Optimierung sicherzustellen, lernen wir die Trainingsdatendomäne. Dazu führen wir eine topologische Datenanalyse durch, die potenzielle Löcher oder getrennte Cluster in den Trainingsdaten identifiziert. Dann trainieren wir einen Ein-Klassen Klassifikator auf der Trainingsdatendomäne oder konstruieren die konvexe Hülle und kodieren sie als Nebenbedingungen in der nachfolgenden Prozessoptimierung. Die entwickelten Methoden sind in unserer Open-Source Toolbox ``MeLOn - Machine Learning Models for Optimization'' verfügbar, die ein Submodul von unserem globalen Löser ``MAiNGO - McCormick-based Algorithm for mixed-integer Nonlinear Global Optimization'' ist. Um das Lernen komplexer Zusammenhänge weiter zu beschleunigen, werden in dieser Arbeit Informations- und Wissensrepräsentationen für physikochemische Eigenschaften untersucht. Insbesondere untersuchen wir Graph neuronale Netze höherer Ordnung, die ein end-to-end Lernen von physikochemischer Eigenschaften aus dem molekularen Graphen ermöglichen. Wir verwenden die Methode für die Vorhersage der Zündqualität von Biokraftstoffen. Angesichts der begrenzten experimentellen Daten wird eine Kombination aus Multi-Task-Lernen, Transfer-Lernen und Ensemble-Lernen verwendet, was zu einer höheren Genauigkeit im Vergleich zu QSPR-Modellen führt. Darüber hinaus identifizieren wir physikalische Pooling-Funktionen, die auf der molekularen Größenabhängigkeit der physikochemischen Eigenschaften basieren. Die Integration dieses physikalischen Wissens in die Modellstruktur kann als ein hybrider Modellierungsansatz verstanden werden, der die Generalisierungsfähigkeiten verbessert und die Datenanforderungen reduziert.Machine learning models can learn complex relationships from data and have led to breakthrough results in various domains. In chemical engineering, machine learning models have great potential for process optimization when combined with mechanistic model equations. However, machine learning models frequently lead to large-scale nonlinear optimization problems where deterministic global optimization is desirable but often intractable. In this dissertation, the global solution of optimization problems with machine learning models embedded is accelerated by orders of magnitude through the development of reduced-space formulations and tight relaxations. The reduced-space formulations are proposed for optimization problems with trained (deep and shallow) artificial neural networks and Gaussian processes embedded. The approach formulates the machine learning models in their original variable space which reduces the number of variables to be branched on compared to the standard full-space formulation. To obtain convex and concave relaxations, we propagate McCormick relaxations through the models which lead to smaller sizes of subproblems compared to the commonly used auxiliary variable method. Moreover, we develop tight relaxations for activation functions of neural networks, for acquisition functions used in Bayesian optimization, and for covariance functions used in Gaussian processes. Our approach greatly improves computational performance compared to the standard full-space formulations and thus enables global optimization for the rational design of ion-separation membranes, energy processes, and chemical processes using machine learning models. To ensure validity of the machine learning models during optimization, we learn the training data domain and encode it as constraints in process optimization. For this, we perform a topological data analysis using persistent homology identifying potential holes or separated clusters in the training data. Then, we train a one-class classifier on the training data domain or construct the convex hull and encode it as constraints in the subsequent process optimization. The developed methods are available in our open-source ``MeLOn - Machine Learning Models for Optimization'' toolbox, which is a submodule to our global solver ``MAiNGO - McCormick-based Algorithm for mixed-integer Nonlinear Global Optimization''. To further accelerate the learning of complex relationships, this work investigates information and knowledge representations for chemical engineering data. We study complex molecular structures as input data for physicochemical property prediction. In particular, we investigate higher-order physical graph neural networks that enable end-to-end learning of physicochemical properties from the molecular graph. We use the method for the prediction of the ignition quality of biofuels. In light of limited experimental data, a combination of multi-task learning, transfer learning, and ensemble learning is used, which results in competitive performance compared to state-of-the-art QSPR models. Furthermore, we identify physical pooling functions based on the molecular size dependency of physicochemical properties. Integrating this physical knowledge into the model structure can be understood as a hybrid modeling approach that improves generalization capabilities and reduces data requirements.
OpenAccess: 
PDF
(additional files)
Dokumenttyp
Dissertation / PhD Thesis/Book
Format
online
Sprache
English
Externe Identnummern
HBZ: HT021009301
Interne Identnummern
RWTH-2021-05536
Datensatz-ID: 820314
Beteiligte Länder
Germany
|
The record appears in these collections: |