Model-based Multi-objective Optimization with Neural Networks and Evolution Strategies Abstract Today, tasks of optimization are not excluded from any part of the modern engineering. Ever more frequently engineers must cope with complex optimization problems with conflicting goals as well as a large number of various constraints. Additionally, there is the claim to incorporate human expert knowledge in an easy and transparent manner within the solutions. Often the dependencies within the parameters of the process which is to be optimized are mathematically no more or only very imperfectly formulatable, are present in the form of rule knowledge, or example situations and must therefore be estimated by suitable models. These requirements present complex challenges for the developers of modern concepts and optimization methods, which are in most cases no longer solvable with methods of classical mathematics alone. Rather, they require the additional employment of adaptive methods, which lead by using synergies between the classical and nature-analog procedures for the development of efficient hybrid systems. In this work a multitier system for model-based, multi-objective optimization is presented, which consists of the data driven process modeling for calculation of objectives and constraints, their multi-objective optimization as well as an interactive Decision Making System. The uniqueness of the presented approach is the development of modeling and interpolation of the generated pareto optimal solutions and their corresponding objectives after the optimization by neural networks. In this way the approach allows to perform an interpolation access within the pareto set as well as the extraction of knowledge between the process variables near the pareto set and pareto front. Besides the representation of a practical-suited methodology, extensions in the theory of evolutionary algorithms in the form of learning the evolution direction during the optimization represents a further emphasis. The additional combination with a gradient-based optimization algorithm makes the approach a multi-hybrid system, which is characterized by very good convergence characteristics and a high quality of the generated solutions. As an example of the industrial application of the presented approach, a system for model-based, multi-objective recipe optimization in the animal fodder industry is described. The aim of the work is the development of an adaptive, multi-hybrid multi-objective evolutionary algorithm which exhibits its superiority by efficiently using synergies between different natur-analog and mathematical methods as well as the presentation of a practical methodology for engineers to optimize the production processes. This includes a more efficient, powerful design of experiments, process modeling and multi-objective optimization.
Heute sind Aufgaben der Optimierung aus keinem Bereich der modernen Technik mehr wegzudenken. Dabei zeigt sich immer häufiger, daß es sich um komplexe Optimierungsprobleme handelt, die zum einen sich widersprechende Ziele und zum anderen eine große Anzahl von unterschiedlichen Randbedingungen enthalten. Zusätzlich besteht der Anspruch, menschliches Expertenwissen in die Lösung dieser Probleme unkompliziert und transparent einzubringen und für die Problemlösung verwendbar zu machen. Oft sind die Abhängigkeiten innerhalb der zu optimierenden Prozesse mathematisch nicht mehr oder nur sehr unvollkommen formulierbar, liegen in Form von Regelwissen oder Beispielsituationen vor und müssen daher mit Hilfe von geeigneten Modellen geschätzt werden. Diese Anforderungen stellen die Entwickler von modernen Modellbildungs- und Optimierungsmethoden vor große Herausforderungen, die in den meisten Fällen nicht mehr allein mit Methoden der klassischen Mathematik lösbar sind. Vielmehr erfordern sie den zusätzlichen Einsatz lernfähiger Methoden, die durch das Ausnutzen von Synergien zwischen den klassischen und natur-analogen Verfahren zur Entwicklung leistungsfähiger hybrider Systeme führen. In dieser Arbeit wird ein mehrstufiges Verfahren zur modellbasierten Mehrzieloptimierung vorgestellt, das sich aus der datengetriebenen Prozessmodellbildung zur Berechnung der Zielfunktionen und Randbedingungen, ihrer multikriteriellen Optimierung sowie einem interaktiven Decision-Making-Modul zusammensetzt. Die Besonderheit des hier entwickelten Ansatzes besteht darin, daß die bei der Optimierung generierte, näherungsweise pareto-optimale Lösungsmenge nach Abschluß der Optimierung durch Neuronale Netze modelliert wird und so einen interpolierenden Zugriff auf ihre Elemente sowie die Extraktion von Wissen über die Zusammenhänge zwischen den Prozessgrößen im näherungsweise pareto-optimalen Bereich gestatten. Neben der Darstellung einer praxistauglichen Gesamtmethodik stellen Erweiterungen im Bereich der Theorie Evolutionärer Algorithmen in Form des Lernens der Evolutionsrichtung während der Optimierung einen weiteren Schwerpunkt dar. Die zusätzliche Kombination mit einem gradientenbasierten Optimierungsalgorithmus machen den Ansatz zu einem Multi-Hybrid-System, das sich durch sehr gute Konvergenzeigenschaften und eine hohe Qualität der generierten Lösungen auszeichnet. Beispielhaft wird eine mit diesem Ansatz entwickelte und im industriellen Einsatz befindliche Applikation zur modellbasierten Rezepturoptimierung in der Tierfutterindustrie beschrieben. Ziel der Arbeit ist es, einen lernfähigen, multi-hybriden multikriteriellen Evolutionären Algorithmus zu entwickeln, der seine Überlegenheit durch das effiziente Ausnutzen von Synergien zwischen den einzelnen Verfahren zeigt, sowie eine praxisbezogene Methodik zu erarbeiten, die es dem Ingenieur gestattet, rezepturgesteuerte Produktionsprozesse - angefangen von der Datenerfassung und Versuchsplanung, über die Prozessmodellierung bis hin zur multikriteriellen Optimierung - effizienter zu gestalten.