Parallel re-initialization of level set functions and load balancing for two-phase flow simulations

Fortmeier, Oliver Christian; Bücker, Martin

doi:999910130520

Parallel re-initialization of level set functions and load balancing for two-phase flow simulations = Parallele Re-Initialisierung von Level-Set-Funktionen und Lastbalancierung für Simulationen von Zweiphasenströmungen

Fortmeier, Oliver Christian (Author)

2011 & 2012

VerantwortlichkeitsangabeOliver Christian Fortmeier

ImpressumMünchen : Hut 2011

UmfangGetr. Zählung : Ill., graph. Darst.

ReiheInformatik

Zugl.: Aachen, Techn. Hochsch., Diss., 2011

Druckausgabe: 2011. - Onlineausgabe: 2012

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Bücker, Martin (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2011-11-17

Online
URN: urn:nbn:de:hbz:82-opus-39017
URL: https://publications.rwth-aachen.de/record/51597/files/3901.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Parallelisierung (Genormte SW) ; Verteilter Speicher (Genormte SW) ; Tetraedrische finite Elemente (Genormte SW) ; Numerische Strömungssimulation (Genormte SW) ; Level-Set-Methode (Genormte SW) ; Supercomputer (Genormte SW) ; Gemeinsamer Speicher (Genormte SW) ; Informatik (frei) ; parallelization (frei) ; distributed memory (frei) ; finite element method (frei) ; tetrahedral triangulation (frei) ; numerical two-phase flow simulation (frei) ; level set method (frei) ; high-performance computer (frei) ; shared memory (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Die vorliegende Arbeit beschäftigt sich mit parallelen Algorithmen, welche bei der Simulation von dreidimensionalen Zweiphasenströmungen auf adaptiv verfeinerten, unstrukturierten Tetraedergittern eingesetzt werden. Ziel dabei ist es, diese Strömungen von zwei unmischbaren Phasen auf modernen Hochleistungsrechnerarchitekturen zu simulieren, welche derzeit in der Regel aus einer großen Anzahl von vernetzten Mehrkernprozessoren bestehen. Die mathematische Modellierung der Zweiphasenströmungen beruht auf den Navier-Stokes-Gleichungen zur Beschreibung der Strömungsdynamik und der Levelset-Methode zur Charakterisierung der beiden Phasen. Um diese partiellen Differentialgleichungen rechnergestützt zu lösen, werden für die Ortsdiskretisierung Finite-Elemente-Funktionen und für die Zeitdiskretisierung ein implizites Theta-Schema angewandt. Dadurch können Zweiphasenströmungsprobleme in Form einer Sequenz von großen, dünnbesetzten linearen Gleichungssystemen dargestellt werden, welche iterativ durch Krylov-Teilraumverfahren gelöst werden. Um die Rechenarbeit der Simulation auf Rechenkerne mit verteiltem Speicher aufzuteilen, wird ein Gebietszerlegungsansatz gewählt, in dem - basierend auf einer Partitionierung des Rechengebiets - die zugrundeliegende Hierarchie von Tetraedergittern verteilt wird. In dieser Arbeit werden Graph- und Hypergraph-Partitionierungsmodelle eingeführt, um eine Zerlegung des Rechengebiets für Zweiphasenströmungssimulationen zu bestimmen. Ein zentraler Algorithmus bei der Verwendung des Levelset-Ansatzes ist die Reinitialisierung der Levelset-Funktion, welche ihre numerisch wichtige Eigenschaft einer vorzeichenbehafteten Abstandsfunktion wiederherstellt. Hierfür kommt ein neuer paralleler Algorithmus auf einem verteilt gespeicherten, unstrukturierten Tetraedergitter zum Tragen. Alle in dieser Arbeit vorgestellten Konzepte wurden in dem Software-Werkzeug DROPS implementiert, das in einer Zusammenarbeit mit dem Lehrstuhl für numerische Mathematik der RWTH Aachen University entwickelt wird. Die parallele Skalierbarkeit dieser Methoden wird durch detaillierte numerische Experimente auf bis zu 1024 Rechenkernen demonstriert. Zudem werden die parallelen Konzepte in einer ingenieursrelevanten Fallstudie kombiniert, welche die hochaufgelöste Simulation eines n-Butanol-Tropfens in einer wässrigen Phase beinhaltet. Diese Studie entstammt dem Sonderforschungsbereich SFB 540 der RWTH und wurde erst durch den Einsatz paralleler Algorithmen auf modernen Hochleistungsrechnern ermöglicht, die den nötigen Speicher und Rechenleistung zur Verfügung stellen.

This thesis addresses parallel algorithms for three-dimensional two-phase flow simulations on adaptively refined unstructured tetrahedra grids. These algorithms are designed to simulate the fluid dynamics of two immiscible phases on recent high-performance computer architectures which, in general, consist of clusters of a large number of multi-core processors. The underlying mathematical model of these two-phase flows is based on the Navier-Stokes equations to describe the fluid dynamics. The level set approach is employed to characterize the two phases. The spatial discretization of these partial differential equations is given by the finite element method whereas the time discretization is performed by an implicit theta scheme. This approach facilitates the description of two-phase flow problems as a sequence of large and sparse systems of linear equations which are efficiently solved by Krylov subspace methods. The computational work of two-phase flow simulations is decomposed among compute cores with distributed memory. To this end, a domain decomposition approach is pursued where the tetrahedra of the underlying hierarchy of triangulations are accordingly distributed. In this thesis, graph and hypergraph partitioning models are introduced which determine tetrahedral decompositions. These models are specifically designed for two-phase flow simulations. A major algorithmic element in such simulations is constituted by the re-initialization algorithm that periodically rebuilds a numerically crucial property of the level set function, namely the signed distance property. This task is addressed by a novel parallel algorithm which is capable of re-initializing level set functions on distributed unstructured triangulations. The numerical results of the presented parallel concepts are gathered by the software toolkit DROPS which is being developed in a collaboration with the Chair of Numerical Mathematics at RWTH Aachen University. The parallel scalability of the methods is demonstrated by detailed numerical experiments on up to 1024 compute cores. Furthermore, all parallel concepts are combined in an engineering relevant case study that is concerned with the analysis of an n-butanol drop in an aqueous phase on a triangulation with a high resolution. This study originates from the collaborative research center SFB 540 at RWTH. Its simulation is too large-in terms of memory and compute time-for sequential computing. Thus, only the parallel techniques presented in this thesis allow to perform this detailed analysis.

Fulltext:
PDF