Real-space finite difference PAW method for large-scale applications on massively parallel computers

Baumeister, Paul Ferdinand; Blügel, Stefan

doi:4385

Real-space finite difference PAW method for large-scale applications on massively parallel computers = Realraum Finite-Differenzen PAW-Verfahren zur großskaligen Anwendung auf massiv-parallelen Computern

Baumeister, Paul Ferdinand (Author)

2012 & 2013

VerantwortlichkeitsangabePaul Ferdinand Baumeister

ImpressumJülich : Forschungszentrum Jülich, Zentralbibliothek 2012

UmfangVI, 212 S. : graph. Darst.

ReiheSchriften des Forschungszentrums Jülich : Reihe Schlüsseltechnologien ; 53

Zugl.: Aachen, Techn. Hochsch., Diss., 2012

Druckausgabe: 2012. - Onlineausgabe: 2013

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Blügel, Stefan (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2012-07-11

Online
URN: urn:nbn:de:hbz:82-opus-43856
URL: https://publications.rwth-aachen.de/record/211790/files/4385.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Dichtefunktionalformalismus (Genormte SW) ; Naturwissenschaften (frei) ; Dichtefunktionaltheorie (frei) ; Echtraum-Gitter (frei) ; Realraummethode (frei) ; massiv-parallele Berechnungen (frei) ; große Anwendungen (frei) ; density functional theory (frei) ; real-space grid (frei) ; massively parallel computers (frei) ; projector augmented wave method (frei) ; large-scale application (frei)

Thematische Einordnung (Klassifikation)
DDC: 500

Kurzfassung
Seit Jahrzenten erweitern Materialsimulationen durch neuartige Methoden im Zusammenspiel mit der Verfügbarkeit von immer größeren Kapazitäten auf Supercomputern die Grenzen des Möglichen. Trotzdem ist eine vollständige quantenmechanische Beschreibung, z.B. eines Festkörpers, ohne Näherungen and Annahmen unerreichbar. Es gibt eine Vielfalt von ab-initio Methoden und Approximationen, von denen die Dichtefunktionaltheorie (DFT) mit der Näherung eines lokalen Dichtefunktionals, die einzige ist, die auch zuverlässige Vorhersagen über Systeme mit mehr als hundert Atomen zuläßt. Die Ergebnisse von Dichtefunktional-Rechnungen tragen zum Verständnis grundleger Mechanismen in verschiedensten Materialklassen bei, indem man die elektronische Struktur des Systems in ihrem einfach zugänglichen Einteilchenbild betrachtet. Die Analyse der berechneten Gesamtenergien, Grundzustandsstrukturen und Einteilchenspektren erlaubt, unterschiedlichste Funktionalitäten des Materials sowohl qualitativ zu erklären als auch quantitativ zu hinterlegen. Dies können diverse Eigenschaften von Feststoffen, chemische Reaktionen an Katalysatoren, Synthese von Molekülen oder magnetische Materialien sein. Häufig sind die faszinierenden Fragestellungen der aktuellen Festkörperphysik nicht durch die Simulation einer kleinen Anzahl von Atomen zu beantworten, sondern verlangen nach Rechnungen mit mehreren hunderten bzw. tausenden von Atomen; sei es, dass eine gebrochene Symmetrie untersucht werden soll oder dass das Material von sich aus Unordnung aufweist. Das im Rahmen dieser Doktorarbeit entwickelte Computerprogramm basiert auf DFT mit Wellenfunktionen, die sich im gesamten Raum ausdehnen und dort beschrieben werden müssen. Pro Atom werden etwa fünf dieser Wellenfunktionen benötigt und mit jedem Atom vergrößert sich auch das zu beschreibende Volumen. Daher wächst der gesamte Rechenbedarf der Methode mindestens quadratisch mit der Anzahl der Atome an. Sehr große Systeme können somit, begrenzt durch den Speicherbedarf und die eigene Geduld, nur auf Supercomputern berechnet werden. Die derzeit schnellsten Rechner der Welt basieren auf massiver Parallelisierung, d.h. die Aufgaben werden auf sehr viele Rechenkerne verteilt werden, um die Gesamtergebnisse in möglichst kurzer Zeit zu erhalten. Dabei handelt es sich bei einigen Computern um Größenordnungen von hunderttausend Prozessoren und mehr. Eine effiziente Abhandlung von parallelisierten Rechnungen kann aber nur dann zustande kommen, wenn ein hinreichender Grad von Datenlokalität gegeben ist, d.h. jeder einzelne Rechenkern behandelt die ihm zugewiesenen Daten ohne zwischendurch viel Zeit durch Datenaustausch oder Synchronisierung zu verlieren. DFT mit einer Darstellung der Wellenfunktionen auf einem Gitter im Ortsraum erlaubt, dass deren Freiheitsgrade gleichmäßig und in zusammenhängenden Bereichen auf die Rechenkerne verteilt werden und dabei nur wenig Datenaustausch benötigt wird, vorausgesetzt wir nähern die auftretenden Ableitungen nach den räumlichen Koordinaten durch finite Differenzen. Zusätzlich wird, um mit moderaten Anzahlen von Gitterpunkten konvergierte Ergebnisse zu erzielen, der Ionenrumpf der Atome mit seinen Streueigenschaften und Energiebeiträgen durch die Projector Augmented Wave Methode beschrieben, die auch in DFT Methoden verwendet wird, deren Basis der Reziprokraum ist. In dieser Arbeit wird gezeigt, dass die Parallelisierung des Ortsraumgitters und eine zusätzliche parallele Behandlung der verschiedenen Wellenfunktionen es ermöglichen, die elektronische Struktur von mehr als dreitausend Atomen mit über 80 Prozessoren pro Atom effizient zu berechnen. Hierzu wurde eine Legierung aus Germanium, Antimon und Tellur simuliert, die sich in ihrem kristallinen Zustand durch ihre geringe Nahordnung und eine hohe Konzentration an Fehlstellen als Phasenwechselmedium eignet. Ge:Sb:Te kommt in wiederbeschreibbaren DVDs zum Einsatz, d.h. es kann optisch mit einem Laser ausgelesen und beschrieben werden, zeigt aber auch vielversprechendes Potential zur resistiven Datenspeicherung.

Simulations of materials from first-principles have improved drastically over the last decades, benefitting from newly developed methods and access to increasingly larger computing resources. Nevertheless, a quantum mechanical description of a solid without approximations is not feasible. In the wide field of methods for ab-initio calculations of the electronic structure, density functional theory and, in particular, the local density approximation have turned out to make also simulations of large systems accessible. Density functional calculations provide insight into the processes happening in a vast range of materials by their access to an understandable electronic structure in the framework of the Kohn-Sham single particle wave functions. A lot of functionalities in the fields of electronic devices, catalytic surfaces, molecular synthesis and magnetic materials can be explained analyzing the resulting total energies, ground state structures and Kohn-Sham spectra. However, challenging physical problems are often accompanied with calculations including a huge number of atoms in the simulation volume, mostly due to very low symmetry. The total workload of wave function based DFT scales roughly quadratically with the number of atoms. This leads to the necessity of supercomputer usage. In the present work, an implementation of DFT on real-space grids has been developed, suited for making use of the massively parallel computing resources of moder supercomputers. Massively parallel machines are based on distributed memory and huge numbers of compute nodes, easily exceeding 100,000 parallel processes. An efficient parallelization of density functional calculations is only possible when the data can be stored process-local and the amount of inter-node communication is kept low. Our real-space grid approach with a three-dimensional domain decomposition provides an intrinsic data locality and solves both, the Poisson equation for the electrostatic problem and the Kohn-Sham eigenvalue problem, on a uniform real-space grid. The derivative operators are approximated by finite-differences leading to localized operators which require only communication with the nearest neighbor processes. This causes an excellent parallel performance at large system sizes. Treating only valence electrons, we apply the projector augmented wave method for an accurate modelling of energy contributions and scattering properties of the atomic cores. In addition to the real-space grid parallelization, we apply a distribution of the workload of different Kohn-Sham states onto parallel processes. This second parallelization level avoids the memory bottleneck at large system sizes and introduces even more parallel speedup. Calculations of systems with up to 3584 atoms of Ge, Sb and Te have been performed on (up to) all 294,912 cores of JUGENE, the massively parallel supercomputer installed at the Forschungszentrum Jülich.

Fulltext:
PDF