Analyzing memory accesses for performance and correctness of parallel programs

Cramer, Tim; Katoen, Joost-Pieter; Müller, Matthias

doi:36291

Analyzing memory accesses for performance and correctness of parallel programs = Analyse von Speicherzugriffen für die Performance und Korrektheit von parallelen Programmen

Cramer, Tim

2017

Verantwortlichkeitsangabevorgelegt von Diplom-Ingenieur Tim Cramer

ImpressumAachen 2017

Umfang1 Online-Ressource (viii, 151 Seiten) : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2017

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Müller, Matthias (Thesis advisor)^RWTH* ; Katoen, Joost-Pieter (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2017-07-05

Online
DOI: 10.18154/RWTH-2017-06527
URL: http://publications.rwth-aachen.de/record/695879/files/695879.pdf
URL: http://publications.rwth-aachen.de/record/695879/files/695879.pdf?subformat=pdfa

Einrichtungen

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Der stetig wachsende Bedarf an Rechenleistung im wissenschaftlichen Umfeld hat im laufenden Jahrzehnt sowohl zu einer weiten Verbreitung als auch hohen Akzeptanz von hochparallelen Computerarchitekturen geführt. Dieser Trend ist auch in der TOP500-Liste der leistungsfähigsten Supercomputer der Welt manifestiert, in welcher über 40% der Gesamt-Performance aus Akzelerator-basierten Systemen resultiert. Die Programmierung dieser Systeme erforderte in der Vergangenheit häufig zeitaufwändige Anpassungen der rechenintensiven Programmteile, bevor produktivere Ansätze wie OpenACC oder die die Offloading-Direktiven in OpenMP aufkamen. Jedoch bleibt auch mit diesen nutzerfreundlicheren Ansätzen die Programmierung für heterogene Architekturen komplex und fehleranfällig und stellt viele Anforderungen an den Programmierer, der eine hohe Performance für seine Anwendung erreichen will. Eine Schlüsselrolle für das Verständnis der Performance und der Korrektheit eines parallelen Programms spiegelt sich in der Analyse der Speicherzugriffe wieder. Diese Arbeit verfolgt einen ganzheitlichen Ansatz unter Berücksichtigung der Hardware-Eigenschaften, des Programmierparadigmas, der zugrundeliegende Implementierung und der Schnittstelle für eine adäquate Tool-Unterstützung in Bezug auf beide Aspekte. Die Verbesserung der Performance und die Validierung einer Anwendung erfordert hierbei ein tiefgehendes Verständnis des dynamischen Laufzeitverhaltens. Hierbei ist das adäquate Platzieren der Daten und Threads essentiell für die Performance, und die Zugriffsreihenfolge essentiell für das deterministische Verhalten bzw. die Korrektheit einer Anwendung. Aus diesem Grund wird diese Arbeit zunächst eine systematische Methodik zur Bewertung von OpenMP Target-Devices, Muster für die effiziente Task-parallele Programmierung von Non-Uniform Memory Access (NUMA) Architekturen, sowie Verbesserungen für eine standardkonforme Tool-Unterstützung präsentieren. Basierend auf den gewonnenen Erkenntnissen, wird im Anschluss ein OpenMP Epochen-Modell für die Korrektheitsanalyse definiert, welches die Semantik inklusive des Laufzeit- und Speichermodells von OpenMP berücksichtigt. Die Evaluierung der entwickelten Konzepte erfolgt an Hand von relevanten Tools zur Performance- und Korrektheitsanalyse.

The demand for large compute capabilities in scientific computing led to wide use and acceptance of highly-parallel computer architectures during the last decade. This trend is manifested in the TOP500, listing the fastest supercomputer of the world, in which about 40% of the performance share results from accelerator-based systems. Programming for these architectures in the past often required a timeconsuming rewrite of the compute-intensive application parts, until more productive approaches like Open Accelerators (OpenACC) or the target offloading features of Open Multi-Processing (OpenMP) came to existence. However, parallel programming for heterogeneous architectures is still a complex and error-prone task, posing several challenges to the programmer who wants to achieve high application performance. One key factor for the understanding of the performance and the correctness of a parallel program is reflected in the analysis of the memory accesses. This work takes a holistic view on the hardware properties, the programming paradigm, its particular implementation and the interfaces for an adequate tool support with respect to both aspects. The improvement of the performance and the validation of an application requires a deep comprehension of the dynamic runtime behavior. Here, the appropriate data and thread placement is essential for the performance, and the order of the memory accesses is essential for the deterministic behavior or rather the correctness of the application. Therefore, this work will first present a systematic methodology for the assessment of OpenMP for target devices, patterns for the efficient usage of task-based programming on Non-Uniform Memory Access (NUMA) architectures, and the improvement of standard-compliant tool support. Based on the gathered insights, an OpenMP epoch model for correctness checking is defined, which respects the OpenMP semantics including the runtime and memory model. The evaluation of the developed concepts is shown by application to realworld performance analysis and correctness checking tools.

OpenAccess:
PDF PDF (PDFA)
(additional files)