Towards Efficient Ray Casting-Based Visualization on Heterogeneous HPC Architectures

  • Visualization is vital to the scientific discovery process. An interactive high-fidelity rendering provides accelerated insight into complex structures, models and relationships. However, the efficient mapping of visualization tasks to high performance architectures is often difficult, being subject to a challenging mixture of hardware and software architectural complexities in combination with domain-specific hurdles. These difficulties are often exacerbated on heterogeneous architectures. In this thesis, a variety of ray casting-based techniques are developed and investigated with respect to a more efficient usage of heterogeneous HPC systems for distributed visualization, addressing challenges in mesh-free rendering, in-situ compression, task-based workload formulation, and remote visualization at large scale. A novel direct raytracing scheme for on-the-fly free surface reconstruction of particle-based simulations using an extended anisoptropic kernel model is investigated on different state-of-the-art cluster setups. The versatile system renders up to 170 million particles on 32 distributed compute nodes at close to interactive frame rates at 4K resolution with ambient occlusion. To address the widening gap between high computational throughput and prohibitively slow I/O subsystems, in situ topological contour tree analysis is combined with a compact image-based data representation to provide an effective and easy-to-control trade-off between storage overhead and visualization fidelity. Experiments show significant reductions in storage requirements, while preserving flexibility for exploration and analysis. Driven by an increasingly heterogeneous system landscape, a flexible distributed direct volume rendering and hybrid compositing framework is presented. Based on a task-based dynamic runtime environment, it enables adaptable performance-oriented deployment on various platform configurations. Comprehensive benchmarks with respect to task granularity and scaling are conducted to verify the characteristics and potential of the novel task-based system design. A core challenge of HPC visualization is the physical separation of visualization resources and end-users. Using more tiles than previously thought reasonable, a distributed, low-latency multi-tile streaming system is demonstrated, being able to sustain a stable 80 Hz when streaming up to 256 synchronized 3840x2160 tiles and achieve 365 Hz at 3840x2160 for sort-first compositing over the internet, thereby enabling lightweight visualization clients and leaving all the heavy lifting to the remote supercomputer.
  • Visualisierung ist essentiell im wissenschaftlichen Entdeckungsprozess. Eine hochqualitative interaktive Darstellung bietet beschleunigten Erkenntnisgewinn in komplexe Strukturen und Zusammenhänge. Oft ist eine effiziente Abbildung von Visualisierungsverfahren auf Hochleistungsarchitekturen jedoch schwierig aufgrund von Komplexitäten sowohl in Hardware als auch Software, sowie domänenspezifischer Herausforderungen. Heterogene Architekturen verschärfen diese Schwierigkeiten. In dieser Arbeit werden verschiedene Raycasting-basierte Techniken im Hinblick auf die effiziente Nutzung heterogener HPC Systeme für die verteilte Visualisierung vorgestellt und untersucht. Dies umfasst Herausforderungen in gitterfreier Darstellung, in-situ Kompression, taskbasierter Algorithmusformulierung, sowie verteilter Remote-Visualisierung. Ein neues direktes Raytracing-Schema zur Rekonstruktion freier Oberflächen partikelbasierter Simulationen basierend auf einem erweiterten Modell anisotropischer Kernels wird auf verschiedenen aktuellen Clustersystemen untersucht. Es können bis zu 170 Millionen Partikel auf 32 verteilten Rechenknoten nahezu interaktiv bei 4K-Auflösung mit Ambient Occlusion dargestellt werden. Hinsichtlicher der wachsenden Lücke zwischen Rechendurchsatz und langsamen I/O Subsystemen wird in-situ topologische Kontourbaum-Analyse in Kombination mit kompakter bildbasierter Datenrepräsentation untersucht. So lässt sich auf effiziente und leicht kontrollierbare Weise der Schwerpunkt zwischen Speicherkosten und Visualisierungsflexibilität steuern, wobei Experimente signifikante Reduktionen der Datenmengen belegen. Motiviert durch eine zunehmend heterogene Systemlandschaft wird ein flexibles Task-basiertes Framework zum verteilten direkten Volume Rendering und Compositing vorgestellt. Auf Basis einer Task-basierten dynamischen Laufzeitumgebung werden Task-Granularität und Skalierungscharakteristika der neuartigen Algorithmusformulierung untersucht. Eine zentrale Herausforderung der HPC Visualisierung ist die räumliche Trennung zwischen Visualisierungsressourcen und Endanwender. Es wird ein verteiltes Multi-Tile Streaming-System vorgestellt, welches durch niedrige Latenzen und effiziente Hardware-Kompression bis zu 256 synchronisierte 4K-Streams bei stabilen 80 Hz verarbeitet, und bis zu 365 Hz für 4K Sort-First Compositing über das Internet bietet.

Download full text files

Export metadata

Metadaten
Author:Tim Biedert
URN:urn:nbn:de:hbz:386-kluedo-57174
Advisor:Christoph Garth
Document Type:Doctoral Thesis
Language of publication:English
Date of Publication (online):2019/08/29
Year of first Publication:2019
Publishing Institution:Technische Universität Kaiserslautern
Granting Institution:Technische Universität Kaiserslautern
Acceptance Date of the Thesis:2019/08/27
Date of the Publication (Server):2019/09/02
Tag:HPC; Heterogeneous; Ray casting; Scientific Visualization; Streaming; Task-based; Topology
Page Number:XI, 147
Faculties / Organisational entities:Kaiserslautern - Fachbereich Informatik
CCS-Classification (computer science):I. Computing Methodologies / I.3 COMPUTER GRAPHICS / I.3.2 Graphics Systems (C.2.1, C.2.4, C.3)
I. Computing Methodologies / I.3 COMPUTER GRAPHICS / I.3.6 Methodology and Techniques
DDC-Cassification:0 Allgemeines, Informatik, Informationswissenschaft / 004 Informatik
MSC-Classification (mathematics):68-XX COMPUTER SCIENCE (For papers involving machine computations and programs in a specific mathematical area, see Section {04 in that areag 68-00 General reference works (handbooks, dictionaries, bibliographies, etc.)
Licence (German):Creative Commons 4.0 - Namensnennung, nicht kommerziell, keine Bearbeitung (CC BY-NC-ND 4.0)