Effective communication methods for many core architectures with on chip networks in the absence of cache coherence

Reble, Pablo; Mathar, Rudolf; Müller, Matthias S.

doi:HT018801327

Effective communication methods for many core architectures with on chip networks in the absence of cache coherence = Effektive Kommunikationsmethoden für Manycore-Architekturen mit on-chip Netzwerken bei fehlender Cache-Kohärenz = Effective communication methods for many-core architectures with on-chip networks in the absence of cache coherence

Reble, Pablo

2016

Verantwortlichkeitsangabevorgelegt von Pablo Reble

ImpressumAachen : Publikationsserver der RWTH Aachen University 2016

Aachen, Techn. Hochsch., Diss., 2015

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2016

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Mathar, Rudolf (Thesis advisor) ; Müller, Matthias S. (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2015-09-25

Online
URN: urn:nbn:de:hbz:82-rwth-2015-060972
URL: https://publications.rwth-aachen.de/record/540818/files/540818.pdf
URL: https://publications.rwth-aachen.de/record/540818/files/540818.pdf?subformat=pdfa

Einrichtungen

Lehrstuhl und Institut für Theoretische Informationstechnik (613410)

Inhaltliche Beschreibung (Schlagwörter)
Elektrotechnik, Elektronik (frei) ; many-core (frei) ; NoC (frei) ; software-controlled communication (frei) ; synchronization (frei) ; message passing (frei) ; low-level communication model (frei)

Thematische Einordnung (Klassifikation)
DDC: 621.3

Kurzfassung
Auch bei moderater Steigerung ihrer Integrationsdichte, können CPUs mit Tausenden von Rechenkernen pro Chip in näherer Zukunft erwartet werden. Dieser Trend wird zu massiv-parallelen Prozessoren führen, welche gemeinhin als Manycore Systeme bezeichnet werden. In letzter Konsequenz resultieren daraus neue Herausforderungen an etablierte Kommunikations- und Synchronisations-Konzepte und es ist eine weit verbreitete Überzeugung, dass nur durch eine Reevaluation etablierter Konzepte in der Forschung, solchen Herausforderungen begegnet werden kann. Als Mitglied der “Many-core Applications Research Community” startete die RWTH Aachen University die Projekte MetalSVM und iRCCE um neue Kommunikations-Konzepte und System-Software Unterstützung für zukünftige Manycore-Systeme zu erforschen. Ergebnisse dieser Projekte sind Teil dieser Dissertation, insbesondere die beschriebenen Software-Aspekte zur Kommunikation und Synchronisation von Manycore-Systemen ohne Cache Kohärenz. Intel’s “Single-chip Cloud Computer” (SCC) ist ein Beispiel für eine “Cluster on a Chip” Architektur die ein solches Kommunikations-Konzept ermöglicht. Dabei verzichtet diese Architektur vollständig auf Cache-Kohärenz und setzt stattdessen auf Hardware Unterstützung für explizite Kommunikation. Diese experimentelle Hardware ermöglicht bereits heute Grundlagenforschung für zukünftige Prozessor-Generationen. Zur weiteren Betrachtung der Skalierbarkeit von “low-level Software” für eine solche Architektur, wird in dieser Dissertation zudem eine virtuelle Erweiterung beschrieben. Ein wesentlicher Beitrag dieses Projektes ist ein voll-funktionsfähiger Prototyp eines Cluster von “Cluster on a Chip” Prozessoren, welcher in der Lage ist ein Manycore-System mit über 200 Kernen zu emulieren. Durch diese Arbeit konnten, durch die Kombination von klassischen Software-Techniken und die Weiterentwicklung der resultierenden Methoden, wesentliche Verbesserungen im Bezug auf die Kommunikation zwischen den Kernen erreicht werden. Um allgemein die Grenzen der Leistungsfähigkeit einer solchen Architektur analytisch zu bestimmen wird in dieser Arbeit ein Kommunikations-Modell vorgestellt. Die Grundannahme dieses Modells liegt in einer geringeren Abstraktion des Speicher-Zugriffs, so dass Speicher innerhalb eines Chips Speicher direkt adressiert oder über direkte Kontrolle von Caches der Datenfluss gesteuert werden kann. Das Modell beinhaltet Kommunikation für Intel basierte Mehrkern-Prozessoren mit direkt adressiertem integriertem Speicher für konkurrierende Zugriffsmustern und damit die Evaluation von verschiedenen Synchronisations-Mechanismen und deren Optimierung.

If the trend of integrating more and more cores to a single die continues, general-purpose processors with thousands of cores may be expected in the near future. The result of this development would be many-core architectures that will inevitably create new challenges for the scalability of common synchronization and communication methods. It is commonly believed that a reevaluation of established concepts is needed to address such research challenges. Because the importance of efficient communication for processors with many cores cannot be underestimated, the focus of this dissertation is on the analysis of efficient communication methods to exploit locality, and on low-latency of architectures that follow the network-on-chip paradigm and provide software-controlled memory with a low latency and a high throughput. As a member of the Many-core Applications Research Community, the RWTH Aachen University started, in 2010 the projects MetalSVM and iRCCE to explore new communication concepts and system-software support for future many-core systems. These projects – the results of which are presented in this dissertation – include the development of software concepts for communication and synchronization in the absence of hardware-cache coherence. Intel’s Single-chip Cloud Computer (SCC) represents the first x86-based many-core processor. It implements a new communication concept with alternative support for on-chip consistency control and explicit communication. These attributes, in combination with a flexible and fine-grained memory control, have enabled experiments and the development and verification of low-level communication concepts today, and it thereby guides the development of future systems. To further explore the scalability of low-level software for this kind of architecture, this dissertation includes consideration of the design of a transparent virtual extension. A major achievement of res-ulting low-level communication framework is a full working prototype of a cluster of clusters-on-a-chip, which can emulate a many-core processor with more than two hundred cores. This prototype has enabled a deeper analysis of new many-core communication concepts, and has uncovered potential for optimization. Major performance improvements could be achieved by the combination and further development of well-known mechanism and software techniques.Moreover, a communication model is essential if we are to analytically explore the limits of many- core processors that follow the network-on-chip paradigm and implement a low-memory abstraction by providing software-controlled on-chip memory. The SCC has been used to support analysis of methods and to verify the accuracy of our concepts when used to model communication. The experimental hardware shares basic characteristics with attributes of future many-core architectures that result, for example, in a combination of stacked memory and a tight integration of the fabric interconnect. Such similarities create opportunities for the applicability of the effective communication methods to future architectures. Fundamental requirements for the efficient communication methods that are developed, evaluated and parametrized in this work include configurable caches for direct on-chip memory access or at least finer-grained cache control for data movement. Moreover, a low-level contention model is de-veloped to evaluate different synchronization concepts and to derive optimizations for many-cores with remote direct memory access.

OpenAccess:
PDF PDF (PDFA)
(additional files)