Dynamische Lastverteilung für middlewarebasierte Softwaresysteme in heterogenen Rechnerumgebungen

Krüger, Thomas Moritz; Kraiss, Karl-Friedrich

doi:846

Dynamische Lastverteilung für middlewarebasierte Softwaresysteme in heterogenen Rechnerumgebungen

Krüger, Thomas Moritz (Author)

2004

Verantwortlichkeitsangabevorgelegt von Thomas Moritz Krüger

ImpressumAachen : Publikationsserver der RWTH Aachen University 2004

UmfangXVI, 134 S. : Ill., graph. Darst.

Aachen, Techn. Hochsch., Diss., 2004

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Kraiss, Karl-Friedrich (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2004-04-23

Online
URN: urn:nbn:de:hbz:82-opus-8463
URL: https://publications.rwth-aachen.de/record/59502/files/59502.pdf

Einrichtungen

Fakultät für Elektrotechnik und Informationstechnik (600000)

Inhaltliche Beschreibung (Schlagwörter)
Hochleistungsrechnen (Genormte SW) ; Heterogenes Rechnernetz (Genormte SW) ; Middleware (Genormte SW) ; Dynamische Lastteilung (Genormte SW) ; CORBA (Genormte SW) ; Benchmark (Genormte SW) ; Informatik (frei) ; middleware (frei) ; dynamic load balancing (frei) ; load distribution (frei) ; CORBA (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Trotz technologischer Fortschritte im Bereich der Hardwareentwicklung steigt der Bedarf an Rechenleistung durch immer aufwändigere Algorithmen und Verfahren sowie konzeptionelle Weiterentwicklungen im Software Engineering stetig. Insbesondere im Umfeld des technisch-wissenschaftlichen Rechnens, z.B. im Bereich von Wetter- und Klimaberechnungen, aber auch in der Bildverarbeitung und der künstlichen Intelligenz, werden immer größere Leistungen benötigt. Um dieser Entwicklung Rechnung zu tragen, kommen Parallelrechner, Multiprozessorsysteme und in zunehmendem Maße auch vernetzte Rechnersysteme wie Cluster of Workstations (COW), Grids und Networks of Workstations (NOW) zum Einsatz. Der Begriff Cluster bezeichnet dabei räumlich gruppierte, homogene Rechenknoten, Networks of Workstations dagegen eine Ansammlung von meist heterogenen, mit lokalen Datennetzen gekoppelten Computern, so wie sie in fast allen Büro- und Laborumgebungen zu finden sind. Ein weiterer Aspekt ist die gleichzeitige Nutzung der Systeme durch verschiedene Anwender. In diesem Umfeld wird zur Kommunikation zwischen Softwarekomponenten häufig Middleware eingesetzt, eine Softwareschicht, die die Kommunikation von Komponenten auf einer sehr hohen Abstraktionsebene ermöglicht. Allerdings erschweren die genannten Aspekte eine Lastverteilung auf vorhandene Hardwareresourcen und wurden im Bereich der Middleware bisher nur unzureichend untersucht und beachtet. Gegenstand der vorliegenden Arbeit ist daher die Entwicklung einer dynamischen Lastverteilung für die Middlewareschicht für heterogene Rechnersysteme mit dem Ziel, die Antwortzeiten einer interaktiven, rechenintensiven Anwendung zu minimieren. In den letzten Jahren haben objektorientierte und komponentenbasierte Programmiermethoden entscheidend an Bedeutung gewonnen, die im Rahmen dieser Arbeit bei der Entwicklung des Verfahrens sowie der Auswahl der Kommunikationsmethoden berücksichtigt und durch entsprechende Abstraktionsebenen unterstützt werden. In der vorliegenden Arbeit werden ein Konzept sowie ein mathematisches Systemmodell zur dynamischen, middlewarebasierten Lastverteilung mittels der Common Object Request Broker Architecture (CORBA) entwickelt. Das Modell berücksichtigt erstmalig die Besonderheiten einer heterogenen Netzwerkumgebung mit Rechnern, die nicht exklusiv zur Verfügung stehen und starke Leistungsunterschiede aufweisen. Ausgehend von diesem Modell wird eine Simulationsumgebung aufgebaut, der Lastverteilungsalgorithmus entwickelt und das Systemverhalten anhand verschiedener Simulationen untersucht und optimiert. Ausführungszeiten von vorherigen Berechnungen in einem objektorientierten Umfeld liefern zusätzliche Informationen, um bei der Lastverteilung unnötige Prozessmigrationen zu vermeiden. Das entwickelte Verfahren zeichnet sich durch eine zustandsabhängige Lastverteilung aus, basierend auf erfassten Messgrößen, wie z.B. der CPU-Taktrate, dem verfügbaren Speicher und den Parametern des Verbindungsnetzwerkes. Es verteilt anfallende Rechenlasten besser auf die verfügbaren Resourcen und erreicht kürzere Antwortzeiten als bisherige Standardverfahren im Bereich der Middleware. Die Vorteile des entwickelten Verfahrens zeigt ein Vergleich mit gebräuchlichen Algorithmen im Rahmen der Simulationen, mittels verschiedener Benchmarks sowie in einer Beispielanwendung aus dem Bereich der künstlichen Intelligenz bzw. Bildverarbeitung.

The rising complexity of algorithms and conceptual improvements in the field of software engineering causes an increasing demand for computing power, despite of the technological progress in hardware development. Especially scientific and engineering applications, for example weather and climate calculations, but also image processing and artificial intelligence generate high computational loads. In this context, parallel computers, multi processor computers and an increasing amount of networked computers like Clusters of Workstations (COW), Grids or Networks of Workstations (NOW) are used to satisfy the demands. While cluster is synonymous for a group of homogeneous workstations in an isolated, narrow environment, a network of workstations describes a collection of mostly heterogeneous computers, interconnected within local area networks, for example in an office or laboratory environment. Another aspect in such networks is the occurrence of concurrent users. In this application scenario a common method for the interaction of software components is provided by middleware, a software layer that allows communication between components on a very high abstraction level. These aspects aggravate the efficient usage of available hardware resources and have rarely been investigated in the context of middleware-based load balancing. The subject of this thesis is the development of dynamic load distribution and balancing techniques in the middleware layer for heterogeneous computing systems to increase the performance of interactive, resource intensive applications. The thesis considers object oriented and component based programming concepts, which have become very important during the last years. In order to support these paradigms, the communication protocols chosen in this thesis provide the corresponding abstraction layers. The thesis presents a concept as well as a mathematical system model for dynamic load balancing in the Common Object Request Broker Architecture (CORBA). The proposed solution is the first one to take capacity parameters of heterogeneous networked workstations into consideration. Based on this model, a simulation is developed to evolve and optimize a dynamic load balancing algorithm. The execution time of previously distributed calculations is determined and used to prevent improper load migrations. The developed concept and its algorithms allow load balancing based on current system states, such as cpu-clockrates, memory consumption and network parameters. It distributes workload more efficiently to available computing resources than previous standard algorithms in the middleware layer and decreases execution times. The comparison with state of the art technology in the simulation, with benchmarks and within an example application from the field of artificial intelligence and image processing demonstrates the benefits of the developed architecture.

Fulltext:
PDF
(additional files)