Loading…
Comparative assessment of cloud compute services using run time meta-data
A framework for performance measurements and virtual machine image introspections
Menzel, Michael
Die Menge verfügbarer Meta-Daten über Compute Service-Angebote erweist sich hinsichtlich Zuverlässigkeit, Aktualität und Vergleichbarkeit ungenügend. Zum Beispiel beschränken sich die von Compute Service-Anbietern veröffentlichten Meta-Daten über Leistungsattribute ihrer Angebote typischerweise auf Hardwarekennzahlen und sind daher nicht verwendbar für Vergleiche oder auch Planungsaufgaben wie bspw. eine Kapazitätsplanung für ein Softwaresystem. Ähnlich sind auch Meta-Daten über Abbilder von virtuellen Maschinen (VM) in den Sammlungen der Compute Service-Anbieter spärlich. Die dargelegte Arbeit stellt der Forschergemeinschaft ein Rahmenwerk mit Bewertungs und Vergleichsmethoden für Compute Services bereit. Die Methoden erlauben Compute Cloud-Konsumenten Compute Service hinsichtlich verschiedener Charakteristiken zu bewerten und zu vergleichen. Da die Methoden Cloud-Konsumenten dienen, basiert das generelle Vorgehen auf der Nutzung von Client-seitigen Remote-Verbindungen zu virtuellen Maschinen, um Meta-Daten zur Laufzeit zu gewinnen. Hierfür wird ein archetypisches Automatisierungsmodell bereitgestellt. Die zur Laufzeit extrahierten Informationen können Compute Services anhand eines generischen und erweiterbaren Meta-Datenmodells zugeordnet werden. Ausserdem wird durch das Rahmenwerk basierend auf Ansätzen der multiattributiven Entscheidungsfindung (MADM) eine Methode eingeführt, die es Konsumenten ermöglicht Compute Services hinsichtlich mehrerer Charakteristiken anhand eines Scores zu vergleichen. Weiter kann ein Stoppregelansatz Kostenbudgets während sukzessiver Compute Service-Bewertungen durchsetzen. Die Regel schliesst bei der Suche nach einem Compute Service mit höchstem Score anhand von vorab verfügbaren Meta-Daten voraussichtlich schlecht abschneidende Services aus. Das Rahmenwerk wird in zwei spezifischen Instanzen eingesetzt, um Compute Services bezüglich ihrer Leistung und Inhalten von VM-Abbildern zu bewerten. Eine Instanz des Rahmenwerks erlaubt Bewertungen von Compute Services anhand derer Leistung. In diesem Zuge wird eine Methode präsentiert, die eine auf dem Automatisierungsmodell des Rahmenwerks basierenden Prozedur einsetzt, um Compute Services mit Benchmarking- Skripten zu messen, die über Remote-Schnittstellen von der Client-Seite ausgeführt werden. Neben der Prozedur bietet die Methode eine Definitionssprache für Stapelverarbeitung sowie die Wiederholung und Terminierung von Leistungsmessungen. Ergebnisse aus Messungen können durch eine Erweiterung des Meta-Datenmodells aus dem Framework festgehalten werden. Zum Vergleich der Ergebnisse, wird die MADM-basierte Scoring- Methode des Frameworks adaptiert. Die angepasste Scoring-Methode erlaubt Compute Cloud-Konsumenten Vergleiche anhand eines Scores aus definierten Leistungsattributen. Zur Limitierung der durch das Benchmarking von verschiedenen Compute Services entstehenden Kosten wird die Stoppregel des Rahmenwerks in solcherart konfiguriert, dass vorab bekannte Hardwarekennzahlen einbezogen werden. In Hinblick auf von Compute Services angebotene VM-Abbilder zeigt eine Instanz des Rahmenwerks eine Prozedur zum Erfassen von VM-Inhalten von der Client-seite. Eine Erweiterung des Meta-Datenmodells des Rahmenwerks erlaubt das Festhalten der Ergebnisse. Die Umsetzbarkeit der Methoden wird durch Softwareprototypen belegt, die in der dargelegten Arbeit vorgestellt werden. Die Prototypen dienen zudem als Grundlage, um die Methoden und Modell zu evaluieren. Eine Reihe von Experimenten zeigt die Validität der Ansätze. Weitere Untersuchungen adressieren die Promptheit der Bewertungsansätze, sowie die Komplexität der Berechnungen bei der Kombination mehrerer Meta-Datenattribute in einen Score. Darüber hinaus werden die Methoden mit dem Stand der Kunst verglichen, um Vor- und Nachteile herauszustellen.
The available amount of meta-data about compute service offerings which proofs reliable, timely, and comparable is unsatisfactory. For example, the meta-data published by compute service providers regarding performance attributes of their offers is typically restricted to hardware figures and, thus, not necessarily sufficient for comparisons or planning tasks, such as a thorough software system capacity planning. A similar problem of meta-data scarcity affects the reuse of Virtual Machine (VM) images available in repositories from compute service providers. The contents of the VM images are not described by any available meta-data, yet. The present work contributes a framework of compute service assessment and comparison methods to the research community. The methods enables compute cloud consumers to assess and compare compute services regarding diverse characteristics. As the purpose of the methods is to serve consumers, the general scheme is an exploitation of the client-side remote access to VMs in order to gain meta-data at run-time. Therefore, an archetypical run-time assessment automation model is provided. The information extracted at run-time can furthermore be attached to compute services as meta-data through a generic and extensible meta-data model. Furthermore, a Multi-Attribute Decision-Making (MADM)-based scoring method is introduced by the framework which enables consumers to compare compute services regarding multiple characteristics with a single score. Besides, a stopping rule approach is able to enforce cost budgets during sequential compute service assessments. Additionally, in a search for a highest scoring compute service the rule uses priorly available meta-data to skip presumably low scoring services. The framework is employed in two specific instantiations to assess compute services in regards of performance and VM image contents. In particular, this work features an instantiation of the framework which assesses compute services using performance measurements. Therefore, a method is presented that incorporates a procedure built upon the framework’s automation model. The method uses the procedure to measure compute services by injecting benchmarking scripts into VMs via remote interfaces from client-side. Aside from the procedure, the method features a definition language for configuring batches of performance measurements with repetitions and scheduled runs. Resulting performance metadata can be captured with an extension of the framework’s meta-data model. For the comparison of performance meta-data gained with the benchmarking method, the framework’s MADM-based method is adapted. The adapted method enables compute cloud consumers to compare compute services according to a score derived from a custom set of performance attributes. In the quest of containing costs from benchmarking various compute services, the framework’s stopping rule is configured to consider information about compute service hardware figures available beforehand. In regards of VM image repositories of compute services, the proposed framework is instantiated to generate a procedure to introspect the contents of VM images from the client-side. An extension of the framework’s meta-data model is able to capture results from VM image introspections. The feasibility of the methods is confirmed by software prototypes presented in this work. The prototypes, furthermore, serve as a basis to conduct an evaluation of the proposed methods and models. Several experiments proof the validity of the approaches. Further examinations in the course of an evaluation address aspects such as the promptitude of the assessment approaches and the computational complexity to combine multiple meta-data attributes into a score. Besides, the methods are compared to the state of the art to expose advantages and shortcomings.
