Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen

Language
de
Document Type
Doctoral Thesis
Issue Date
2012-05-18
Issue Year
2011
Authors
Buichl, Melanie
Editor
Publisher
Aachen
ISBN
978-3-8440-0941-5
Abstract

In many educational institutions the implementation and application of systems of quality management have come to be seen as almost a matter of course. There is, however, the question if on the basis of continuous quality work the quality at schools could be improved. The related academic analyses of the criteria of success and effectiveness as well as procedures for analyzing the effectiveness of quality management, in particular of external evaluation in the school sector are still in the early stages. Thus a model was developed for the analysis of external evaluations, which focuses on the effectiveness of external evaluations and considers the following levels: the satisfaction with the external evaluation, the school innovations as a consequence of the external evaluation, the change of the output of the institution following the external evaluation, the results of the change of the institution as a consequence of the external evaluation, the return on investment of the external evaluation. The effectiveness analysis at hand refers to a pilot study involving the implementation of the European Review at vocational schools in Austria. On the basis of the effectiveness model two quantitative data collections took place at all the schools in order to use the results to examine a selection of the participating educational institutions more closely using qualitative processes. Founded on this research the individual stages of the effectiveness model were assessed and recommendations for the further development of Peer Review deduced. By means of the results acquired a criteria-orientated confrontation of the external evaluations were carried out in order to compare the different conceptions both with the object of research at hand and according to the aspects of efficiency developed in the study, so that further proposals for implementation can be provided.

Abstract

Die Implementierung und Anwendung von Qualitätsmanagementsystemen entwickelt sich in vielen schulischen Einrichtungen fast zu einer Selbstverständlichkeit. Allerdings stellt sich hierbei die Frage, ob sich die Qualität der Schulen auf der Basis kontinuierlicher Qualitätsarbeit verbessern konnte. Die damit verbundenen wissenschaftlichen Analysen der Erfolgs- bzw. Wirkungskriterien sowie Verfahren zur Analyse der Wirksamkeit von Qualitätsmanagement, insbesondere von externen Evaluationen im Schulbereich befinden noch in den Anfängen. Zur Analyse von externen Evaluationen wurde daher ein Modell entwickelt, das sich auf die Wirksamkeit externer Evaluation bezieht und folgende Ebenen vorsieht: die Zufriedenheit mit der externen Evaluation, die schulischen Innovationen als Folge der externen Evaluation, die Änderung des Output der Institution in Folge der externen Evaluation, die Resultate der Änderung des Outcome der Institution in Folge der externen Evaluation, der Return on Investment der externen Evaluation. Die vorliegende Analyse der Wirksamkeit bezieht sich auf den Pilotversuch zur Adaptierung des Europäischen Peer Review Verfahrens auf berufsbildende Schulen in Österreich. Auf der Basis des Wirksamkeitsmodells wurden zunächst in allen Schulen zwei quantitative Datenerhebungen durchgeführt, um anhand deren Ergebnisse einen Ausschnitt der beteiligten Bildungseinrichtungen im qualitativen Prozess näher zu untersuchen. Auf dieser Grundlage erfolgte eine Bewertung der einzelnen Stufen des Wirksamkeitsmodells und eine Ableitung von Empfehlungen für das Peer Review Verfahren. Anhand der abgeleiteten Ergebnisse erfolgte eine kriterienorientierte Gegenüberstellung von externen Evaluationen, um die unterschiedlichen Konzeptionen mit dem vorliegenden Untersuchungsgegenstand bzw. anhand der entwickelten Wirksamkeitsaspekte zu vergleichen und anschließend weitere Gestaltungsvorschläge ableiten zu können.

Series
Texte zur Wirtschaftspädagogik und Personalentwicklung
Series Nr.
8
Document's Licence
Zugehörige ORCIDs