Claus Buchholz

• Die vorliegende Arbeit beschäftigt sich mit einer klassischen aber noch immer zentralen und aktuellen Frage der Evaluationsforschung, der Hinterfragung der Verwendung bzw. Wirksamkeit von Evaluationsverfahren. Vor dem Hintergrund der seit Ende der 1990er Jahre vor allem in Europa starken Zunahme von institutionalisierten Politik-Evaluationsverfahren sowie der zugleich zunehmenden Kritik dieser Verfahren in Wissenschaft und Praxis, untersucht die Arbeit diese Wirksamkeit am Fallbeispiel der Forschungspolitik der Europäischen Union. Aufbauend auf einer Aufarbeitung des Forschungsstandes zur Evaluationsverwendungsforschung und einer Vorstellung des gewählten Politikfeldes sowie der spezifischen Evaluationspraxis, erfolgt dazu eine systematische Gegenüberstellung der zentralen Evaluationsempfehlungen und der Entwicklung im Politikfeld über die vergangenen 15 Jahre. Im Ergebnis kommt die Arbeit zu der Feststellung eines (überraschend) hohen Ausmaßes an Entsprechung der Evaluationsempfehlungen mit der Politikentwicklung im untersuchtenDie vorliegende Arbeit beschäftigt sich mit einer klassischen aber noch immer zentralen und aktuellen Frage der Evaluationsforschung, der Hinterfragung der Verwendung bzw. Wirksamkeit von Evaluationsverfahren. Vor dem Hintergrund der seit Ende der 1990er Jahre vor allem in Europa starken Zunahme von institutionalisierten Politik-Evaluationsverfahren sowie der zugleich zunehmenden Kritik dieser Verfahren in Wissenschaft und Praxis, untersucht die Arbeit diese Wirksamkeit am Fallbeispiel der Forschungspolitik der Europäischen Union. Aufbauend auf einer Aufarbeitung des Forschungsstandes zur Evaluationsverwendungsforschung und einer Vorstellung des gewählten Politikfeldes sowie der spezifischen Evaluationspraxis, erfolgt dazu eine systematische Gegenüberstellung der zentralen Evaluationsempfehlungen und der Entwicklung im Politikfeld über die vergangenen 15 Jahre. Im Ergebnis kommt die Arbeit zu der Feststellung eines (überraschend) hohen Ausmaßes an Entsprechung der Evaluationsempfehlungen mit der Politikentwicklung im untersuchten Fallbeispiel. Auf der Basis der Untersuchung des Fallbeispiels aber auch unter Heranziehung weiterer empirischer Beiträge in der Literatur ist damit der Behauptung der fehlenden Wirksamkeit der institutionalisierten Evaluation auf die Politikgestaltung klar zu widersprechen. Eine weitergehende Diskussion des Ergebnisses der Fallstudie legt darüber hinaus nahe, dass einige spezifische Faktoren und Bedingungen die Wirksamkeit der Evaluationsverfahren im untersuchten Fallbeispiel positiv zu beeinflussen scheinen. Im Einzelnen sind dies: der Charakter und die Ausprägung der Evaluationsempfehlungen, das spezifische institutionelle Umfeld der Evaluation sowie das spezifische 'politische Klima'. Aus dem Ergebnis lässt sich andererseits aber auch folgern, dass insbesondere im Hinblick auf die Akzeptanzproblematik eine Verstärkung der Bemühungen zur Wahrnehmung der Evaluations-wirksamkeit auf Seiten aller Beteiligten geboten scheint. Die Arbeit stellt hierzu abschließend einige Vorschläge und Ideen zusammen, die diese Wahrnehmung verbessern können.…
• The present paper discusses a classic but still essential and prevailing problem in evaluation research, the analysis of the utilization and effects of evaluation results. Given the notable increase of institutionally conducted policy-evaluations as of the late 1990's in especially in Europe accompanied by an equally notable increase of criticism from both academics and practitioners towards the utilization of evaluation, the paper examines the actual utilization of evaluation based on the example of the European Union research policy. Following an extensive literature review on evaluation utilization research and a presentation of the selected policy field including the specific evaluation context and arrangements, the paper conducts a detailed and systematic comparison of the key evaluation recommendations and the successive development in the policy field during the past 15 years. The comparison and subsequently the paper demonstrate a (surprisingly) high degree of correlation between the evaluation recommendations and the policyThe present paper discusses a classic but still essential and prevailing problem in evaluation research, the analysis of the utilization and effects of evaluation results. Given the notable increase of institutionally conducted policy-evaluations as of the late 1990's in especially in Europe accompanied by an equally notable increase of criticism from both academics and practitioners towards the utilization of evaluation, the paper examines the actual utilization of evaluation based on the example of the European Union research policy. Following an extensive literature review on evaluation utilization research and a presentation of the selected policy field including the specific evaluation context and arrangements, the paper conducts a detailed and systematic comparison of the key evaluation recommendations and the successive development in the policy field during the past 15 years. The comparison and subsequently the paper demonstrate a (surprisingly) high degree of correlation between the evaluation recommendations and the policy development in the chosen example. Based on these results together with further empirical evidence identified in evaluation research literature, the criticism towards the general non-utilization of evaluation results is clearly to be opposed. In addition, a further discussion and analysis of the results of the case study suggests that certain factors and conditions have contributed positively to the evaluation utilization in the chosen example. In particular these are: the characteristics of the evaluation recommendations, the specific institutional context of the evaluation and the specific 'political climate' in research policy. Finally, based on the result of the study, the paper also invites to reflect on the appropriateness and further development of means to enhance the visibility and recognition of the (actual) evaluation utilization by all parties concerned. In its final section the paper therefore proposes a number of means qualified to contribute to this recognition.…