Evaluierungsberichte 2020

Strategische Mid-Term Evaluierung der OEZA Landestrategie Albanien 2015-2020 (verlängert bis 2021)

Albanien ist seit 1992 eines der Schwerpunktländer der Österreichischen Entwicklungszusammenarbeit. Die Umsetzung der jetzigen Landesstrategie der OEZA 2015-2020 (verlängert bis 2021) ist in vollem Gange.  2019 gab die Austrian Development Agency (ADA) eine unabhängige strategische Mid-Term Evaluierung dieser Strategie und ihrer Umsetzung in Auftrag.

Der Hauptzweck der Evaluierung war es, aus der bisherigen Umsetzung zu lernen, um Evidenz für zukünftige strategische und programmatische Entscheidungen zu liefern.

Die Evaluierung hat sich die Relevanz, Kohärenz, Effizienz, Effektivität und Wirksamkeit sowie die Aussichten für Nachhaltigkeit des OEZA Engagements in Albanien angeschaut. Zentral war hierbei auch die Herausarbeitung des Mehrwerts des OEZA Engagements im Partnerland.

Diese strategische Evaluierung fand zwischen Juni 2019 und August 2020 statt und wurde von einem externen unabhängigen Evaluierungsteam durchgeführt.

Die Ergebnisse, Schlussfolgerungen und Empfehlungen sind im abschließenden Evaluierungsbericht nachzulesen (Hauptbericht, Vol I.), zusätzliche Details im Annex (Vol II) .

- Evaluation Brief
Main Report
- Annex
- Zusammenfassung

Strategische Evaluierung des OEZA-Engagements in Mosambik (1992-2018)

Die Österreichische Entwicklungszusammenarbeit (OEZA) wurde bereits kurz nach der Unabhängigkeit Mosambiks im Jahr 1975 in dem Land tätig. 1992 ernannte Österreich Mosambik als eines der Schwerpunktländer der Österreichischen Entwicklungszusammenarbeit.

2019 gab die Austrian Development Agency (ADA) eine unabhängige strategische Evaluierung der Tätigkeit der OEZA in Mosambik für den Zeitraum 1992-2018 in Auftrag. Sie zielte auf Folgendes ab:

- die Erhebung der kontinuierlichen Relevanz des OEZA-Engagements in Mosambik
- die Beurteilung der bisherigen und aktuellen Wirksamkeit (in Bezug auf Ergebniserreichung und auf das Management) des OEZA-Engagements in Mosambik
- die Erhebung des Mehrwerts der OEZA im Land in der Vergangenheit und der Gegenwart
- die Herausarbeitung von Optionen für das künftige Engagement der OEZA in Mosambik.

Die Evaluierungsergebnisse sollten darüber hinaus auch einen evidenzbasierten Beitrag für die Entscheidungsfindung in Bezug auf das zukünftige Engagement der OEZA in Mosambik darstellen.

Diese strategische Evaluierung fand zwischen August 2019 und Juni 2020 statt und wurde von einem externen unabhängigen Evaluierungsteam durchgeführt.

Die Ergebnisse, Schlussfolgerungen und Empfehlungen sowie die herausgearbeiteten Optionen für ein zukünftiges Engagement in Mosambik finden sind im abschließenden Evaluierungsbericht nachzulesen.

Evaluation Brief
Main Report
Zusammenfassung

     

Strategische Evaluierung des OEZA-Engagements im Bereich Good Governance (2007-2017)

Good Governance, also gute Regierungsführung, ist seit jeher ein Schwerpunktthema der Österreichischen Entwicklungszusammenarbeit (OEZA). Nachdem die OEZA 2006 Leitlinien zu ihrem Engagement in dem Bereich herausgegeben hatte, veröffentlichte die Austrian Development Agency (ADA) 2011 ein entsprechendes Handbuch.

Bei dem vorliegenden Bericht handelt es sich um die erste strategische Evaluierung des Engagements der OEZA in dem Bereich. Sie bewertet Aktivitäten zwischen 2007 und 2017 und wurde in Auftrag gegeben, um Entscheidungsträgerinnen und -trägern Informationen zum zukünftigen strategischen wie operativen Engagement der OEZA bereitzustellen.

Der Schwerpunkt der Evaluierung liegt auf gewonnenen Erkenntnissen und Fortschritten. Außerdem hat sie vier Hauptziele:

1. ein gemeinsames Verständnis von guter Regierungsführung fördern,
2. eine Theorie des Wandels ("Theory of Change") für das operative Engagement der OEZA entwickeln,
3. Relevanz, Wirkung, Effizienz sowie Kohärenz, Komplementarität und Koordination der OEZA-Aktivitäten in dem Bereich bewerten
4. und aus dem bisherigen Engagement Lehren und bewährte Praktiken ableiten.

Ein externes, unabhängiges Evaluierungsteam führte die Evaluierung, die auch zwei Fallstudien beinhaltet, zwischen Februar 2019 und März 2020 durch.

Eine Zusammenfassung sowie Erkenntnisse, Schlussfolgerungen und Empfehlungen sind im Hauptbericht (Vol. I) nachzulesen. Der Annex (Vol. II) enthält darüber hinaus detaillierte Informationen zu Theorie des Wandels, Länderstudien sowie angewandter Methodologie.

Evaluation Brief
Zusammenfassung
Main Report
Annex
- Stellungnahme von BMEIA und ADA

Evaluierungsberichte 2019

Meta-Evaluation of ADA Project and Programme Evaluations

Im Bestreben, Armut zu mindern, Frieden zu sichern und die Umwelt zu schützen, finanziert die Austrian Development Agency (ADA) jährlich hunderte Einzelprojekten und Programme, die von Partnerorganisationen in den Schwerpunktregionen und -ländern der Österreichischen Entwicklungszusammenarbeit durchgeführt werden. Diese Projekte und Programme werden regelmäßig evaluiert. Um die Qualität und den Nutzen dieser Evaluierungen systematisch zu bewerten, gab die ADA 2018 eine erste Meta-Evaluierung ihrer Projekt- und Programmevaluierungen in Auftrag. Die Evaluierung wurde von einem unabhängigen Evaluierungsteam zwischen Oktober 2018 und Mai 2019 durchgeführt.  Sie begutachtete 50 Projekt- und Programmevaluierungen, die zwischen 2016 und Mitte 2018 abgeschlossen wurden. Auf Basis eines umfassenden Qualitätsbewertungsprotokolls begutachtete das Evaluierungsteam die Leistungsbeschreibungen und Berichte der ADA-Evaluierungen entlang 4 analytischer Dimensionen:

1. Genauigkeit und Angemessenheit
2. Durchführbarkeit und Evaluierungsprozess
3. Fairness
4. Nützlichkeit und Nutzen.

Außerdem wurden ADA-Mitarbeiterinnen und Mitarbeiter bzw. Partnerorganisationen bei Gruppengesprächen und via online-Umfragen konsultiert. Erwartungsgemäß wird die Meta-Evaluierung dazu beitragen, Projekt- und Programmevaluierungen nützlicher und wirksamer zu machen – und dadurch die Leistung der ADA zu steigern. ADA-Geschäftsführer Martin Ledolter nahm die dazu entwickelte Management Response, dieaus einer formellen Stellungnahme der ADA-Geschäftsführung und einem Maßnahmenkatalog besteht, im November 2019 an. Die Zusammenfassung des Berichts, die die Haupterkenntnisse und die Empfehlungen der Evaluierung enthält, sowie die Stellungnahme der ADA-Geschäftsführung sind hier zugänglich:

Zusammenfassung des Evaluierungsberichts
Stellungnahme der ADA


Evaluierung von "Environmental and Social Impact Management" (ESIM) in der ADA

Die Österreichische Entwicklungszusammenarbeit (OEZA) unterstützt die Umsetzung von Umwelt-, Gender- und Sozialstandards und verlangt, dass diese bereits von Beginn an in der Planung von Projekten und Programmen verankert werden. Aus diesem Grund führte die Austrian Development Agency (ADA) 2015 das "Environmental and Social Impact Management"-System (ESIM) ein. 2018 wurde ESIM um eine Gender-Komponente erweitert und heißt seitdem "Environmental, Gender and Social Impact Management" (EGSIM). EGSIM beschreibt übergeordnete Strategien und Standards im Projektmanagement. Und es stellt das übergeordnete System und die Prozesse zur Umsetzung von Projekten und Programmen der Österreichischen Entwicklungszusammenarbeit dar.

Ein unabhängiger Experte und eine unabhängige Expertin führten diese formative und strategische Evaluierung von Oktober 2018 bis April 2019 durch. Ihre Erkenntnisse sollten zu einer verbesserten Umsetzung des aktuellen EGSIM-Systems beitragen. Die Ergebnisse, Schlussfolgerungen und Empfehlungen sind dem Evaluierungsbericht und den Annexen zu entnehmen:

Evaluation Brief
Main Report
Annexes
Stellungnahme der ADA

Evaluierungsberichte 2018

Mid-Term Review der Landesstrategien für Armenien und Georgien 2012-2020

Österreich ist seit 1988 im Südkaukasus aktiv. 2011 erarbeitete die Österreichische Entwick­lungszusammenarbeit zwei Länderstrategien für Armenien und Georgien für den Zeitraum 2012-2020. Zuvor wurde auf Basis einer Regionalstrategie gearbeitet. Die Kooperation mit dem Schwerpunktland Georgien konzentriert sich auf die zwei Sektoren Landwirtschaft und Forstwirtschaft. In Armenien unterstützt die ADA insbesondere Initiativen für nachhaltige Landwirtschaft. Die Landesstrategien beider Länder beinhalten Regierungsführung (Governance) als Querschnittsthema.

2017, während der zweiten Laufzeithälfte, beauftragte die ADA eine unabhängige Überprüfung beider Länderstrategien. So sollte eine Bewertung der bisher erreichten Ziele vorgenommen werden. Der Zweck der Mid-Term Review (MTR) war, zeitnahes Feedback für die weitere Umsetzung beider Strategien bereitzustellen. Allfällige nötige Anpassungen können so im verbleibenden Umsetzungszeitraum vorgenommen werden. Ebenso stellt die Mid-Term Review eine evidenzbasierte Entscheidungsgrundlage für die Gestaltung des mittel- bis längerfristigen Engagements der Österreichischen Entwicklungszusammenarbeit in Georgien und Armenien sowie in der Region über 2020 hinaus dar. Außerdem untersucht die MTR das Potenzial einer gesamtstaatlichen Ausrichtung aller öffentlichen Entwicklungshilfeleistungen (official development assistance, ODA) Österreichs. Ein solcher gesamtstaatlicher Ansatz wurde bei der Entwicklung beider Strategien nicht berücksichtigt. Der Evaluierungsbericht informiert über die Feststellungen, Schlussfolgerungen und Empfehlungen sowie über die übergeordneten Erkenntnisse aus der österreichischen Kooperation mit beiden Ländern:

Evaluation Brief
Final Report
Zusammenfassung


Mid-Term Review der Landesstrategie für Kosovo 2013-2020

Österreich ist ein langjähriger Partner Kosovos. Seit 1999 ist Kosovo ein Schwerpunktland der Österreichischen Entwicklungszusammenarbeit. Die aktuell gültige Kosovo Landesstrategie 2013-2020 konzentriert sich auf die zwei Schwerpunktsektoren wirtschaftliche Entwicklung insbesondere in ländlichen Gebieten sowie Bildung mit einem Fokus auf Hochschulbildung. Die Querschnittsthemen Regierungsführung (Governance), Geschlechtergleichstellung und Umweltschutz werden bei allen Maßnahmen berücksichtigt. Nach fünf Jahren ihrer Gültigkeit gab die ADA 2017 erstmals eine Mid-Term Review der Landesstrategie in Auftrag. Ziel war einerseits, eine systematische Bewertung der erreichten Ziele durchzuführen sowie die Relevanz, Effektivität und Effizienz, die Wirkung und Aussicht auf Nachhaltigkeit dieser Strategie zu prüfen. Andererseits sollte die MTR Feedback und Erkenntnisse für eine weitere Verbesserung der Strategie und ihre weitere Umsetzung im Zeitraum 2018-2020 ableiten. Auch Raum für erste Empfehlungen in Hinsicht auf Österreichs Engagement in Kosovo nach 2020 sollte so geschaffen werden. Die Feststellungen, Schlussfolgerungen und Empfehlungen der MTR finden sich im Evaluierungsbericht und den Annexen sowie der folgenden Kurzfassung:

Evaluation Brief
Kurzfassung
Final Report (Volume 1)
Annexes (Volume 2)