Warum beobachtet missio die Wirkung seiner Projektarbeit?

Um einen effizienten Mitteleinsatz der missio anvertrauten Spendengelder zu gewährleisten und die Projektpartner bei der Planung und Durchführung von Projekten qualifiziert und qualifizierend zu begleiten, sind Wirkungsbeobachtung und Evaluation integrale Bestandteile der missio-Projektarbeit. Diese Überprüfungen stehen in einem engen Kontext mit der jeweils von den Projektpartnern vorgelegten Projektplanung. Wirkungsbeobachtung und Evaluation werden dabei als Mittel betrachtet, um herauszufinden, ob die im Rahmen der Projektförderung anvisierten Ziele der missio-Projektpartner in den Bereichen Ausbildung, Pastoralarbeit, Akuthilfe oder Aufbau von Infrastruktur erreicht werden konnten. Weder die Evaluation noch die Projektplanung selbst dürfen dabei zum Selbstzweck verkümmern.Letztlich zielt kirchliche Evaluation darauf ab, die Arbeit der Kirche in Afrika, Asien und Ozeanien zu optimieren, damit sie ihren Dienst an den Menschen bestmöglich leisten kann. Aus Kostengründen können nicht alle 700 bis 800 jährlich geförderten missio-Projekte durch externe Dienstleister evaluiert werden. Deshalb sind die missio-Partner angehalten, in ihren schriftlichen Abschlussberichten detaillierte, quantifizierte Auskünfte über die Wirkungen des Projektes zu geben.

Richtlinien zur Wirkungsbeobachtung und Evaluation

Präambel

Als pastorales Hilfswerk ist es die Aufgabe von missio, „die pastoral-soziale Arbeit der Katholischen Kirche in Afrika, Asien und Ozeanien [...] zu unterstützen“. In diesem Dienst weiß sich missio ermutigt und getragen von der Botschaft Jesu, der den Menschen ein „Leben in Fülle“ (Joh 10,10) verheißen hat. In Solidarität und partnerschaftlicher Verbundenheit mit den Ortskirchen in Afrika, Asien und Ozeanien unterstützt missio Projektpartner, die sich dieser Verheißung verpflichtet fühlen, die heilsame, befreiende und erlösende Botschaft Jesu Christi zu verkünden und sich aus dem Glauben an den Auferstandenen heraus den Menschen zuzuwenden, die in Not geraten sind. Damit setzen sie in ihrer Mission die Sendung Jesu Christi fort, der über seine eigene Sendung sagte: Der Herr „hat mich gesandt, damit ich den Armen eine gute Nachricht bringe; damit ich den Gefangenen die Entlassung verkünde und den Blinden das Augenlicht; damit ich die Zerschlagenen in Freiheit setze“ (Lk 4,18). In Wort und Tat – dem Zeugnis des Lebens - wird so das Evangelium Jesu Christi bezeugt, verkündet und gestärkt, denn „Glaube wird stark durch Weitergabe“.

missio fördert die Pastoralprojekte seiner Partner i.d.R. durch eine finanzielle Unterstützung und achtet darauf, dass die zur Verfügung gestellten Projektgelder für Pastoralprogramme bzw. Maßnahmen verwendet werden, die eine angemessene und wirkungsvolle Mittelverwendung sicherstellen. Im Rahmen von Evaluationen begleitet missio seine Projektpartner und fördert sie in ihrer Kompetenz, pastorale Projekte nicht auf Sand zu bauen (Mt 7,24), sondern wirkungsvolle und nachhaltige pastorale Konzepte zu realisieren. Damit setzt missio eine lange kirchliche Tradition fort. Das Bewusstsein für einen sparsamen und effizienten Umgang mit Finanz- und Sachmitteln war bereits in den ersten Jahrhunderten in der Kirche vorhanden.

Um einen effizienten Mitteleinsatz der missio anvertrauten Spendengelder zu gewährleisten und die Projektpartner bei der Planung und Durchführung von Projekten qualifiziert und qualifizierend zu begleiten, sind Wirkungsbeobachtung und Evaluation integrale Bestandteile der missio-Projektarbeit. Die Durchführung von Evaluationen ist bereits im Statut der Päpstlichen Missionswerke festgehalten, in dem selbstverständlich formuliert wird, dass „Projekte überprüft“ werden. Diese Überprüfungen stehen in einem engen Kontext mit der jeweils von den Projektpartnern vorgelegten pastoralen (Projekt-) Planung. Wirkungsbeobachtung und Evaluation werden dabei als Mittel betrachtet um herauszufinden, ob die im Rahmen der Projektförderung avisierten pastoralen Ziele in den Bereichen der Liturgie, Verkündigung, Diakonie und Communio erreicht werden konnten. Weder die Evaluation noch die Projektplanung selbst dürfen dabei zum Selbstzweck verkümmern, letztlich zielt pastorale Evaluation darauf ab, pastorale Konzepte zu optimieren und künftige „pastorale Planung unter das Zeichen der Heiligkeit“ zu stellen.

Auch wenn theologische Kriterien an zentralen Stellen in die Wirkungsbeobachtung und Evaluation einfließen müssen, sind bei der Entwicklung von Methoden der Wirkungsbeobachtung und Evaluation primär Anleihen außerhalb der Theologie zu nehmen. Damit realisiert missio in seiner Projektevaluation ein Spezifikum der Praktischen Theologie, „die mit jedem Thema und damit Wirklichkeitsbereich in das `Exil´ des Anderen der Theologie, vor allem hinsichtlich der Humanwissenschaften, zu gehen hat“ .

1. Funktion und Adressaten der Richtlinien

Die „Richtlinien zu Wirkungsbeobachtung und Evaluation in der Projektförderung“

• skizzieren ein Verständnis von Wirkungsbeobachtung und Evaluation vor dem Hintergrund, dass missio ein kirchliches Hilfswerk ist und pastorale Projekte fördert;
• beinhalten konzeptionelle Überlegungen und formulieren konkrete Maßnahmen;
• stellen dar, warum und wie missio Wirkungen in der Projektförderung beobachtet und Evaluation organisiert;
• benennen, wie die daraus gewonnenen Erkenntnisse zur Steuerung des künftigen Mitteleinsatzes herangezogen werden;
• drücken sich in Begriffen aus, die in der Entwicklungszusammenarbeit üblich sind, und transponieren diese auf Pastorale Arbeit, um der Eigenart der von missio geförderten Projekte gerecht zu werden.

Die Richtlinien zur Wirkbeobachtung und Evaluation wenden sich an alle Mitarbeitenden von missio. Sie formulieren, was der Kommunikation zum Thema „Wirksamkeit der Projektförderung durch missio“ zu Grunde liegt – sei es in der Öffentlichkeit in Deutschland oder mit den Projektpartnern in Afrika, Asien und Ozeanien. Sie stellen die grundlegenden organisatorischen Aspekte dar, wie Wirkungsbeobachtung und Evaluation im Werk verankert sind.

2. Wirkungsbeobachtung und Evaluation als ein Anliegen von missio

Tief greifende Transformationsprozesse religiöser, kultureller, politischer, gesellschaftlicher und wirtschaftlicher Art wirken sich auf die Lebensbedingungen aller Menschen in Afrika, Asien und Ozeanien aus. Das Engagement von missio zugunsten des pastoralen Wirkens der Kirche soll möglichst wirkungsvoll geschehen. Eine kontinuierliche Wirkungsbeobachtung und Evaluation der geförderten Projektarbeit sind eine entscheidende Voraussetzung dafür.

missio strebt danach, dass die unterstützten Maßnahmen bei einem wirtschaftlich verantwortlichen Umgang mit den finanziellen und personellen Ressourcen möglichst große, positive Wirkungen entfalten und negative im besten Fall vermeiden. In diesem Sinne sind Wirkungsbeobachtung und Evaluation seit jeher ein Anliegen von missio. Dementsprechend werden seit langem die Erarbeitung, Umsetzung und Evaluation von Pastoralplänen gefördert. Ebenso wird von den geförderten Partnern ein Abschlussbericht gefordert, der über die Sinnhaftigkeit der aufgewendeten Mittel und die (möglichst positiven) Verläufe von Projekten Auskunft geben sollte. Bei Projekten mit mehrjähriger Laufzeit wird vom Partner mindestens jährlich ein Zwischenbericht vorgelegt.

3. Wirkungsverständnis bei missio

Es wird üblicherweise eine Veränderung als Wirkung bezeichnet, die durch gezielte, in Kausalzusammenhängen stehende Interventionen oder Einwirkungen auf konkrete Lebensverhältnisse hervorgerufen wurde:

• Differenziert wird zwischen unmittelbaren und mittelbaren Wirkungen. Von besonderer Relevanz sind Wirkungen, die nicht ausschließlich im direkten Einflussbereich des Projektes liegen, dabei aber von den Leistungen des Projektes angestoßen werden. Was also vom Projekt selbst hergestellt oder angeboten wird, zählt nicht zu den mittelbaren Wirkungen, sondern erst das, was diese Dinge im Leben der Menschen konkret verändern;
• Wirkungen können sich zeitlich nah oder fern an der Intervention zeigen;
• Wirkungen können vorübergehend bestehen oder nachhaltig sein;
• Wirkungen treten nicht erst nach Abschluss eines Vorhabens auf, sondern auch schon von Anfang an und über die gesamte Laufzeit.

Unter Wirkung wird insbesondere die von den betroffenen Menschen selbst als wichtig wahrgenommene Veränderung in den materiellen und nicht materiellen Lebensbedingungen verstanden, unabhängig davon, ob sie beabsichtigt oder unbeabsichtigt, erwartet oder unerwartet, positiv oder negativ ist. Daher muss, wenn von „Wirkung“ gesprochen wird, ein ursächlicher Zusammenhang zu einer Intervention, einer Einwirkung oder einem konkreten Auslöser aufgezeigt werden können. Das können die praktische Annahme einer Leistung eines Projektpartners sein, zum Beispiel das qualifizierte Wahrnehmen eines (Aus-) Bildungsangebots (sog. „Output“), oder Entwicklungen der Teilnehmenden an einem Projekt, nachdem sie sich neue Inhalte und Fertigkeiten aneignen konnten (sog. „Outcome“), genauso wie Veränderungen im Umfeld der Nutznießer eines Projektes, etwa wenn aufgrund der erworbenen Kenntnisse und Fertigkeiten die Gewalttätigkeit in einem Stadtviertel sinkt (sog. „Impact“).

4. Grundlagen von Wirkungsbeobachtung und Evaluation bei missio

Wirkungsbeobachtung und insbesondere Evaluation als deren Werkzeug sind von Wertungen geprägt. In diesen Wertungen spiegeln sich Auftrag und Wesen, aber auch nichtreflexive Einstellungen der beteiligten Akteure. Wertungen sind der Filter, durch den Wirkungen überhaupt erst wahrgenommen und beurteilt werden: Als positiv oder negativ, wichtig oder weniger wichtig. Sie sind die Grundlage dafür, ob Methoden von Wirkungsbeobachtung und Evaluation als gültig und/ oder ethisch zulässig, ob Schlüsse als plausibel oder Managementhandeln als angemessen gelten. Im Falle von missio prägt die spezifische Ausrichtung als pastorales Hilfswerk das Wertesystem und die Zielsetzung, pastorale Hilfe für die Ortskirchen in Afrika, Asien und Ozeanien und damit einen eigenständigen und wesentlichen Beitrag zur weltkirchlichen Zusammenarbeit zu leisten.

Aus diesem Auftrag leiten sich Schwerpunkte beim Umgang mit und bei der Art von Wirkungsbeobachtung und Evaluation ab. Wesen und Auftrag von missio sind durch folgende Grundaxiome bestimmt:

4.1. Projektpartner und Zielgruppen sind Eigner der missio-Projekte (Grundaxiom 1)

Für missio gilt bezüglich der Projektförderung das Antragsprinzip. Das heißt, dass davon ausgegangen wird, dass die Projektpartner in Zusammenarbeit mit ihren Zielgruppen am besten wissen, was für ein Projekt in welcher Situation notwendig ist. Analog gilt ebenso: Projektpartner und Zielgruppen sind die Ersten, die zu spüren bekommen, welche Wirkungen Projekte entfalten. Kontinuierliche Wirkungsbeobachtung geschieht also primär seitens der Projektpartner und sekundär durch missio selbst.

Wirkungsbeobachtung und Evaluation stärken Projektpartner und Zielgruppen in ihrer Rolle als Eigner von Prozessen, denen die geförderten Projekte dienen. In dieser Haltung bringt sich missio mit Erfahrungen aus mehr als 180 Jahren Projektarbeit als kompetenter, starker und verlässlicher Partner in die Projektprozesse ein und pflegt einen Partnerdialog über langfristige Ziele und Kriterien der Zusammenarbeit.

Wirkungsbeobachtung und Evaluation dienen dem ehrlichen Dialog zwischen den Projektpartnern und missio, der Konflikten nicht aus dem Wege geht.

4.2. missio weiß sich der Zweckbestimmung der Spender verpflichtet (Grundaxiom 2)

missio setzt Spendengelder gemäß der Zweckbestimmung der Spender ein. In diesem Zusammenhang dienen Wirkungsbeobachtung und Evaluation der ehrlichen Rechenschaft » über den effizienten Mitteleinsatz.

4.3. missio prüft und begleitet Projekte professionell (Grundaxiom 3)

Die Professionalität der Arbeit von missio zeigt sich in fachlicher Hinsicht ebenso wie im Dialog mit den Partnern. Sie wird gepflegt durch die Fach- und Landeskenntnis der Mitarbeitenden, deren Fähigkeit zum interkulturellen und zielführenden Dialog mit den Ortskirchen und Partnern in Afrika, Asien und Ozeanien sowie in der sachgemäßen Organisation der Arbeitsabläufe.

Wirkungsbeobachtung und Evaluation stehen im Dienst der kontinuierlichen Professionalisierung der Mitarbeitenden in der Geschäftsstelle und der Weiterentwicklung der Werkzeuge der Projektbeurteilung und -begleitung. Ebenso werden Kompetenzen zu Wirkungsbeobachtung und Evaluation in der Geschäftsstelle verankert und ihre Qualität vertieft. Wirkungsbeobachtung und Evaluation bedienen sich angemessener und nachvollziehbarer Methoden und sind selbst Teil kontinuierlicher Professionalisierung.

5. Formen von Wirkungsbeobachtung und Evaluation bei missio

Als Folge der Grundaxiome und in Übereinstimmung mit dem Auftrag von missio werden Wirkungsbeobachtung und Evaluation in folgender Weise in der Projektarbeit verortet:

• In der laufenden Bearbeitung sämtlicher Projektarten werden in den eingereichten Projekten erwünschte wie erwartete (positive oder negative) Wirkungen im Projektantrag benannt und tatsächliche Wirkungen – sofern sie bereits benennbar sind – in den Projektberichten beschrieben. Die Projektpartner orientieren sich dabei an von missio zur Verfügung gestellten Richtlinien zur finanziellen Förderung, Formularen und Fragerastern. Angestrebt wird, dass bereits bei der Projektbeantragung Projektziele, die einen positiven, anzustrebenden Zustand in der Zukunft benennen, festgelegt werden. Für die Ziele müssen dabei Indikatoren festgelegt werden. Anhand dieser Variablen qualitativer und quantitativer Natur muss es später möglich sein, Veränderungen, Fortschritte und den Grad der Zielerreichung zu messen. Damit dies möglich ist, muss jeder Indikator mit einem Basis- und Zielwert sowie einem Zeitrahmen versehen werden. Bei der Formulierung von qualifizierten Indikatoren muss berücksichtigt werden, dass diese spezifisch, präzise, relevant, realistisch, zu angemessenen Kosten messbar und zeitlich eingegrenzt sind.
• Projektpartner werden bei Beratungen und Maßnahmen gefördert, die die eigene Fähigkeit, Wirkungsbeobachtung für Planung und Projektsteuerung qualifiziert einzusetzen, stärken. Die Mittel dazu werden über die Projektkategorie „Pastoralprogramme“ entsprechend zur Verfügung gestellt.
• Projektpartner werden motiviert und finanziell unterstützt, Evaluationen mit qualifizierten externen Gutachtern in Auftrag zu geben und konstruktiv durchzuführen.
• Durch Projektbesuche der Länderverantwortlichen vor Ort werden Wirkungen laufender oder bereits durchgeführter Projekte punktuell beobachtet und in der Geschäftsstelle im kollegialen Fachgespräch kritisch reflektiert.
• Bei der positiven oder negativen Begutachtung von Folgeanträgen oder von Neuanträgen durch Organisationen, die zu einem früheren Zeitpunkt schon einmal unterstützt wurden, spielen die Wirkungen der Vorprojekte eine entscheidende Rolle.
• missio gibt selbst Evaluationen durch unabhängige Gutachter in Auftrag, die Projektarten im Querschnitt, das Wirken einzelner Trägerorganisationen oder große Einzelprojekte zum Gegenstand haben können.

Die so gewonnenen Erkenntnisse aus Wirkungsbeobachtung und Evaluation werden für den Partnerdialog, für die Begleitung laufender Projekte und als Grundlage für künftige Projektentscheidungen genutzt. Evaluation ist eine Form der Wirkungsbeobachtung. In den Projekten, die missio unterstützt, misst Wirkungsbeobachtung auch den unerwarteten und unerwünschten Wirkungen eine hohe Bedeutung bei, ebenso der Frage nach der Nachhaltigkeit. Dementsprechend ist der Zeithorizont zur Einschätzung der Nachhaltigkeit von Projektinterventionen bewusst weit gesteckt.

6. Zur Organisation von Evaluationsprozessen bei missio

Ein Werkzeug im Kontext der Wirkungsbeobachtung zur Steuerung der Projektarbeit ist die systematische Durchführung von Evaluationen. Damit können Wirkungen des Handelns von missio und der mit missio in Beziehung stehenden Organisationen und Personen qualifiziert beobachtet und eingeschätzt werden.

Unter Evaluation werden analytische, systematische, verlässliche, themenorientierte und nutzergesteuerte Auswertungen von vorgesehenen, laufenden oder abgeschlossenen Vorhaben, von Instrumenten oder Strategien verstanden. Die Auswertungen untersuchen deren Konzeption, Umsetzung und Wirkungen, bewerten sie im Hinblick auf Relevanz, Effektivität, Wirkung, Nachhaltigkeit und Effizienz und geben konkrete Empfehlungen.

Dabei sind folgende Fragen leitend:

• Tun wir das Richtige? (Relevanz)
• Erreichen wir die angestrebten Ziele des Projektes? (Effektivität)
• Welche Wirkungen entfalten die geförderten Projekte und wird ein Beitrag zur Erreichung der in den für missio geltenden Richtlinie zur finanziellen Förderung formulierten Ziele geleistet? (Wirksamkeit)
• Sind die positiven Wirkungen von Dauer? (Nachhaltigkeit)
• Werden die Ziele mit angemessenem Ressourceneinsatz erreicht? (Effizienz)

Für Planung und Durchführung von Evaluationen sind Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit leitend.

6.1. Ziele der von missio in Auftrag gegebenen Evaluationen

missio möchte aus Evaluationen für die Praxis der eigenen Projektarbeit kontinuierlich lernen. Darüber hinaus stellen Evaluationen zunächst Lern- und Entwicklungsangebote für betroffene und beteiligte Akteure in Afrika, Asien und Ozeanien dar. Evaluationen werden auch in Auftrag gegeben, um den Spendern sowie anderen Unterstützern über Wirkungen der Arbeit von missio und seinen Partnern objektiv Auskunft geben zu können. Somit lassen sich drei Ziele für die Evaluationsarbeit formulieren:

• Evaluationen stärken Partnerorganisationen und unterstützen ihr Engagement zugunsten armer und benachteiligter Bevölkerungsgruppen (Empowerment).
• Evaluationen geben missio für die Steuerung des künftigen Mitteleinsatzes entscheidende Orientierung (Lernen und Steuern).
• Evaluationen informieren die Unterstützerkreise sowie die Öffentlichkeit in Deutschland über die Wirkung der von missio unterstützen Projektarbeit (Rechenschaft).

6.2. Akteure von Evaluation im Kontext der missio-Projektarbeit

missio motiviert und unterstützt seine Projektpartner finanziell, qualifizierte Evaluationen selbst in Auftrag zu geben. missio selbst gibt davon unabhängig jährlich mindestens zwei Evaluationsvorhaben in Auftrag. Der Referenzrahmen wird in der Regel unter Federführung der Auslandsabteilung in Zusammenarbeit mit anderen Abteilungen von missio erarbeitet. Der Vorstand gibt daraufhin die Evaluation bei einem externen Gutachter(team) in Auftrag.

6.3. Institutionelle Verankerung von Evaluation bei missio

Evaluationsvorhaben werden vom Vorstand in der Regel auf Vorschlag in der Auslandsabteilung identifiziert und definiert. Evaluationsaufträge vergibt der Vorstand. Die konkrete Umsetzung einer Evaluation obliegt dem Leiter der Projektabteilung in Zusammenarbeit mit den entsprechenden Länderverantwortlichen.

Einmal jährlich werten die Leiter der verschiedenen Abteilungen des Hauses missio die Ergebnisse durchgeführter Evaluationen aus. Ort dieser Auswertung ist eine Leitungskonferenz. Die hier erarbeiteten Vorschläge werden vom Vorstand geprüft, Konsequenzen aus den Evaluationen werden vom Vorstand beschlossen. Die Leitungskonferenz sorgt für die Umsetzungen dieser Beschlüsse.

Für Projektpartner relevante Ergebnisse von Evaluationen sind Teil des Partnerdialogs. Der entsprechende Länderverantwortliche ist für den Dialog mit den Projektpartnern zuständig.

6.4. Formen von Evaluationsvorhaben

missio evaluiert einzelne Projekte und Programme sowie das Wirken von Partnerorganisationen oder ganzer Projektarten. Evaluationen orientieren sich an Zielen und erwarteten Wirkungen, die die Projektpartner selbst formuliert haben. Evaluationen können vor und während einer Zusammenarbeit, zum Abschluss oder auch nach Abschluss von Projektförderungen durchgeführt werden. In den Blick kommen dabei auch die Grundsätze der Projektförderung sowie die Werkzeuge, die missio für die Projektarbeit verwendet; dazu gehören Antrags- und Berichtsformulare, Foren des Partnerdialogs und Verfahren der Projektadministration.

6.5. Evaluationsdesign und -methoden

Das Evaluationsziel orientiert Evaluationsdesign und -methoden. Dabei wird darauf geachtet, dass quantitative und qualitative Methoden zum Einsatz kommen und dass durch das Kreuzen von Akteuren, Methoden, Inhalten und Schlussfolgerungen valide Ergebnisse vorgelegt werden können.

6.6. Dokumentation von Evaluationsprozessen

Die beauftragten Evaluatoren bzw. die Evaluationsteams erstellen schriftliche Berichte in Englisch, Französisch oder Portugiesisch, die allen Betroffenen und Beteiligten zur Verfügung gestellt werden. Die Ergebnisse der Evaluationen und die Umsetzung der bei missio daraus abgeleiteten Erkenntnisse werden schriftlich dokumentiert und regelmäßig in zusammengefasster Form im Jahresbericht veröffentlicht.

6.7. Weiterentwicklung der Evaluationspraxis bei missio

Die Evaluationspraxis, wie auch die Praxis der Wirkungsbeobachtung selbst, ist Gegenstand der Reflexion und des Partnerdialogs. Ein Blick auf jeden abgeschlossenen Evaluationsprozess gemeinsam mit den Betroffenen und Beteiligten ist Teil dieses Prozesses. Erkenntnisse aus der Evaluationsforschung unterstützen die Weiterentwicklung der Praxis von Wirkungsbeobachtung und Evaluation bei missio.

Aachen, den 25. November 2013