Um einen effizienten Mitteleinsatz der missio anvertrauten Spendengelder zu gewährleisten und die Projektpartner bei der Planung und Durchführung von Projekten qualifiziert und qualifizierend zu begleiten, sind Wirkungsbeobachtung und Evaluation integrale Bestandteile der missio-Projektarbeit. Diese Überprüfungen stehen in einem engen Kontext mit der jeweils von den Projektpartnern vorgelegten Projektplanung. Wirkungsbeobachtung und Evaluation werden dabei als Mittel betrachtet, um herauszufinden, ob die im Rahmen der Projektförderung anvisierten Ziele der missio-Projektpartner in den Bereichen Ausbildung, Pastoralarbeit, Akuthilfe oder Aufbau von Infrastruktur erreicht werden konnten. Weder die Evaluation noch die Projektplanung selbst dürfen dabei zum Selbstzweck verkümmern.Letztlich zielt kirchliche Evaluation darauf ab, die Arbeit der Kirche in Afrika, Asien und Ozeanien zu optimieren, damit sie ihren Dienst an den Menschen bestmöglich leisten kann. Aus Kostengründen können nicht alle 700 bis 800 jährlich geförderten missio-Projekte durch externe Dienstleister evaluiert werden. Deshalb sind die missio-Partner angehalten, in ihren schriftlichen Abschlussberichten detaillierte, quantifizierte Auskünfte über die Wirkungen des Projektes zu geben.
Hier können Sie ein Beispiel für Evaluationsberichte von missio aus dem Jahr 2020 lesen.
In Afrika leiden in vielen Regionen Menschen unter Armut, Gewalt, Flucht, prekären Familienverhältnissen oder Unsicherheit. Das traumatisiert sie. Sie brauchen psychologische Begleitung. Diese Therapie bieten Mitarbeiterinnen und Mitarbeiter der katholischen Kirche in Afrika an. Als Helferinnen und Helfer benötigen sie allerdings auch selbst Begleitung, um ihre Erfahrungen verarbeiten zu können. So droht Ordensleuten, Priestern und anderen kirchlich Engagierten in Afrika Erschöpfung angesichts der Fülle und Schwere der Aufgaben, die sie erfüllen. Es gibt einen hohen Bedarf an psychologischer und spiritueller Begleitung.
In den vergangenen Jahren hat missio Aachen die Kirche in Afrika dabei unterstützt, Strukturen und Programme für dieses – wie es im Englischen heißt – „psycho-spiritual counselling“ (zu Deutsch: psychologisch-spirituelle Beratung) aufzubauen. Wert wird auf die Verbindung der Erkenntnisse aus westlichen Psychotherapieansätzen und afrikanischen Heilungsansätzen gelegt.
Im Oktober 2019 hat missio Aachen mit den katholischen Einrichtungen des Psycho-Spiritual Institute PSI (Abuja/Nigeria), des Embulbul Education and Counselling Centre (Ngong, Kenia), der Catholic University of Eastern Africa (Nairobi/Kenia) und dem Arusha Mental Health Trust (Arusha/Tansania) eine Auswertungskonferenz in Nairobi veranstaltet. Die wichtigsten Ergebnisse der 2020 fertiggestellten Auswertung sind folgende:
The realization that I am a spiritual being in the progress of becoming a person who moves from being a wounded healer to be a healed healer. (zu Deutsch: Die Erkenntnis, dass ich ein spirituelles Wesen bin, das auf dem Weg ist, ein Mensch zu werden, der sich von einem verwundeten Heiler zu einem geheilten Heiler entwickelt.)
Psychological, spiritual an psychosocial counselling are important elements in the formation of young men into priesthood and young women into religious life if we want to be successful and have mature and stable persons in ministry. (zu Deutsch: Psychologische, spirituelle und psychosoziale Beratung sind wichtige Elemente in der Ausbildung junger Männer zum Priesteramt und junger Frauen zum Ordensleben, wenn wir erfolgreich sein und reife und stabile Personen im Dienst haben wollen.)
There is the need basically of helping our leaders to acknowledge their own vulnerabillity so that they can appreciate the usefulness of counselling. (zu Deutsch: Es gibt ein grundsätzliches Interesse, unseren Führungskräften zu helfen, ihre eigene Verletzlichkeit wahrzunehmen und anzuerkennen, damit sie die Nützlichkeit von psychologisch-spiritueller Beratung und Begleitung wertschätzen können.)
missio arbeitet nun die Evaluation auf und nutzt die Vorschläge, gemeinsam mit seinen Partnerinnen und Partnern die Projektarbeit auf diesem Handlungsfeld zu verbessern.
Als pastorales Hilfswerk ist es die Aufgabe von missio, „die pastoral-soziale Arbeit der Katholischen Kirche in Afrika, Asien und Ozeanien [...] zu unterstützen“. In diesem Dienst weiß sich missio ermutigt und getragen von der Botschaft Jesu, der den Menschen ein „Leben in Fülle“ (Joh 10,10) verheißen hat. In Solidarität und partnerschaftlicher Verbundenheit mit den Ortskirchen in Afrika, Asien und Ozeanien unterstützt missio Projektpartner, die sich dieser Verheißung verpflichtet fühlen, die heilsame, befreiende und erlösende Botschaft Jesu Christi zu verkünden und sich aus dem Glauben an den Auferstandenen heraus den Menschen zuzuwenden, die in Not geraten sind. Damit setzen sie in ihrer Mission die Sendung Jesu Christi fort, der über seine eigene Sendung sagte: Der Herr „hat mich gesandt, damit ich den Armen eine gute Nachricht bringe; damit ich den Gefangenen die Entlassung verkünde und den Blinden das Augenlicht; damit ich die Zerschlagenen in Freiheit setze“ (Lk 4,18). In Wort und Tat – dem Zeugnis des Lebens - wird so das Evangelium Jesu Christi bezeugt, verkündet und gestärkt, denn „Glaube wird stark durch Weitergabe“.
missio fördert die Pastoralprojekte seiner Partner i.d.R. durch eine finanzielle Unterstützung und achtet darauf, dass die zur Verfügung gestellten Projektgelder für Pastoralprogramme bzw. Maßnahmen verwendet werden, die eine angemessene und wirkungsvolle Mittelverwendung sicherstellen. Im Rahmen von Evaluationen begleitet missio seine Projektpartner und fördert sie in ihrer Kompetenz, pastorale Projekte nicht auf Sand zu bauen (Mt 7,24), sondern wirkungsvolle und nachhaltige pastorale Konzepte zu realisieren. Damit setzt missio eine lange kirchliche Tradition fort. Das Bewusstsein für einen sparsamen und effizienten Umgang mit Finanz- und Sachmitteln war bereits in den ersten Jahrhunderten in der Kirche vorhanden.
Um einen effizienten Mitteleinsatz der missio anvertrauten Spendengelder zu gewährleisten und die Projektpartner bei der Planung und Durchführung von Projekten qualifiziert und qualifizierend zu begleiten, sind Wirkungsbeobachtung und Evaluation integrale Bestandteile der missio-Projektarbeit. Die Durchführung von Evaluationen ist bereits im Statut der Päpstlichen Missionswerke festgehalten, in dem selbstverständlich formuliert wird, dass „Projekte überprüft“ werden. Diese Überprüfungen stehen in einem engen Kontext mit der jeweils von den Projektpartnern vorgelegten pastoralen (Projekt-) Planung. Wirkungsbeobachtung und Evaluation werden dabei als Mittel betrachtet um herauszufinden, ob die im Rahmen der Projektförderung avisierten pastoralen Ziele in den Bereichen der Liturgie, Verkündigung, Diakonie und Communio erreicht werden konnten. Weder die Evaluation noch die Projektplanung selbst dürfen dabei zum Selbstzweck verkümmern, letztlich zielt pastorale Evaluation darauf ab, pastorale Konzepte zu optimieren und künftige „pastorale Planung unter das Zeichen der Heiligkeit“ zu stellen.
Auch wenn theologische Kriterien an zentralen Stellen in die Wirkungsbeobachtung und Evaluation einfließen müssen, sind bei der Entwicklung von Methoden der Wirkungsbeobachtung und Evaluation primär Anleihen außerhalb der Theologie zu nehmen. Damit realisiert missio in seiner Projektevaluation ein Spezifikum der Praktischen Theologie, „die mit jedem Thema und damit Wirklichkeitsbereich in das `Exil´ des Anderen der Theologie, vor allem hinsichtlich der Humanwissenschaften, zu gehen hat“ .
Die „Richtlinien zu Wirkungsbeobachtung und Evaluation in der Projektförderung“
Die Richtlinien zur Wirkbeobachtung und Evaluation wenden sich an alle Mitarbeitenden von missio. Sie formulieren, was der Kommunikation zum Thema „Wirksamkeit der Projektförderung durch missio“ zu Grunde liegt – sei es in der Öffentlichkeit in Deutschland oder mit den Projektpartnern in Afrika, Asien und Ozeanien. Sie stellen die grundlegenden organisatorischen Aspekte dar, wie Wirkungsbeobachtung und Evaluation im Werk verankert sind.
Tief greifende Transformationsprozesse religiöser, kultureller, politischer, gesellschaftlicher und wirtschaftlicher Art wirken sich auf die Lebensbedingungen aller Menschen in Afrika, Asien und Ozeanien aus. Das Engagement von missio zugunsten des pastoralen Wirkens der Kirche soll möglichst wirkungsvoll geschehen. Eine kontinuierliche Wirkungsbeobachtung und Evaluation der geförderten Projektarbeit sind eine entscheidende Voraussetzung dafür.
missio strebt danach, dass die unterstützten Maßnahmen bei einem wirtschaftlich verantwortlichen Umgang mit den finanziellen und personellen Ressourcen möglichst große, positive Wirkungen entfalten und negative im besten Fall vermeiden. In diesem Sinne sind Wirkungsbeobachtung und Evaluation seit jeher ein Anliegen von missio. Dementsprechend werden seit langem die Erarbeitung, Umsetzung und Evaluation von Pastoralplänen gefördert. Ebenso wird von den geförderten Partnern ein Abschlussbericht gefordert, der über die Sinnhaftigkeit der aufgewendeten Mittel und die (möglichst positiven) Verläufe von Projekten Auskunft geben sollte. Bei Projekten mit mehrjähriger Laufzeit wird vom Partner mindestens jährlich ein Zwischenbericht vorgelegt.
Es wird üblicherweise eine Veränderung als Wirkung bezeichnet, die durch gezielte, in Kausalzusammenhängen stehende Interventionen oder Einwirkungen auf konkrete Lebensverhältnisse hervorgerufen wurde:
Unter Wirkung wird insbesondere die von den betroffenen Menschen selbst als wichtig wahrgenommene Veränderung in den materiellen und nicht materiellen Lebensbedingungen verstanden, unabhängig davon, ob sie beabsichtigt oder unbeabsichtigt, erwartet oder unerwartet, positiv oder negativ ist. Daher muss, wenn von „Wirkung“ gesprochen wird, ein ursächlicher Zusammenhang zu einer Intervention, einer Einwirkung oder einem konkreten Auslöser aufgezeigt werden können. Das können die praktische Annahme einer Leistung eines Projektpartners sein, zum Beispiel das qualifizierte Wahrnehmen eines (Aus-) Bildungsangebots (sog. „Output“), oder Entwicklungen der Teilnehmenden an einem Projekt, nachdem sie sich neue Inhalte und Fertigkeiten aneignen konnten (sog. „Outcome“), genauso wie Veränderungen im Umfeld der Nutznießer eines Projektes, etwa wenn aufgrund der erworbenen Kenntnisse und Fertigkeiten die Gewalttätigkeit in einem Stadtviertel sinkt (sog. „Impact“).
Wirkungsbeobachtung und insbesondere Evaluation als deren Werkzeug sind von Wertungen geprägt. In diesen Wertungen spiegeln sich Auftrag und Wesen, aber auch nichtreflexive Einstellungen der beteiligten Akteure. Wertungen sind der Filter, durch den Wirkungen überhaupt erst wahrgenommen und beurteilt werden: Als positiv oder negativ, wichtig oder weniger wichtig. Sie sind die Grundlage dafür, ob Methoden von Wirkungsbeobachtung und Evaluation als gültig und/ oder ethisch zulässig, ob Schlüsse als plausibel oder Managementhandeln als angemessen gelten. Im Falle von missio prägt die spezifische Ausrichtung als pastorales Hilfswerk das Wertesystem und die Zielsetzung, pastorale Hilfe für die Ortskirchen in Afrika, Asien und Ozeanien und damit einen eigenständigen und wesentlichen Beitrag zur weltkirchlichen Zusammenarbeit zu leisten.
Aus diesem Auftrag leiten sich Schwerpunkte beim Umgang mit und bei der Art von Wirkungsbeobachtung und Evaluation ab. Wesen und Auftrag von missio sind durch folgende Grundaxiome bestimmt:
Für missio gilt bezüglich der Projektförderung das Antragsprinzip. Das heißt, dass davon ausgegangen wird, dass die Projektpartner in Zusammenarbeit mit ihren Zielgruppen am besten wissen, was für ein Projekt in welcher Situation notwendig ist. Analog gilt ebenso: Projektpartner und Zielgruppen sind die Ersten, die zu spüren bekommen, welche Wirkungen Projekte entfalten. Kontinuierliche Wirkungsbeobachtung geschieht also primär seitens der Projektpartner und sekundär durch missio selbst.
Wirkungsbeobachtung und Evaluation stärken Projektpartner und Zielgruppen in ihrer Rolle als Eigner von Prozessen, denen die geförderten Projekte dienen. In dieser Haltung bringt sich missio mit Erfahrungen aus mehr als 180 Jahren Projektarbeit als kompetenter, starker und verlässlicher Partner in die Projektprozesse ein und pflegt einen Partnerdialog über langfristige Ziele und Kriterien der Zusammenarbeit.
Wirkungsbeobachtung und Evaluation dienen dem ehrlichen Dialog zwischen den Projektpartnern und missio, der Konflikten nicht aus dem Wege geht.
missio setzt Spendengelder gemäß der Zweckbestimmung der Spender ein. In diesem Zusammenhang dienen Wirkungsbeobachtung und Evaluation der ehrlichen Rechenschaft über den effizienten Mitteleinsatz.
Die Professionalität der Arbeit von missio zeigt sich in fachlicher Hinsicht ebenso wie im Dialog mit den Partnern. Sie wird gepflegt durch die Fach- und Landeskenntnis der Mitarbeitenden, deren Fähigkeit zum interkulturellen und zielführenden Dialog mit den Ortskirchen und Partnern in Afrika, Asien und Ozeanien sowie in der sachgemäßen Organisation der Arbeitsabläufe.
Wirkungsbeobachtung und Evaluation stehen im Dienst der kontinuierlichen Professionalisierung der Mitarbeitenden in der Geschäftsstelle und der Weiterentwicklung der Werkzeuge der Projektbeurteilung und -begleitung. Ebenso werden Kompetenzen zu Wirkungsbeobachtung und Evaluation in der Geschäftsstelle verankert und ihre Qualität vertieft. Wirkungsbeobachtung und Evaluation bedienen sich angemessener und nachvollziehbarer Methoden und sind selbst Teil kontinuierlicher Professionalisierung.
Als Folge der Grundaxiome und in Übereinstimmung mit dem Auftrag von missio werden Wirkungsbeobachtung und Evaluation in folgender Weise in der Projektarbeit verortet:
Die so gewonnenen Erkenntnisse aus Wirkungsbeobachtung und Evaluation werden für den Partnerdialog, für die Begleitung laufender Projekte und als Grundlage für künftige Projektentscheidungen genutzt. Evaluation ist eine Form der Wirkungsbeobachtung. In den Projekten, die missio unterstützt, misst Wirkungsbeobachtung auch den unerwarteten und unerwünschten Wirkungen eine hohe Bedeutung bei, ebenso der Frage nach der Nachhaltigkeit. Dementsprechend ist der Zeithorizont zur Einschätzung der Nachhaltigkeit von Projektinterventionen bewusst weit gesteckt.
Ein Werkzeug im Kontext der Wirkungsbeobachtung zur Steuerung der Projektarbeit ist die systematische Durchführung von Evaluationen. Damit können Wirkungen des Handelns von missio und der mit missio in Beziehung stehenden Organisationen und Personen qualifiziert beobachtet und eingeschätzt werden.
Unter Evaluation werden analytische, systematische, verlässliche, themenorientierte und nutzergesteuerte Auswertungen von vorgesehenen, laufenden oder abgeschlossenen Vorhaben, von Instrumenten oder Strategien verstanden. Die Auswertungen untersuchen deren Konzeption, Umsetzung und Wirkungen, bewerten sie im Hinblick auf Relevanz, Effektivität, Wirkung, Nachhaltigkeit und Effizienz und geben konkrete Empfehlungen.
Dabei sind folgende Fragen leitend:
Für Planung und Durchführung von Evaluationen sind Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit leitend.
missio möchte aus Evaluationen für die Praxis der eigenen Projektarbeit kontinuierlich lernen. Darüber hinaus stellen Evaluationen zunächst Lern- und Entwicklungsangebote für betroffene und beteiligte Akteure in Afrika, Asien und Ozeanien dar. Evaluationen werden auch in Auftrag gegeben, um den Spendern sowie anderen Unterstützern über Wirkungen der Arbeit von missio und seinen Partnern objektiv Auskunft geben zu können. Somit lassen sich drei Ziele für die Evaluationsarbeit formulieren:
missio motiviert und unterstützt seine Projektpartner finanziell, qualifizierte Evaluationen selbst in Auftrag zu geben. missio selbst gibt davon unabhängig jährlich mindestens zwei Evaluationsvorhaben in Auftrag. Der Referenzrahmen wird in der Regel unter Federführung der Auslandsabteilung in Zusammenarbeit mit anderen Abteilungen von missio erarbeitet. Der Vorstand gibt daraufhin die Evaluation bei einem externen Gutachter(team) in Auftrag.
Evaluationsvorhaben werden vom Vorstand in der Regel auf Vorschlag in der Auslandsabteilung identifiziert und definiert. Evaluationsaufträge vergibt der Vorstand. Die konkrete Umsetzung einer Evaluation obliegt dem Leiter der Projektabteilung in Zusammenarbeit mit den entsprechenden Länderverantwortlichen.
Einmal jährlich werten die Leiter der verschiedenen Abteilungen des Hauses missio die Ergebnisse durchgeführter Evaluationen aus. Ort dieser Auswertung ist eine Leitungskonferenz. Die hier erarbeiteten Vorschläge werden vom Vorstand geprüft, Konsequenzen aus den Evaluationen werden vom Vorstand beschlossen. Die Leitungskonferenz sorgt für die Umsetzungen dieser Beschlüsse.
Für Projektpartner relevante Ergebnisse von Evaluationen sind Teil des Partnerdialogs. Der entsprechende Länderverantwortliche ist für den Dialog mit den Projektpartnern zuständig.
missio evaluiert einzelne Projekte und Programme sowie das Wirken von Partnerorganisationen oder ganzer Projektarten. Evaluationen orientieren sich an Zielen und erwarteten Wirkungen, die die Projektpartner selbst formuliert haben. Evaluationen können vor und während einer Zusammenarbeit, zum Abschluss oder auch nach Abschluss von Projektförderungen durchgeführt werden. In den Blick kommen dabei auch die Grundsätze der Projektförderung sowie die Werkzeuge, die missio für die Projektarbeit verwendet; dazu gehören Antrags- und Berichtsformulare, Foren des Partnerdialogs und Verfahren der Projektadministration.
Das Evaluationsziel orientiert Evaluationsdesign und -methoden. Dabei wird darauf geachtet, dass quantitative und qualitative Methoden zum Einsatz kommen und dass durch das Kreuzen von Akteuren, Methoden, Inhalten und Schlussfolgerungen valide Ergebnisse vorgelegt werden können.
Die beauftragten Evaluatoren bzw. die Evaluationsteams erstellen schriftliche Berichte in Englisch, Französisch oder Portugiesisch, die allen Betroffenen und Beteiligten zur Verfügung gestellt werden. Die Ergebnisse der Evaluationen und die Umsetzung der bei missio daraus abgeleiteten Erkenntnisse werden schriftlich dokumentiert und regelmäßig in zusammengefasster Form im Jahresbericht veröffentlicht.
Die Evaluationspraxis, wie auch die Praxis der Wirkungsbeobachtung selbst, ist Gegenstand der Reflexion und des Partnerdialogs. Ein Blick auf jeden abgeschlossenen Evaluationsprozess gemeinsam mit den Betroffenen und Beteiligten ist Teil dieses Prozesses. Erkenntnisse aus der Evaluationsforschung unterstützen die Weiterentwicklung der Praxis von Wirkungsbeobachtung und Evaluation bei missio.
Aachen, den 25. November 2013