要求公益組織「證明影響力」相當危險且使人誤解

0

 

編按:

NPOst 曾刊出「不謹慎評估成效的 NGO,是在濫用權力」,引起不小的迴響,成效評估確實也是慈善組織撰寫成果報告時的困惑。本篇是 Giving Evidence 創辦人 Caroline Fiennes 的建言,Giving Evidence 長久致力於有效運用捐款與公益組織效益研究,她提及在一個地方具影響力的計畫,未必就能成為每個地方的實行模式,與其百分百相信影響力評估或致力於證明自身影響力,不如花心思去擴大實質的計畫成效。

 

翻譯/劉晏汝

假設你聽過一種從未試驗過的新介入方法,這帶來明顯成果的機會有多大?很顯然地,你無法估量結果,其中的不確定性太高了。再假設有一種介入協助年輕媽媽的專案,經過美國某發展健全、架構完善的評估體制評量後,結果顯示能減少孩童受虐或疏於照顧,並且降低 20-50% 的孩童受傷案例、改善孩童受教成果,這個案子若換到英國愛丁堡,是否會得到同樣的效果?

如今不確定性比較低了,但仍有變數。事實上,這類介入計畫在英國--又稱為「護士家庭合作計畫」--的成效並不如上述那麼好。

假設在你居住的地方,有個計畫已經受到評估多年。這其中還是有許多不確定因素,因為背景條件會隨著時間改變,提供的服務可能會增加或減少、政治局勢可能改變、戰爭發生,或有上千難民突然湧入你的國家。

可變因素說都說不完,假設你最近才在特定背景條件下進行評估,但如果你再評估一次,其中還是有許多不確定性,因為外在因素也許會改變。不過重新評估的時間間隔愈小,不確定性就愈低。

就連發展純熟的實驗方法也無法消除不確定性。如果有一個良好健全的評估系統,顯示參加計畫組重回職場的比例,比未參加計畫組的比例高出 15%,但你仍然無法肯定這是因為這項計畫。樣本數太少通常是失敗的原因,也許你找來 100 個人做評估,隨機選擇一半的人參與計畫,另一半則不,但或許你無意間選到積極進取的人參與計畫,並讓較消極的人不參與計畫,這樣結果就會有問題,因為你不知道是因為受試者的個性,還是計劃本身,帶來了改變。

這代表評估是毫無意義的嗎?其實不是,而是要求百分之百確定是沒有意義的,而且被誤解了。

大家有時候會要公益機構「證明其影響力」,這很危險且使人誤解。證明,也就是計畫成效的研究,在社會科學中是相當空泛且少見的概念。科學調查機構鮮少會證明什麼事情,但「證明某件事不是這樣」卻容易多了,但他們還是能協助我們了解萬物運作的道理,藉此做出合乎經驗和知識的決定。他們盡可能把不確定性降到最低,讓我們有判斷的依據。

天文學家兼科學作家卡爾薩根曾寫到:「科學不只是知識的集合體,也是一種思考的方式,科學指引我們證明不同假說。」我們不能總是注意著其他事情會發生的可能性。我們不該只想證明我們的影響力,而應盡可能運用目前累積的知識(德文中,知識這個字也有科學的意思),擴大我們創造深遠影響力的機會。

 

原文編譯:Talk of charities ‘proving their impact’ is dangerous and misleading

作者介紹

NPOst 編輯室

NPOst 公益交流站,隸屬社團法人臺灣數位文化協會,為一非營利數位媒體,專責報導臺灣公益社福動態,重視產業交流、公益發展,促進捐款人、政府、社群、企業、弱勢與社福組織之溝通,強化公益組織橫向連結,矢志成為臺灣最大公益交流平臺。另引進國際發展援助與國外組織動向,舉辦實體講座與年會,深入探究議題,激發討論與對話。其姐妹站為「泛傳媒」旗下之泛科學、泛科技、娛樂重擊等專業媒體。臉書:https://www.facebook.com/npost.tw