要求公益組織「證明影響力」相當危險且使人誤解

編按：

NPOst 曾刊出「不謹慎評估成效的 NGO，是在濫用權力」，引起不小的迴響，成效評估確實也是慈善組織撰寫成果報告時的困惑。本篇是 Giving Evidence 創辦人 Caroline Fiennes 的建言，Giving Evidence 長久致力於有效運用捐款與公益組織效益研究，她提及在一個地方具影響力的計畫，未必就能成為每個地方的實行模式，與其百分百相信影響力評估或致力於證明自身影響力，不如花心思去擴大實質的計畫成效。

翻譯／劉晏汝

假設你聽過一種從未試驗過的新介入方法，這帶來明顯成果的機會有多大？很顯然地，你無法估量結果，其中的不確定性太高了。再假設有一種介入協助年輕媽媽的專案，經過美國某發展健全、架構完善的評估體制評量後，結果顯示能減少孩童受虐或疏於照顧，並且降低 20-50% 的孩童受傷案例、改善孩童受教成果，這個案子若換到英國愛丁堡，是否會得到同樣的效果？

如今不確定性比較低了，但仍有變數。事實上，這類介入計畫在英國－－又稱為「護士家庭合作計畫」－－的成效並不如上述那麼好。

假設在你居住的地方，有個計畫已經受到評估多年。這其中還是有許多不確定因素，因為背景條件會隨著時間改變，提供的服務可能會增加或減少、政治局勢可能改變、戰爭發生，或有上千難民突然湧入你的國家。

可變因素說都說不完，假設你最近才在特定背景條件下進行評估，但如果你再評估一次，其中還是有許多不確定性，因為外在因素也許會改變。不過重新評估的時間間隔愈小，不確定性就愈低。

就連發展純熟的實驗方法也無法消除不確定性。如果有一個良好健全的評估系統，顯示參加計畫組重回職場的比例，比未參加計畫組的比例高出 15%，但你仍然無法肯定這是因為這項計畫。樣本數太少通常是失敗的原因，也許你找來 100 個人做評估，隨機選擇一半的人參與計畫，另一半則不，但或許你無意間選到積極進取的人參與計畫，並讓較消極的人不參與計畫，這樣結果就會有問題，因為你不知道是因為受試者的個性，還是計劃本身，帶來了改變。

這代表評估是毫無意義的嗎？其實不是，而是要求百分之百確定是沒有意義的，而且被誤解了。

大家有時候會要公益機構「證明其影響力」，這很危險且使人誤解。證明，也就是計畫成效的研究，在社會科學中是相當空泛且少見的概念。科學調查機構鮮少會證明什麼事情，但「證明某件事不是這樣」卻容易多了，但他們還是能協助我們了解萬物運作的道理，藉此做出合乎經驗和知識的決定。他們盡可能把不確定性降到最低，讓我們有判斷的依據。

天文學家兼科學作家卡爾薩根曾寫到：「科學不只是知識的集合體，也是一種思考的方式，科學指引我們證明不同假說。」我們不能總是注意著其他事情會發生的可能性。我們不該只想證明我們的影響力，而應盡可能運用目前累積的知識（德文中，知識這個字也有科學的意思），擴大我們創造深遠影響力的機會。

原文編譯：Talk of charities ‘proving their impact’ is dangerous and misleading