如何爭取經費資助?有效評估組織影響力
編按:
時值年中,對多數社福組織來說,明年度的預算編列和經費申請即將開跑。除了政府專案,國內外民間大型資助單位也是申請補助的來源。隨著需要補助的 NPO/NGO 愈來愈多,組織的社會影響力與計畫成效評量成為補助的重要關鍵。本篇作者 Kevin Starr 與 Laura Hattendorf 分別是專門資助新創組織的穆拉戈基金會的管理與投資總監,他們從資助公司的角度,提出了他們對於審核補助時,評估各組織影響力的看法。
翻譯/賴慧玲
要評量一個公益組織為社會帶來的影響,常像養小孩一樣困難:不只花的錢會比預期的多,還必須全力以赴。對以資助新創公益組織為職志的穆拉戈基金會(Mulago Foundation)來說,評量受資助組織的表現至關重要。唯有如此,資助機構才能確定投資的錢能確實創造出正向的社會效益。事實上,不做成果評估的新創組織將不會獲得穆拉戈基金會的青睞,因為把資源投注在這些組織身上,等於是拿著錢跟著瞎闖。
資助機構通常熱衷於比較各個申請者之間的優劣,但穆拉戈基金會認為,投資前最先要做的,應該是以每個非營利組織或社會企業自身的條件來評量它們的表現。不管這些組織的目標是協助農夫脫貧還是照護流浪貓,必須要找到評量各個組織行動成效的方法,來了解它們是否不負期待、還是不幸失敗。
雖然大型隨機控制試驗(randomized controlled trials)──亦即隨機選取多個不同的社會情境和案例作為參照,以了解組織行動對於目標案例的成效──可以幫助資助機構決定是否應該加碼投資,但這並不是用來了解投資成效的好方法。因為這個方法不僅所費不貲,也無法引領新創的公益組織該往哪個方向發展。因此,新創組織需要在有限的經費下,持續產出一連串高品質的資訊以供評量。
不過,如果資料太過簡陋,就無法進行有意義的分析,但將大把心力投注在資料蒐集上,又會阻礙工作進展,而且資訊過多也會讓人難以消化。因此,新創組織需要一個簡便又細緻的方法來有效評量行動的成效。
對穆拉格基金會來說,投資者期待看到的是受資助的組織能針對運作狀況做出有效評估,以利其掌握資金運用的效率。為此,基金會提供了 4 個實用的步驟,幫助投資者和受助組織思考如何衡量公益組織的社會影響力:
- 釐清想要達成的目標
- 選擇正確的衡量指標
- 蒐集高品質的數據
- 證明這些改變來自你們的努力
釐清想要達成的目標
要衡量一個公益組織的影響力,必須先確認你想要達成的目標是什麼。大部分非營利組織的宗旨都過於攏統含糊,幫助不大。投資者期待看到的組織宗旨,要能夠精煉成一個動詞、一個目標族群,和一個可測量的目標,且長度少於 8 個(英文)單字,例如「協助非洲小農脫貧」和「防止 HIV 病毒在巴西擴散」。
簡單扼要的宗旨提供了行動成敗的定義,也是穆拉戈基金會審核申請者的第一步。如果一個公益組織不能清楚說明行動的宗旨,就代表他們並不清楚自己的目標,或者沒有能力知道自己做得對不對。
選擇正確的衡量指標
不妨問問你的團隊:「如果你只能選擇一件事來衡量成效,那會是什麼?」先別管團隊夥伴的抗議,這可是非常有用的練習。以上面提到的 2 個宗旨為例,答案可能會是「提升小農收入」和「降低 HIV 病毒感染率」。
有時候,一個指標就足以衡量行動的效果,但有的時候,會需要用到一組精心挑選的綜合指標(指標數量越少越好)。如果一個行動和某個社會效果之間的連結能被清楚記錄,就可以用這個行動當作衡量社會成效的替代指標。例如,肯亞小朋友使用蚊帳的比率,可以作為衡量瘧疾死亡率是否下降的指標。
對資助者來說,如果一個計畫無法找出可以用來衡量的行動,就表示這個計畫太過含糊而不值得考慮。值得注意的是,雖然「提升意識」和「培力」可能是促使行動發生的關鍵要素,但投資者更感興趣的其實是如何衡量這些行動帶來的改變。
這個方法無法完全涵蓋一個公益組織的影響力和成就,但對慈善投資者來說,已足夠回答最關鍵的問題,也就是「這個組織是否能使命必達」。
蒐集對的數據
好的數據有 2 個要素:可以顯示行動帶來的改變,以及具有高可信度。這代表蒐集數據時,需要──
- 有可供對照的基準數據,並在適當的時間間隔之後再次衡量效果
- 用合適的方式、針對正確的族群(可以是任何人事物)蒐集到足夠的樣本
要確認蒐集到的數據是否優質,可以從邏輯面和技術面下手。從邏輯面來看,如果你對目標的基本社會情境有足夠的認識,那麼只要仔細檢視效用評估計畫裡所使用的資料蒐集方法是否合理,就可以大致評斷這些數據的可信度。
糟糕的效用評估計畫通常都經不起仔細檢視:它們若不是缺乏適當的基準數據,就是問錯對象,或是研究方法不符合在地民情文化。從技術面來看,樣本的大小和蒐集資料的技巧是兩個最關鍵的元素,一個好的統計學家可以輕易幫你找出合適的統計方法。
證明這些改變來自你們的努力
「實質社會影響力」指的是社會情境在行動前後的落差。當你蒐集到可以證明前後變化的數據時,還需要進一步闡明這些改善是源自於你們的行動。但是,這通常也是衡量社會影響力最具挑戰性的工作,因為有時要估算「如果沒有採取行動會是什麼後果」非常困難。
公益組織可以從三個層次來闡明組織行動對社會影響的「貢獻度」。以下依照這些方法的成本和複雜度由低而高的順序來簡單介紹──
描述貢獻法
提供一個無懈可擊的故事,說明改變的力量主要來自於你們組織的行動。這個方法常常被濫用,不過在特定的情況下依然能夠成為有力的論證,特別是當改變非常顯著並且和涉入的行動息息相關、變因有限,以及你們對目標的社會情境有深刻認識時。
配對參照法
在工作一開始時,便選定一些和目標對象相似的社會情境或族群,做為有效的對照。這個方法只在變因不多、可以找到適當的參照組,和能仔細追蹤變化過程以確保沒有其他意外因素造成干擾的情況下,才能適用。當然,天下沒有完美的參照組,但只要能滿足上述條件,通常就已經足夠。
隨機控制實驗法
隨機選取多個不同的社會情境和案例作為參照,以了解組織行動對於目標案例的成效。許多時候,隨機控制實驗法是證明組織貢獻度的黃金法則,特別是當風險甚高、變因太多而無法找到相似參照對象來進行有效比對的時候。
不管選擇哪一種方法來測量一個公益組織對社會的實質影響力,最重要的關鍵,是要保持誠實、好奇心與建設性的懷疑。資助機構應不吝於投資在嚴謹的社會影響評估上,因為好的影響力評估不僅能嘉惠非營利組織、資助者和社會本身,更能協助每個夢想家打造更美好的未來。
原文出處:Real World Impact Measurement