我的組織，真的讓世界更美好了嗎？／評估社會影響力的 3 大方法
編按：
如果你的組織在做補救教學計畫，你如何能衡量這些受教育的學生真正獲得多少幫助？若學生的學業成績沒有明顯進步，自信心卻大有進展，算不算計畫的影響力？如果你想知道你的扶貧計畫確實造成了哪些影響，莫非只能（像如今大部分組織一樣）計算幫助了多少人、發出了多少錢、有多少人受惠？這個「惠」所造成的效應，真的都是正面的嗎？
不了解自身影響力，難以尋求資源，也難以鼓勵夥伴。更糟的是，有時候看似正面的計畫，其實是在幫倒忙，反而讓受助者蒙受其害。本篇作者 David Evans與 Bruce Wydick，前者是世界銀行資深經濟學家（Senior Economist in the Chief Economist’s Office for the Africa Region of the World Bank.），後者是舊金山大學經濟學教授。本篇以深入淺出的方式，提出非營利組織衡量自身影響力的 3 大方法。
此外，NPOst 在 10/28 也將舉辦一年一度的影響力論壇，邀請海內外專家學者進行初步與進階課程，探討非營利組織的社會影響力。想了解更多、並加入現場提問互動，請立即報名！10/14 前有早鳥票喔！
翻譯／賴慧玲
「當我的組織完成募款、後勤調度、與受助者直接合作和報帳的工作後，我的 NGO 真的帶來正向的改變嗎？」這個令人頭疼的問題，是許多非政府／非營利組織無法迴避的。確實，如同英國《衛報》最近一篇文章所強調的：「如果公益部門希望能有效服務當地社群，就必須改進蒐集影響力事證的方法，以證明公益組織真的產生效益。」現在，除了大型捐款戶，許多個人捐款者也日益要求 NGO 要拿出社會影響力的證明。
本文的目的，是為發展工作從業人員說明如何證明組織的社會影響力，著重的對象是未曾受過正式經濟學和統計學操練、但想要為組織進行簡單有效的影響力調查的人。坊間已經有許多相關書籍可以研讀，以下是我們整理的幾個簡單的入門原則。
大部分的 NGO 都很擅長衡量他們在受助者身上帶來的改變，這也是進行好的影響力評估的一個步驟。不過，如果要真的評量社會影響力，我們還需要額外的資訊。要有效地調查一個組織的影響力，關鍵在於要能提出反事實（a counterfactual）的例證，也就是如果你的援助計畫不存在，這些受助者會發生什麼事。基本上，有效的影響力調查就等於是在產出有效的反事實例證。
先讓我們看看 NGO 評量影響力的 2 個常見做法。
事前與事後評估法
第一個方法是蒐集這些受助者在計劃開始前的基線資料，然後追蹤計畫施行後的資訊。這種事前／事後評估法所假設的反事實例證，就是「如果沒有實施這些援助計畫，受助者會停留在計畫進場之前的狀態」。但這種方法的問題，在於無法區別出哪些是計畫帶來的改變，哪些又是無論如何都會隨時間自然產生的變化。
最近一項針對非洲坦尚尼亞現金調撥服務的影響力評估，就犯了這樣的毛病。該調查指出，獲得調撥現金的民眾在糧食消費上有顯著的增長（喔耶！）。但後來發現，那些沒有獲得服務的民眾在糧食消費上的增長幅度也一樣多。在這個例子中，事前／事後評估法高估了這個公益組織的社會影響力。
在坦尚尼亞的例子中，衡量受助家戶在獲得現金資助之前與之後的消費額度變化，沒有辦法證明這個援助計畫的效益，因為未獲得資助的家庭也同樣提高了他們的消費額度。
相反地，事前／事後評估法也可能低估了公益組織的社會影響力。當尼加拉瓜進行現金調撥計畫時，正逢該國經濟衰退，民眾的消費能力普遍下降，但參與計畫的民眾的消費能力卻小幅增加。如果未能考慮在經濟衰退的趨勢下逆勢成長的特殊性，只看計畫施行後消費能力的小小增幅，便會大大低估這個計畫帶來的整體效益。
不僅如此，人們有時會依據機運來選擇是否參與一個 NGO 計畫，例如經濟機會的變化會影響人們申請微型貸款的意願。當經濟好轉時，不管有沒有非營利組織提供這樣的金融援助，這些借款者的生活都會有些許改善。事實上，最近一篇研究便指出，微型貸款產生的顯著影響中，有高達 3/4 是事前／事後評估法造成的錯覺。總結來說，這個方法並不能提供有效的反事實例證，因此無法用來有效評量一個計畫的影響力。
受助者／非受助者對照法
為了評量計畫的影響力，有時候其他 NGO 會將受助者與非受助者進行比較。這個方法的假設是，非計畫參與人的處境可以作為計畫受助者的反事實例證。但是，這樣的資訊也無法提供有效的反事實例證，因為兩者的處境可能有本質上的差異，非受助者可能缺乏某些受助者所擁有的隱性特質，才沒有參與計畫。如果這些隱性特質與個人選擇成正比，那麼這個評估方法就會高估計畫的影響力。
反過來說，如果這些特性會讓人身不由己，例如危機發生時，有些人別無選擇只能向公益團體尋求協助，這時，這種評估方法就會低估計畫的影響力。不管是哪一種情形，你都可能因為對照受助者和非受助者，而「錯估」了社會影響力，因此，這種方法很可能會產生讓人誤導的評量結果。
事實上，不管是用事前／事後評估法還是受助者／非受助者對照法，我們對每一種影響力事證的觀察都混雜著事實與偏見。當我們在這些觀察到的差異中同時增加和刪減反事實例證，就能清楚認知到這一點（見下表）。
做好做滿
那麼，要怎麼做才能得出有效的反事實例證呢？好的影響力調查都脫不了這個訣竅：將反事實例證做好做滿。
要提出評估 NGO 影響力的有效反事實例證，基本原則就是試著去複製受助者身上各種外顯和隱藏的特性，創造出一群在統計上能複製受助群體特性但又未受計畫介入的對照組。有幾個好方法可以幫你完成這個任務：
- 在援助工作涵蓋的相對正常範圍中，加入一些隨機實驗；
- 在用來選擇受益者的資格條件中任意截斷出一些條件，依據這些條件創造出反事實例證；
- 使用「異中求異」法，也就是結合事前／事後評估法和受助者／非受助者對照法。
我們分別提供一些例子來說明這 3 種方法：
隨機實驗法
假設你的組織的工作是為坦尚尼亞的低收入戶孩童提供學費，你手上有捐贈者提供的資源（數量為 X），但不管 X 的數量再怎麼大，你也無法幫助所有坦尚尼亞的小朋友。因此，你得做出困難的抉擇，而做決定的方式之一，就是透過一種「評量 + 分流 + 抽籤」的篩選機制。
首先，針對轄區內每一個你想幫助的小朋友進行狀態評量，例如簡單地評估他們家庭的貧窮程度、健康狀況、風險狀態等。接著參照這些評估，依照學費補助對上學意願的影響力高低，將這些小朋友加以排序，分成 3 級：
- 會因為學費補助而決定上學的人；
- 有可能因為學費補助而願意上學的人；
- 不太可能受學費補助而影響上學意願的人（包括有無補助都會上學，以及就算有補助也不會上學的小朋友）。順帶一提，這個方法不僅可以幫你評量計畫的影響力，也可能可以幫助你增加援助工作的社會效益。
假設你手邊的資源足夠用來幫助所有第 1 級的學童，和一些第 2 級的學童。在刪掉第3 組小朋友之後，你可以提供補助給第一級裡每一位小朋友，然後再宣布會以抽籤的方式，提供每個第 2 級小朋友一個「公平的機會」來獲得學費補助。假設一共有 4 成的第 2 級學童透過抽籤獲得了學費補助。如果要評估這項計畫的影響力，你便需要從第二級學童中隨機抽出同樣數量但未獲補助的學童，將他們與幸運抽中者的學業表現進行評量。
你可以選擇多種評量標準（例如出席率、減少的童工人數和學習表現等），2 組小朋友在這些評量標準上的表現差異，便可作為計畫平均影響力的評估。將這些差異除以估計時的標準誤（standard error）就能得出 t 統計量（t-statistic）。如果數值大於 1.96，便代表在 95% 的信賴水準下，具有統計上的顯著差異。換言之，就統計意義來說，代表這些差異和援助工作之間的關係不是偶然。
另一種實驗
如果每個學童都能獲得學費補助，還有另一種隨機實驗可以被應用在計畫中，就是從符合資格、為數眾多的家庭中隨機選出某些家庭，邀請他們的小朋友參與學費補助計畫。假設隨機獲邀的家庭的回覆率為 m，而未獲得邀請的家庭回覆率為 n（如果宣傳工作做得好，m值應遠大於 n 值，也只有在這種情況下這個方法可以成立）。接著，過了一段時間後，對這兩個群體的所有成員進行影響力評量的問卷調查。
假設我們將所有獲邀群體成員的平均影響力結果稱作是 M，將未獲邀群體成員的平均影響力結果稱作 N，那麼這個補助計畫的影響力評估值應該是（M-N）／（m-n）。同樣的，要記得將這個預估值除以標準誤，好確認觀察到的差異不是偶然的結果。
資格斷點法
如果你不想做實驗，但會依照某些指標來分配計畫的資源，你可以採用這個方法。例如，假若你管理的是下面任一種：
- 一個農業計畫，專門提供種子給任何土地面積小於 5 平方公里的小農，但不含耕作面積大於此限者
- 一個教育計畫，提供免費制服給所有在去年期末考成績達 80 % 以上的學生
- 一個脫貧計畫，先蒐集每個村莊的家庭擁有哪 10 種主要資產，然後提供一系列的協助給最多擁有 5 種資產的家庭
在上述 3 個例子中，你可以使用「不連續迴歸設計」（regression discontinuity design，又稱為「斷點迴歸設計」）。以第一個農業種子計畫為例，如果我們將耕地面積小於 0.1 平方公里的農民和握有 50 平方公里農地的大農相比，就會落入上述受助者／非受助者評估法的陷阱裡。因為這兩種類型的農夫在援助計畫實施之前就有很大的差別，兩者在農產量上的差異很難真的被歸類是援助計畫造成的結果。
但是如果一個農夫擁有 0.4 平方公里的耕地並獲得種子補助，和另一個農地面積 0.6平方公里而未獲補助的農夫相比，兩者都是小農，只是一人正好落在補助門檻之上，一人在門檻之下，但兩人與門檻都非常接近。和簡陋的受助者／非受助者對照法相比，這樣依照補助資格斷點選取的對照組，可以提供更佳的影響力評估。
話雖這麼說，事實上這兩個農夫即使在獲得種子援助之前，也存在著差異。擁有 0.6 平方公里耕地的農夫也許會比只有 0.4 平方公里耕地的農夫更懂得企業化經營，因此耕地面積才會比後者多出 0.2 平方公里。因此，最好的分析方式，是在以資格斷點法進行比較時，同時採用可以控制每位農夫耕地數量（以及其他變數）的簡單回歸分析。
要讓這個評估法順利運作，必須要有很多的受助者樣本落在接近資格門檻的位置。要注意，這個方法可以告訴你的，是這個援助計畫可以對條件落在資格門檻附近的人多麼有效。對於條件離門檻較遠的對象，例如耕地少得可憐的農民來說，這個方法得出的影響力就不一定精確。但是，條件落在門檻一帶的農民可以提供重要的訊息：如果你正考慮將門檻放寬到 0.6 平方公里，那麼這項計畫對接近這個條件的農夫有多少影響力，就是最好的參考資料。
雙管齊下的異中求異法
雖然事前／事後評估法和受助者／非受助者對照法各自都有相當的缺陷，但結合使用就能大大提高評估結果的可靠度。 假設你經營的計畫是提供雞隻給社區裡最窮困的家庭，作為食用、育種和販賣之用，而你想知道受助家庭的收入是否在援助之後有所改善。這個問題背後的假設是，如果沒有獲得雞隻援助，這些家庭的收入不會有任何變化，但事實上人們的收入會隨許多因素波動。因此，光是比較受助者和其他未受資助的社區成員差異是不夠的，因為就算收入因此提升，受助者也可能還是社區裡最貧窮的一群。
「異中求異」法同時結合事前／事後評估法與受助者／非受助者對照法，並能改善兩者的缺失。 這個方法會同時關照受助者在接受資助之前與之後的變化，例如每月家庭收入從 100 披索提升到 200 披索。它同時也會參照非受助者事前與事後的改變，例如未獲得雞隻補助住的社區成員因為雨水充足，家庭收入也從 300 披索上升到 350 披索。因此，我們可以同時看到受助者的收入變化（上升 100 披索）和非受助者的收入變化（上升 50 披索）。後者增加的收入（50 披索）就可以作為反事實例證，也就是在沒有雞隻援助計畫的介入下，受助者隨時間而產生的自然變化。
如此一來，這個計畫的效益便是 100 披索（受助者的總實際變化）減掉 50 披索（參照未受助者的變化所假定的自然變化），也就是受助者因為雞隻援助計畫，每月收入提升了 50 披索。這個方法同時衡量了 2 個不同群體在不同時間維度的變化，因此被稱為「異中求異」法。
不過，唯有在能確信無計畫介入時，受助者與非受助者的每月收入會以同樣速率增加的情況下，這個方法才能準確評估出援助計畫的社會影響力。要確定這個情況是否成立，最好的方式是檢視在計畫介入之前，2 個群體消費提升的速率。
課後閱讀帶著走
以上的說明只是讓讀者們能稍微領略這些方法的滋味，我們的目標是希望讓讀者看到，評估你的計畫的社會影響力是做得到的，而且不需要博士頭銜，就能輕鬆掌握這些簡單的評估方法。如果你想知道更多，可以將下面這些資源打包帶走：
- 世界銀行出版了一本關於影響力評估的非技術性書籍，由美國加州大學柏克萊分校 Haas 商學院的保羅葛特勒教授（Paul Gertler）等人撰寫。你可以在這個網站上免費下載全文。除了英文版，還有法文版、葡萄牙文版和西班牙文版可供下載。
- 世界銀行也為具有基本迴歸分析知識的讀者出版了一版好用的書，書名是《影響力評估手冊》（The Handbook on Impact Evaluation），由世界銀行經濟專家沙希杜艾肯達（Sahidur Hkandker）、凱亞媞·庫娃（Gayatri Koolwa）和胡珊·薩馬德（Hussain Samad） 撰寫，同樣有免費 pdf 檔可從網路下載。
- 美國麻省理工學院賈米爾貧窮行動實驗室（Abdul Latif Jameel Poverty Action Lab）的瑞秋葛蘭納斯特博士（Rachel Glennerster）和克哉·塔克法拉夏（Kudzai Takavarasha）合著了一本很棒的書，叫做《隨機評量操作》（Running Randomized Evaluations），想要知道如何做隨機實驗，這是很好的資源。
- 美洲開發銀行（Inter-American Development Bank）的影響力評價中心（Impact Evaluation Hub）網頁上，可以找到更多評量方法的介紹，以及不同評量階段所需的項目清單和模板。
原文出處：Is My NGO Having a Positive Impact?
了解更多，現在就報名 NPOst 2016 影響力論壇！
