如何衡量倡議成敗？ 5 大面向，協助組織評估影響力
我們到底如何衡量自身工作的成敗進展？所謂「倡議」這回事，難道沒有什麼具象、客觀的指標嗎？2007 年由 Annie E. Casey Foundation 資助，委由 Organizational Research Services 研究提交的 A guide to MEASURING ADVOCACY AND POLICY，算是企圖系統化衡量倡議工作與政策變化的重要文件。這份相關工具整理清單算是蠻好的入手式，為公共政策倡議的工作成效提供 5 大面向觀測尺度。
圖／
Alasdair Elmes@ freepik
臺灣大部份 NPO 對倡議未必有系統整理或經驗傳承，遑論後期的評估檢討，也許，組織可以從這 5 大面向開始思考如昌益成效如何評估。
5 大向度，評斷倡議工作的成效
這份研究建議從「外在社會規範」、「公共政策」、「內部組織能力」、「跨組織聯盟力量」、「支持基礎與影響力」等 5 大向度來評斷倡議工作的成效。至於如何設計出合適的衡量尺度，因為倡議成效涉及長期和動態環境變化，未必適合直接套用傳統實驗室黃金標準，因此，在對各種新興評估方法試用評論後，建議可從以下切入點思考評估設計：
- 確定、衡量社會或政策變革核心成果領域
- 戰略進展評估
- 確定、衡量短期增量目標
- 評估倡議組織本身的能力
- 過程和影響力案例的研究文檔
本部份再針對「衡量社會或政策變革相關的核心成果領域」，進一步介紹外在的社會規範、公共政策、內部的組織能力、跨組織的聯盟力量、支持基礎與影響力等 5 大向度來評斷倡議工作的成效，以及可採用的資料收集方式建議。提醒讀者，不管是採取哪一種切入方向，在收集相關證據資料上，都必將不斷弄清楚： 資料從誰而來？何時蒐集？所蒐集的資料欲解決什麼問題？數據收集的嚴謹程度等基本問題。
圖／Jeremy Perkins@ unsplash
1. 改變社會規範
「社會規範」（social norms ）指構成文化和社會規則結構的知識、態度、價值觀和行為。要測量社會規範的轉變，不太可能進行大規模的調查，故多採取抽樣代表群體，或是針對倡議策略所預想的目標受眾為優先觀察社群。主要的 5 種常見的代表取樣調查：
- 深度訪談：通常在政策改變後，透過訪談或問卷，了解受訪者想法和優先性變化狀況
- 焦點小組：由各方利益團體的代表組成焦點小組，由代表的互動，觀察他們對特定議題的態度是否有所變化
- 會議觀察清單：從議程上，一方面記錄成員對此議題的立場觀點，一方面也觀察討論程序與協商過程，以掌握成員的信念是否發生變化
- 調查：這類調查執行數量與規模更為擴大，但正因為規模化，所以會轉化可量化數據，以權衡特定議題優先順序的變化
- 滾動抽樣調查：這類變動式抽樣調查的複雜度更高，較適合用於追蹤社區意識的變化
2. 提升組織能力
指 NPO 串聯力、人力配置、領導力、組織結構、系統、財務和戰略規劃等核心，這些能力是倡議和政策改變的關鍵條件。關於「組織能力」評估的工具或方法包括：
- Alliance for Justice 司法倡議聯盟的能力評估，請見之前的介紹 ACT（Advocacy Capacity Tool)）倡議能力評量工具。
- 蜘蛛圖，透過 5 至 8 面向（ex. 研發分析、媒體公關經營、政治遊說、網絡聯盟關係、規劃管理監測等能力）的表現程度，在多邊電達圖（或稱蜘蛛圖）來呈現組織的能力。本站相關文章回顧組織表現指數 Organization Performance Index
- KIDS COUNT 自我評估工具，此外 McKinsey Capacity Assessment Grid 也是備受推崇適合非營利組織採用的現成工具（可另見過去寫過的文章非營利組織能力評估工具 The Organizational Capacity Assessment Tool）
3. 聯盟鞏固
圖／mnm.all@ unsplash
指聯盟、盟友之間的協作鞏固度。可觀察角度包括支持伙伴的數目增加、聯盟成員彼此默契與協作等級、伙伴間彼此投注努力是否平等、提高伙伴關係的多樣化等。用於聯盟強弱評估的工具或方法有：
建議可以使用追蹤表。 透過質化方法，NPO 聯盟成員可評估活動來判斷聯盟關係如何。
4. 加強支持基礎
指社會大眾、利益集團和輿論領袖對特定議題的支持影響。為促成政策變化提供了主要的結構條件。此類成果涵蓋文化和社會參與層面，包括增加公民參與、非正式和正式團體之間的聯合發聲、利益團體的合併、輿論領袖擁護動作以及媒體正向關注。記錄的工具或方法：
- log 記錄： 透過草根活動的投入成果（如投票率、得票率）或是第一線組織或行動活動的狀況（如會員支持人數、活動量）、公民參與（如活動出席）公眾對議題投入的增加
- 日常記錄：更多的代言人參與度
- 調查問卷：和前述提過的大量問卷相似，以等級量化來收集公眾投入度的情況
- 自我評估：借由動員或倡議工作清單來檢查其完成度
此外，也提供記錄「媒體支持度」的工具或方法
- 媒體追蹤表格：增加的媒體報導
- 綜合新聞評分：媒體影響力不能只看議題在媒體上的露出次數，最好能有多樣不同的計算測量方式，例如出現版面長度、時間時段、何種媒體（受眾基數、公信力）
- 日常記錄：曝光可見度提高
5. 政策的改進
公共政策的政策變化，包括政策制定、政策提案、展現支持證明（例如共同贊助）、採用、資助和實施。過去，該成果領域通常是衡量宣傳和政策工作是否成功的重點。追蹤評量「政策變革」的工具或方法：
- 日常記錄：立法過程追蹤，例如法案討論誰是正方反方、投票意向、跑票等等情況
- 日常記錄：政策進展追蹤分析，包括政策內容的組合要件。
- 調查：評估政策的數量和類型
- 日常記錄：監視政策落實
- 環境評估： 如果倡議的課題涉及實體空間，如城市裏的公園、人行道、自然保育區等，則可利用地理資訊系統來記錄、比較物理環境的變化
影響力的變化
最終形成社會和自然生活，例如個人、人口和自然環境上的變動促使政策改革，是長期的結果和目標。
延伸閱讀：
