如何衡量倡議成敗? 5 大面向,協助組織評估影響力

圖/ Kyle Glenn@ freepik

我們到底如何衡量自身工作的成敗進展?所謂「倡議」這回事,難道沒有什麼具象、客觀的指標嗎?

2007 年由 Annie E. Casey Foundation 資助,委由 Organizational Research Services 研究提交的 A guide to MEASURING ADVOCACY AND POLICY,算是企圖系統化衡量倡議工作與政策變化的重要文件。這份相關工具整理清單算是蠻好的入手式,為公共政策倡議的工作成效提供 5 大面向觀測尺度。

圖/
Alasdair Elmes@ freepik

臺灣大部份 NPO 對倡議未必有系統整理或經驗傳承,遑論後期的評估檢討,也許,組織可以從這 5 大面向開始思考如昌益成效如何評估。

5 大向度,評斷倡議工作的成效

這份研究建議從「外在社會規範」、「公共政策」、「內部組織能力」、「跨組織聯盟力量」、「支持基礎與影響力」等 5 大向度來評斷倡議工作的成效。至於如何設計出合適的衡量尺度,因為倡議成效涉及長期和動態環境變化,未必適合直接套用傳統實驗室黃金標準,因此,在對各種新興評估方法試用評論後,建議可從以下切入點思考評估設計:

  • 確定、衡量社會或政策變革核心成果領域
  • 戰略進展評估
  • 確定、衡量短期增量目標
  • 評估倡議組織本身的能力
  • 過程和影響力案例的研究文檔

本部份再針對「衡量社會或政策變革相關的核心成果領域」,進一步介紹外在的社會規範、公共政策、內部的組織能力、跨組織的聯盟力量、支持基礎與影響力等 5 大向度來評斷倡議工作的成效,以及可採用的資料收集方式建議。

提醒讀者,不管是採取哪一種切入方向,在收集相關證據資料上,都必將不斷弄清楚: 資料從誰而來?何時蒐集?所蒐集的資料欲解決什麼問題?數據收集的嚴謹程度等基本問題。

圖/Jeremy Perkins@ unsplash

1. 改變社會規範

「社會規範」(social norms )指構成文化和社會規則結構的知識、態度、價值觀和行為。

要測量社會規範的轉變,不太可能進行大規模的調查,故多採取抽樣代表群體,或是針對倡議策略所預想的目標受眾為優先觀察社群。主要的 5 種常見的代表取樣調查:

  1. 深度訪談:通常在政策改變後,透過訪談或問卷,了解受訪者想法和優先性變化狀況

  2. 焦點小組:由各方利益團體的代表組成焦點小組,由代表的互動,觀察他們對特定議題的態度是否有所變化

  3. 會議觀察清單:從議程上,一方面記錄成員對此議題的立場觀點,一方面也觀察討論程序與協商過程,以掌握成員的信念是否發生變化

  4. 調查:這類調查執行數量與規模更為擴大,但正因為規模化,所以會轉化可量化數據,以權衡特定議題優先順序的變化

  5. 滾動抽樣調查:這類變動式抽樣調查的複雜度更高,較適合用於追蹤社區意識的變化

2. 提升組織能力

指 NPO 串聯力、人力配置、領導力、組織結構、系統、財務和戰略規劃等核心,這些能力是倡議和政策改變的關鍵條件。

關於「組織能力」評估的工具或方法包括:

  1. Alliance for Justice 司法倡議聯盟的能力評估,請見之前的介紹 ACT(Advocacy Capacity Tool))倡議能力評量工具。

  2. 蜘蛛圖,透過 5 至 8 面向(ex. 研發分析、媒體公關經營、政治遊說、網絡聯盟關係、規劃管理監測等能力)的表現程度,在多邊電達圖(或稱蜘蛛圖)來呈現組織的能力。本站相關文章回顧組織表現指數 Organization Performance Index

  3. KIDS COUNT 自我評估工具,此外 McKinsey Capacity Assessment Grid 也是備受推崇適合非營利組織採用的現成工具(可另見過去寫過的文章非營利組織能力評估工具 The Organizational Capacity Assessment Tool

3. 聯盟鞏固

圖/mnm.all@ unsplash

指聯盟、盟友之間的協作鞏固度。可觀察角度包括支持伙伴的數目增加、聯盟成員彼此默契與協作等級、伙伴間彼此投注努力是否平等、提高伙伴關係的多樣化等。

用於聯盟強弱評估的工具或方法有:

建議可以使用追蹤表。 透過質化方法,NPO 聯盟成員可評估活動來判斷聯盟關係如何。

4. 加強支持基礎

指社會大眾、利益集團和輿論領袖對特定議題的支持影響。為促成政策變化提供了主要的結構條件。此類成果涵蓋文化和社會參與層面,包括增加公民參與、非正式和正式團體之間的聯合發聲、利益團體的合併、輿論領袖擁護動作以及媒體正向關注。

記錄的工具或方法:

  1. log 記錄: 透過草根活動的投入成果(如投票率、得票率)或是第一線組織或行動活動的狀況(如會員支持人數、活動量)、公民參與(如活動出席)公眾對議題投入的增加

  2. 日常記錄:更多的代言人參與度

  3. 調查問卷:和前述提過的大量問卷相似,以等級量化來收集公眾投入度的情況

  4. 自我評估:借由動員或倡議工作清單來檢查其完成度

此外,也提供記錄「媒體支持度」的工具或方法

  1. 媒體追蹤表格:增加的媒體報導

  2. 綜合新聞評分:媒體影響力不能只看議題在媒體上的露出次數,最好能有多樣不同的計算測量方式,例如出現版面長度、時間時段、何種媒體(受眾基數、公信力)

  3. 日常記錄:曝光可見度提高

5. 政策的改進

公共政策的政策變化,包括政策制定、政策提案、展現支持證明(例如共同贊助)、採用、資助和實施。過去,該成果領域通常是衡量宣傳和政策工作是否成功的重點。

追蹤評量「政策變革」的工具或方法:

  1. 日常記錄:立法過程追蹤,例如法案討論誰是正方反方、投票意向、跑票等等情況

  2. 日常記錄:政策進展追蹤分析,包括政策內容的組合要件,

  3. 調查:評估政策的數量和類型

  4. 日常記錄:監視政策落實

  5. 環境評估: 如果倡議的課題涉及實體空間,如城市裏的公園、人行道、自然保育區等,則可利用地理資訊系統來記錄、比較物理環境的變化

影響力的變化

最終形成社會和自然生活,例如個人、人口和自然環境上的變動促使政策改革,是長期的結果和目標。


延伸閱讀

從文化核心,翻轉募款困境——草根組織募款聖經《Fundraising for Social Change》導讀

導入科技卻不如預期?5 大基本提問,讓 NPO 看見「資訊管理力」的重要性

作者介紹

NGO 推進器

NGO 推進器

介紹並分享盡責安全的網路資訊,協助找尋全方位的非政府/非營利組織數位科技與社會運動策略。

FACEBOOK讀者迴響