47 雷動計劃檢討之二:比拼選舉預測

作者:公民數據 - KW

前言

今屆立法會選舉前夕,曾經有數個不同的機構進行民調,亦有專家提出不同方法提升民調的預測效果。選舉已經曲終人散,我們可以比較一下不同預測方法的結果,看看哪個預測比較準確。

我們在網上找到以下6個基於民調的預測:

  1. 香港大學民意研究計劃民調:隨機用固網電話作滾動民調,主流媒體普遍報道過去五天累計的民調結果。今次的比較我們選擇了:

A. 8月29日至9月2日進行的民調。這是港大民研最後一次民調。

B. 8月28日至9月1日進行的民調。雷動聲吶發表最後一次民調時所依據的最新數據。

  1. 雷動聲吶最後一次合併民調:以港大民調 (至9月1日) 為主要參考的數據,整合雷動聲吶在 telegram 進行的民調,和街站所收集到的數據,然後用統計學方法調整。

  2. 陳電鋸先生的勝算分析:利用 “統合分析、蒙地卡羅模擬法和隨機森林修訂法”,根據港大民研的滾動民調結果,進行預測。我們選擇了於9月4日發表的最終結果。

  3. 香港研究協會最後一次民調:隨機電話民調。調查期間為8月29日至9月1日。

  4. 熱血時報最後一次民調:隨機流動電話民調。調查期間為8月31日至9月2日。

  5. 熱血時報綜合指數:綜合了 “港大民調、熱血時報民調、香港研究協會民調,再綜合街站、論壇及論壇後的市民反應”,制定出來的一套指數,於9月1日發表。

比較方法

選舉結果受建制派配票、政黨告急、策略投票、候選人棄選等因素影響,而上述民調亦沒有考慮或反映這些因素的影響。因此要客觀比較哪個預測較準確並不容易,例如某一個較大誤差值民調的預測效果,可能比另一個誤差值較小的民調,更能代表選民的真實投票意向。

因為策略投票會影響最終的支持度,而支持度本身亦有誤差間距,與其比較支持度百分比,不如著眼實際的結果 ------ 能否成功預測哪些議員會得勝 ------ 從而判斷民調預測的高下。當然,這個比較方法也不是萬全,只是相對其他比較方法,較能夠反映預測能力的高下。

比較結果

港大民研、雷動聲吶及陳電鋸的預測成功率均為最高(83%),熱血時報的最後一次民調及綜合指數只有50%成功率。

除港大在9月1日的民調,其他民調均準確預測九龍東所有當選人。

香港研究協會在九龍西預測成功率達100%,而港大9月2日民調、雷動聲吶及陳雷鋸的分析則以83%緊隨其後。熱血時報的民調及綜合指數以67%成功率敬陪末座。

港大兩次民調均能預測新東其中8席名單(89%),雷動聲吶則以78%成功率緊隨其後。熱血時報的民調及綜合指數則低至56%。

港大9月2日民調成功預測全部議席。雷動、陳電鋸及香港研究均成功預測當中8席(89%)。

綜合而言,港大9月2日民調預測成功率達91%(32席),雷動聲吶則僅以兩席之差排次位。熱血時報的民調及綜合指數的成功率均為69%,為上述民調中最低。

超級區議會選舉只有港大民研 、雷動計劃及香港研究協會發表民調。所有民調均準確預測當中的4席,成功率為 80%。

觀察及檢討

港大民研的最後一次民調預測最準確,35名地區直選的議席成功預測32席,5名超區直選的議席亦成功預測了4席。在這次選舉,以固網電話隨機抽樣(如港大民研)比流動電話(如熱血時報)在預測成功率方面有顯著分別。除此以外,港大民研在9月2日公佈的數據令其預測準確度大幅上升。與各項民調比較,雷動聲吶的預測能力相當理想,亦與港大民研 9月2日的民調表現相近。希望將來可發展出更多能顯著改善準確度的合併方法。

從今次選舉可見,以手機程式作民調媒介的可取之處。除了準確度方面與傳統固網電話民調相近,亦能接觸更多固網電話接觸不到的年齡層。與此同時,手機程式民調相對成本較低,只需有系統發佈調查訊息即可,省卻大量人手及時間成本。這樣能更彈性地隨選情走向調整民調的次數及時機,從而收集到較貼巿的民意。

民調「誤差」就是策略投票發揮效果的明證

當考生從模擬考試中知道自己成績欠佳,自然會全力以赴,希望在最後關頭力挽狂瀾。選民的策略投票,就是為了改寫民調所反映的欠佳選情。根據前文,在五個雷動民調未能準確預測的地區直選議席中,有三席為非建制陣營(張超雄、游蕙禎、羅冠聰)。而雷動民調之所以出錯,很可能就是因為雷動民調顯示他們屬於邊緣而有機會落選的名單,所以雷動計劃建議雷動聲吶用家策略投票給他們。結果,策略選民真的成功扭轉不利的選情,也推翻了民調選前的預測。邊緣名單最後當選,當然不會全是雷動計劃的功勞,但要評估包括雷動在內的民調預測,以至策略投票是否有效時,這些都是必需考慮的因素。雖然民調預測和選舉結果有差異,但這卻是策略投票改寫選情,發揮力量的憑証。

(刊於立場新聞2016年9月30日)

results matching ""

    No results matching ""