[問卦] 有沒有民調劉伯溫的八卦?
大家好
最近我在逛板上的文章時,推文的一張圖引起了我的注意:
http://i.imgur.com/zV767bw.jpg
我就想到,通常選舉一結束,大家就鳥獸散,很少有人會回憶哪一家的民調做得比較準確
但是數據就公開在那裏,只要用對的方式進行分析,應該就能立馬分出高下
甚至透過這些資料,我們還能知道:那些民調和選舉結果差距頗大的媒體,通常會高估了哪一個政黨色彩的候選人?
想到這裡,我的數據魂又燃燒了起來
首先,為了建立合理的標準來衡量民調的準確度
我們先從簡單的案例看起:
【案例一】
A、B 兩位候選人在某次選舉中的得票率分別為 40%、50% (有 10% 廢票)
而在這個選舉之前
甲單位的民調結果是 30%、40% (30% 未表態)
乙單位的民調結果是 34%、45% (21% 未表態)
請問,甲乙兩家誰的民調比較準?
你會說,簡單,先忽略掉未表態和棄票的,把A除以B,再一起比對數值不就好了?
選舉結果: A/B = 40/50 = 0.8
甲民調: A/B = 30/40 = 0.75
乙民調: A/B = 34/45 = 0.755...
看來乙民調更接近選舉結果,故乙民調勝出
很棒,完美,一百分
可是,如果變成三個候選人參選的情況呢?
請看示例:
【案例二】
A、B、C 三位候選人進行選舉
選舉結果: 20%、30%、40% (10% 廢票)
甲民調: 25%、29%、33% (13% 未表態)
乙民調: 10%、19%、22% (49% 未表態)
現在很難看出哪一家比較準了,因為我們不知道到底要用誰除以誰來進行比較
沒關係,既然問題變成三維的,那我們就用三維的方式去解決它
如果把各候選人 (A, B, C) 的有效票畫成「向量」,我們可以得到這張 3D 繪圖
https://i.imgur.com/tLbXjUy.gif
可以看到,雖然乙民調(黃色)的向量比較短(有效票很少),但是它指向的方向和選舉結果很接近
https://i.imgur.com/PwnrMGH.png
可以斷言的是,民調向量和選舉結果向量的夾角越小,就代表它的民調越接近真實結果
為什麼呢?
還記得新聞喜歡拿「章魚里」來預測大選結果嗎?
章魚里的人數雖然很少,但是可以比擬為全國投票狀態的縮影
但如果把章魚里的投票數向量畫上去,那麼它(理想上)會和大選的向量會完全重疊在一
起!
這種使用向量夾角來量化相似度的方式,叫做「餘弦相似度」
公式可以寫成這個樣子:
https://i.imgur.com/BYJHAtT.png
這個公式只會產生 -1~1 的數值範圍
如果兩個向量剛好完全重疊,得到的結果會等於 1 (即預測與選舉結果完全一致)
反之,如果算出來是 -1,那代表它的預測是完美的反指標 XD
只不過目前的情況,支持率的數字都是正數,所以不可能會出現負的數值
最差的預測結果也只會是兩個向量互相垂直 (即數值等於 0 )
於是,我們可以利用這個「與選舉結果向量的餘弦相似度」
拿來作為「民調準確度」的指標 (範圍: 0~1 分)
現在,我們用公式把上面兩個案例重新算一遍:
【案例一】
甲民調準確度: 0.999512..
乙民調準確度: 0.999616..
(乙民調勝出)
【案例二】
甲民調準確度: 0.988229..
乙民調準確度: 0.996710..
(乙民調勝出)
得證,乙做的民調單位比甲更準確~
熱身完之後,當然開始拿真實數據開刀啦!
首先我從 2020 的總統大選開始下手
維基百科上面都可以找到當時各家媒體的選前民調
於是我直接把資料爬下來,粗暴地計算一番:
https://i.imgur.com/B0hVoh7.png
(註2: 民調百分比皆已排除未表態數據並做歸一化處理)
哦~ 原來第一名是TVBS阿 (思)
雖然結果出爐了,但我還不滿於此
我想,如果能把每個民調單位用剛剛的 3D 畫出來,做出全局的分布圖,那樣不是很猛
嗎?
只恐怕畫面看起來會很凌亂,而且 3D 圖需要像上面那樣不停轉動才能看出全貌,如果我底下貼一堆旋轉的 3D 圖,大家不就看得頭昏眼花了嗎?
幸好我找到了一種很棒的繪圖方式,叫做「三元相圖(ternary diagram)」
舉例來說,2020總統大選的選舉結果,可以落在三元相圖中的這個點上面:
https://i.imgur.com/kkuaVh0.png
基本上你可以這麼理解:
「落點越靠近誰的頂點,就越傾向誰會當選」
三元相圖還有一個重要的特色是,無論你點在三角形中的哪一點,三人的數據總合起來都會是 1 (即100%)
這非常適合拿來繪製有三個候選人的選舉得票率佔比
現在我們把各家民調也畫在這張圖上面試試!
https://i.imgur.com/zg14DY6.png
好像太擠了,我把圖片放大一點:
https://i.imgur.com/BygGKMu.png
可以看到,TVBS的民調確實最接近選舉結果
除此之外,我們還可以怎麼解析這張圖呢?
根據「越靠近誰的頂點,就越傾向誰會當選」的原則
如果畫一條通過選舉結果點的水平線,它就能辨別該民調單位是高估還是低估了蔡的得票率:
https://i.imgur.com/6lYWaCD.png
(自由時報...還真是正常發揮阿 XD)
如果切另一個角度,也可以看到民調對韓得票率的高估和低估程度:
https://i.imgur.com/LeK1wfE.png
基本上民調普遍低估了韓的得票率,而這其實是有跡可循的
因為韓陣營當時的選舉策略是,遇到民調一律回答「唯一支持蔡英文」,藉以擾亂民調,避免打擊支持者的信心
然而在這種背景下,TVBS還是做出了離選舉結果相近的民調,實在不簡單
至於老宋的角度,也可以看出所有民調都高估了宋的得票率,即俗話說的藍綠歸隊,這個我就不畫漸層圖了,畫這個很累= =
另外,為了讓數據更客觀,圖上圈圈的大小也顯示了調查當下離選舉的日期差距,畢竟天數差距太大的話,民調不準也是無可厚非
以上是候選人數是三個人時的繪圖方式
至於候選人數是兩個人的情況就比較簡單了
以 2018 新北市選舉侯友誼 vs 蘇貞昌 為例,繪圖如下:
https://i.imgur.com/jn0JH2v.png
X 軸基本上只要選擇其中一個候選人的得票率即可 (我使用的是 蘇/(侯+蘇) 得票佔比)
注意數據已經過局部放大處理,當時是侯勝選,只是 Zoom in 後選舉結果看起來偏右
而 Y 軸放啥都沒差,我就拿來放民調準確度了
由於公式計算的關係,民調看起來會是「類拋物線」的分布
這裡的虛線同樣也可以區分民調的偏差程度:
https://i.imgur.com/SZhYN8i.png
只能說,靠向右邊的民調單位,確實台灣價值高到不行
哦? 這次自由比TVBS更準了一點,難道自由還是很有料的嗎?
沒關係,等等我會把近年各屆的選舉民調拿出來一次做統計,選出真正的民調劉伯溫!
相信各位現在已經學會如何看圖了
接下來就公布 2012 以來的總統選舉 + 2018年直轄市市長選舉 的各家民調偏差分析結果:
https://i.imgur.com/Fp5YVS2.png
https://i.imgur.com/Io5oMKO.png
https://i.imgur.com/HqLnE8j.png
https://i.imgur.com/HLQYPFq.png
https://i.imgur.com/wD1iK81.png
https://i.imgur.com/LrNsQgy.png
https://i.imgur.com/70jzCCG.png
https://i.imgur.com/C2GrEXj.png
上面能分析的地方實在太多了,但是我政治分析起來也沒大家厲害,就不在這獻醜了
最後,來看看誰才是民調劉伯溫:
https://i.imgur.com/LdVwygY.png
恩 我知道 樣本數真的少得可憐 囧 一次選舉只能有一個樣本數 這沒辦法
會弄一個中位數排行是因為,2018 台南市長選舉那次拉低了不少民調單位的平均值
所以才想用中位數的表現來排除失準的民調
從結果來看,中位數排行的前三名是: 全國公信力、世新大學、TVBS
如果你比較想看平均民調實力的話,前三名則是: 國民黨、世新大學、全國意向
其中我覺得最猛的是世新大學,做了6次的民調依然有相當高的平均值,兩個排行都進了前三
就我個人而言,我願稱它為民調劉伯溫 o'_'o
如果你想查看其他縣市的選舉民調分析,或者想看大圖,這裡提供程式碼給大家參考:
https://github.com/papple23g/taiwan-election-polls-liu-bo-Wen
感謝大家的觀看~
--
太長 吐了
建議看一下 precision, recall, f1 sco
re
你民調系?
推
推 認真文
選 cosine similarity 有什麼理由嗎?
比如為什麼不能用 cross entropy
三笠好威
推 認真
有料 推
太有料了吧
你論文系? 要不要幫小智打工?
可悲的是裡面好像已經沒有藍媒or中立了
推 好認真
長知識了 辛苦也謝謝你了
有料
你是人才 真的
超好文 大大推
推
謝謝老師
推優文
厲害
好文推,收穫良多
侯腮雷
推
優文推
民調系宗師!!!
民調大師
你民調系?
推 雖然是專業文 但我閱讀時可以感受
到樂趣
開水肥車
好的,泥明天去數位部報到
好像幾乎都是覺醒戰神口中指控的深藍民
調
(上榜的那些
認真推~
治監: 早說 怎麼不早說
專業優文¥
有趣,厲害,感謝。
民調系優文
優文推
內容很有趣。是不是想應徵數位部?
多元宇宙科科長
強~~
沒有胡歌老公嗎
酷
印象中TVBS封關都算滿準的
統計神人
會統計又會畫圖的專家好帥
結論:藍的比較誠實XD
太猛了吧 比抄人有料多了
好猛,推認真分析
自由時報笑死
只信三立民調
泣的民調和實際結果.....
這的確值得研究
神人
認真推
結論就是看世新的
被泣笑死
推
好猛 推認真
你這篇可以當幾篇碩士論文
o.o
認真給推
現在當網軍都要懂data science了嗎?
轉給唐鳳問問推廣部能不能上班?
謝謝老師
這篇文章值得1000p幣w
認真好文給推
但其實也有跡可循 世新畢竟是學術機構
不知道有沒有考慮列入政大選研看看?
寫的超級厲害,大推高手神人
這可以延伸出一篇論文了吧
你這篇賣給林智堅當論文他說不定會開很高
民調天師級了 可以發展一系列的理論了
你FiveThirtyEight派來的??
推
推呀
分析很清楚
厲害了 哥
神
謝謝你 民調超人
好認真,推
三立幾乎都反的
push
鄉民真的臥虎藏龍
po這篇是要應徵網軍嗎?
認真文
推
推
可以當一篇論文了
論文系?
優文
推 認真文但淺顯易讀
可以當論文,小心被抄襲
多元宇宙科長
世新民調中心很有名的
太厲害了
哇...
TVBS其實蠻準的
國民黨改行做民調好了 至少比政治有說服力
推
好猛 推
推
寫成論文吧 大大
你這篇可以當一篇論文給國發所在職專班畢
業了雖然 tvbs 民調準是業界都知道的事啦
推,論文水準
很棒
看世新大學的就對了
推,真的很強
該去數位部投履歷了吧
推
好認真
推推
謝謝整理
你也太認真了吧 XDDD 不推不行
太神啦
是不是在丟數位部履歷
推優質文章
推
蠻強的 這麼有空做分析
ptt果然一堆神人
讚
美麗島不是很強吧,吳董最愛吹自家的民調.
超認真,辛苦了
推
三民自不愧是党媒
優文,八卦需要多一點這種文
綠的就很愛灌水阿
認真推
推厲害
不明覺厲!
我從以前到現在好像只有接過世新的
民調電話
党不開心
你民調系?
小心堅哥拿去抄
推
推
數位發展部需要你的專業
推
小智找你寫就不會被抓抄襲了
看完就可以發現泣的數據很有問題
推整理
推
推
本座冊封你為:民調王
這算小論文了吧
推
推
民進黨比較愛做民調 就這樣吧
看來某立場真的就是笑話
認真有趣 推推
推認真
黨媒一目了然
好看
這能寫成論文了 厲害
推 這可以寫論文了
你名調系?
泣的預測....
不要被抄走
推
認真推…
推
太厲害了
你會去考數位發展部當公務員嗎?
看世新就知道誰會選上了 地下賭盤明燈
哇
看完偏綠的民調偏差比較大些
AVBS是媒體最準是共識
有點東西
好猛喔 厲害
認真問一下 桃園有四腳獸 圖該怎畫?
專業
真的是數據魂耶 哈哈
到底在認真什麼啦 笑爛
公共行政系起碼要有一篇這樣水準的論文
比治肩有料多了
雖然有些地方看不懂但幹有猛
認真文給推
欸 你明天會不會就被數位部找去上
班了
鄉民各個人才給推
推,太強了
請收下我的膝蓋
這可以寫論文了
專業猛
這在寫論文吧
這篇可以賣給政治系寫政治論文了,
比抄的好一百萬倍
準備收編多元宇宙科
Good job!
比抄跑堅的抄襲好萬倍
笑死
先推
深夜好文
推
....太鬼了 比小智有料
太強大 推
推推
可以寫論文了XD
可以寫一篇論文了~哈哈哈
也太厲害了 而且平易近人的講解
推
這是論文中的數據分析吧
神人 滿清楚的邏輯跟論述
你可以幫智堅寫論文了
可以講結論是民進黨做假民調帶風向
專業推!
哭哭電視台做假民調都不會有事呢
你在寫論文?
你準備寫論文膩
這篇沒有台灣價值 前三名竟然沒dpp民調
你是AC Nelson經理對不對?
@[email protected]認真文先推
對小智來說這已經是論文等級了吧
推
這可以當成論文了
太強大了…..
難得有認真文推
可以肯定三立是最不準的
認真給推。綠媒民調沒參考價值
強
樣本數低到可憐 沒什麼代表性吧 但是研究
模型挺不錯的
塔綠班又要跳針說八卦沒專業文
三向圖 怎麼不把人名寫在中間?
可以當碩論了
結果自由,台灣XX的民調都在造謠阿
推推 又學到新知識了
推
推
推
推
認真推
有夠專業的數據分析
數位部需要你,希望你顏色對,升官發財
酷 寫論文囉
數位部需要你
認真給推
世新
太神了
推推 認真文
2018各家民調失準主因是當時有六組候選人
選舉結果最低的也拿到4%以上
喜愛你的文章風格
推 謝謝分析
民調時非執政黨選民很大比例躲在未決定裡
所以當純用黃偉哲/高思博比率看當然都失準
推
但若採用黃偉哲/總樣本 來看其實沒差太多
三立只看綠的投票率超準的
大家都蠻準的 除了一家
推
人才欸幹
推分析
太神啦
可以m嗎?每回選舉都想複習一下~
太猛了吧
推!好文必須推爆!
你民調系?
有料
你這個論文作得比余正煌好太多
也太專業
圖解析度太低 字好糊
好文須m
用心文給推
推
厲害 推推
你有考慮寫碩士論文嗎 看起來比小智有
料
明天到數位發展部上班
連我數字恐懼症都看完了,佩服
push
專業
認真推
三立 哈哈
三立真的很準
三立 真他媽會做
數據人 我的超人
你放大三元相圖後總覺得軸的數字不
對
三立笑死人 蘇貞昌&林佳龍勝選 XD
認真看完了 很優秀
推 專業的
坐等世新預測這次縣市長
數位發展部面試考題?
好啦 你要推給你
太強了 好用心
三立民調超像笑話xddd
TVBS準 但又如何?(燦笑)
好文
三泣就是一個笑話
謝謝你
人才
用心推
推
猛
高手在民間
這論文水平了吧
樣本太少
太長 是在認真什麼啦
結論 泣跟夭天一樣都是給死忠專用的
高手
你講得太複雜,早就有鄉民講過TVBS最
準
爆
[討論] 陳時中民調讓X粉大崩潰耶XDDDDDDDDDDDD剛看板上幾篇看不太懂,去翻一下,原來是美麗島 做出民調,這個每天被八x板狂洗臉。 比小學生笨、比陳進興壞的陳時中 居然做出: 「衛福部長陳時中滿意度有63.9%,爆
Re: [討論] 郭正亮:東森台北市長民調是假民調我覺得很無聊,公司登記這種一翻兩瞪眼一查的就有的東西在這邊懷疑什麼鬼? 你用「雨晴」兩個字去經濟部商業司查詢一下,就會發現目前只有四間叫做雨晴的公司, 1. 雨晴企業有限公司 台南,做服裝貿易的 2. 雨晴精品有限公司73
[轉錄] 徐巧芯:假民調重現江湖?1.轉錄網址︰ 2.轉錄來源︰徐巧芯fb 3.轉錄內容︰ 假民調重現江湖?55
[討論] 盧秀燕的民調為什麼這麼高我不是台中人啦,也不太關心台中 兩個禮拜前問我台中市市長是誰,我大概都不知道 她好像也沒什麼事知名的事蹟 但最近看版 發現這個我從來沒聽說過的人38
[轉錄] 徐巧芯:雨晴民調到底是什麼單位?1.轉錄網址︰ ※ 網址超過一行 請縮網址 ※ 2.轉錄來源︰ 徐巧芯 臉書38
[討論] 匯流民調-高雄市長選舉支持度(7/16-17)委託單位 CNEWS匯流新聞網 執行機構 精確市場研究 調查日期 7/16-17 有效樣本 1044 民進黨 國民黨 民眾黨 時代力量 台灣基進 中立 其他 未回答 樣本數 1044 408 95 85 34 31 264 4 123 支持度 39.1 9.1 8.1 3.3 3.0 25.3 0.4 11.8 2022高雄市長選舉支持度14
[討論] 雙北平均值民調得票率預測 台北市: 蔣 41% 陳 33% 黃 26% 新北市: 侯 60% 林 40% --13
[討論] 美國期中選舉民調 性別和學歷分析最近看到美國左媒MSNBC做出11月期中選舉(選眾議員)的民調 然後再拿2018出口民調去做比較 一起看是挺有趣的 (從上到下分別為4
[討論] 民進黨民調-新北市府對恩恩案的處理公布單位 民進黨 調查時間 6/27-28 有效樣本 872 新北市長侯友宜是否提供足夠資料給恩恩爸爸 有 22 沒有,不足夠 48 侯友宜對恩恩事件處置表現6
Re: [討論] 郭正亮:東森台北市長民調是假民調我今天最後一篇扣打,就用來反駁郭正亮... 我可以保證真的有這次民調,因為我有接到電話。 我不知道調查單位是誰,但是打電話來的是一位阿姨, 因為那位阿姨人很誠懇,所以我就幫她做了民調。 那個民調的時間是在上星期六還是日的下午,
爆
[爆卦] 割喉案乾妹換律師翻供了爆
[問卦] IKEA宜得利用料會比較差嗎爆
[問卦] 任家萱的媽媽變成我媽20幾年84
[問卦] 白飯煮太濕怎麼救84
[問卦] 韓國啦啦隊為什麼一直來台灣77
[爆卦] 老牌側翼蕪菁雜誌預告自刪帳號!爆
[問卦] 滿手日幣 我真的不想X了 怎辦70
[問卦] 媽媽:有工作就好,不要嫌錢太少!怎回57
[問卦] 日圓貶這麼多 日本底層怎麼活?48
[問卦] 有七百萬 要結婚還是要自己爽爽過56
[問卦] 在台灣有比憲法還大的東西嗎?57
[問卦] 這隻是什麼蟲?爆
[問卦] 館長:之後我們的衣服會跟中國下單45
[問卦] 娶日本老婆vs烏克蘭老婆,強制二選一55
[問卦] 軍武版現在是平行時空嗎?46
[問卦] 法官平常會有什麼被動收入嗎?87
[問卦] 日圓跌破160 人均gdp剩下2.8萬美元....爆
[問卦] 怎這麼多粉專發文喜歡高雄>台北45
[問卦] 智利地震規模9.5是什麼概念45
[問卦] 為什麼B站都沒有廣告?46
[問卦] 有一說一 中國有哪些產業屌打台灣?爆
[爆卦] 德國穆斯林發起在當地建立哈里發國41
[問卦] 四大淫校是哪四間大學?26
[問卦] 烏克蘭輸掉的話 台灣地區人民會覺醒嗎35
[問卦] 八仙到底何時要開幕?33
[問卦] 肩頸很硬大家都怎麼解決?30
Re: [問卦] 軍武版現在是平行時空嗎?29
[問卦] 為啥日系進口車 沒變便宜??27
[問卦] 6小時沒地震囉~30
[問卦] 晚上吃漢來海港 中午要吃什麼