PTT推薦

[討論] 聊聊JKW測試背後的問題

看板MobileComm標題[討論] 聊聊JKW測試背後的問題作者
square4
(卡哇伊)
時間推噓 8 推:8 噓:0 →:14

1. 影片連結:https://b23.tv/OHs2LYC
2. 影片標題:芯片功率到底要怎麽測?為什麽跑分要用幾何平均?什麽樣的能效分析有代表性?聊聊能效分析背後的知識
3. 影片來源(媒體/作者):LuvLetter(資深知乎果粉)
4. 影片內容:
作者認為GB5不能直接還原日常使用場景,更不用說實際UI渲染並不是簡簡單單的純粹單核渲染或者小核/大核核心簇渲染,而且JKW完全沒有把GB5吃透,GB5測試本身也有很多不適合於計算能效測試的地方。
GB5的加密、整數和浮點三大塊是有加權的算術平均,分別占5%、65%、30%,整數、浮點的分數,由其中每個項目的幾何平均分得出,而每個項目的運行速率(Rate),在運行多次之後取平均,對比i3-8100這個1000基準分點,得出這一項的分數。
https://i.imgur.com/z41voZ4.jpg

圖https://i.imgur.com/z41voZ4.jpg?e=1667519536&s=Ej7tD8xtuKwG666drEC1fQ, 聊聊JKW測試背後的問題

在JKW去年A15影片里,其Total-AVG-P這一項是直接進行算數平均,違背GB總分加權和幾何複合的規則,由於這三塊場景能耗不同,權重佔比還倒掛, 這就帶來了系統誤差,作者分析誤差疊加能到7%,7%夠安卓SOC一代差距了。
https://i.imgur.com/8ZGJ3N4.jpg
圖https://i.imgur.com/8ZGJ3N4.jpg?e=1667547158&s=zrqv_CDilz3LUR4fqrwE8Q, 聊聊JKW測試背後的問題
[註] 系統誤差:在相同的觀測條件下,系統誤差通常會表現出一定的規律性。系統誤差可由嚴格標準的操作來控制,也可通過校正儀器來減小誤差。

如果用了幾何平均, 就不能再使用算數平均裡的加減分配/結合律,其功率如果繼續帶入粗糙的「主機板功率」, 就會進一步引入系統誤差,外加剛才GB加權總分的問題,可謂錯上加錯。
https://i.imgur.com/lvFrNFQ.jpg

圖https://i.imgur.com/lvFrNFQ.jpg?e=1667509329&s=mHAKW_d0v0jubI8X6RENdw, 聊聊JKW測試背後的問題
如今的Apple Silicon Mac/iPhone用的都是PMIC供電. 所謂主機板功耗還要經過各種DC-DC/LDO才會到達指定的IP核區域,底層的思路就是讓PMIC去進行降壓,減少在半導體上過高電壓帶來的非線性損失。

作者認為應該用GFXBench的VK/Metal,因為不管是Mac,還是新的Android,通過Angle/MoltenGL之類的API轉換成GL,其實執行底層已經是VK/Metal,如果跑GL其實就在額外考驗CPU。

原來A14峰值功耗6.72W,算起來能耗比分高過A15,到了最近這期視頻,A14就變成8W多,前後多出1.5W。
https://i.imgur.com/vWGauGk.jpg

圖https://i.imgur.com/vWGauGk.jpg?e=1667521036&s=Dr7wrbg1nEsh1ZkaasGeKQ, 聊聊JKW測試背後的問題

5. 心得/評論:有網友認為JKW做了與他們能力不服的影片選題,而粉絲不具備批判性思維能力,一切的背後是泛娛樂化至上。亦有網友認為手機這邊還是得老老實實測每台不同機器的整機功耗,單純測SOC單核功耗水太深。
https://i.imgur.com/XJqKCJk.jpg
圖https://i.imgur.com/XJqKCJk.jpg?e=1667552596&s=bHZlLXoibZRSH9ipwbmC7g, 聊聊JKW測試背後的問題


--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 89.187.161.23 (日本)
PTT 網址
※ 編輯: square4 (89.187.161.23 日本), 05/30/2022 17:14:39

JuiFu61705/30 17:17結果自己沒有數據?

a8053005/30 18:11其實本身測試本來就會有誤差,但不能否認極客灣測試結果

a8053005/30 18:12至少他結論,互相比較方面都算準確,A710、A510翻車沒人想

a8053005/30 18:12

emptie05/30 18:28翻車結論正確不代表推論過程沒瑕疵

emptie05/30 18:29我覺得這種實事求是的態度是對的

JuiFu61705/30 18:34不過如果改掉瑕疵答案會不一樣嗎?

Uncontinue05/30 18:44類似程序正義吧 之前做研究法也是 方法錯就要全部重來

sunandrew32105/30 19:27個人覺得瑕不掩瑜啊,以科普節目來說已經夠了,又

sunandrew32105/30 19:27不是要發表期刊論文

ivon85205/30 21:07有嚴謹質疑是好事

lukesfather05/31 00:42完全同意質疑方向

a8053005/31 02:20我覺得要質疑前,自己要先拿出自己的一套來質疑

a8053005/31 02:21不然每個人測試方式、條件本來就不同,不是疑問丟了就跑

henryyeh556605/31 13:33要質疑別人最有效的方法就是拿出一套更有說服力的

henryyeh556605/31 13:33數據來打連,而不是針對人家的方法指手畫腳,你當

henryyeh556605/31 13:33自己是口委嗎?

yurian06/02 11:58他是測試 一定有很多漏洞 但是做評測就這樣 他又不是發布

yurian06/02 11:58什麼標準

yurian06/02 11:58他是靠影片賺錢 又不是靠幫人定義標準賺錢

yurian06/02 11:59今天如果上法院或是發表在期刊這樣不是不行的 不過他是發

yurian06/02 11:59在bili和yt上lol

※ 編輯: square4 (138.199.22.151 日本), 06/20/2022 21:02:02