Re: [心得] 如何減少 GTA Online 70% 載入時間?(轉)

※ 引述《alihue (wanda wanda)》之銘言：
: 原始文章: https://nee.lv/2021/02/28/How-I-cut-GTA-Online-loading-times-by-70/: 如何減少 GTA Online 70% 載入時間?
: 作者覺得 GTA Online 載入時間機八久，因此想要一探究竟
: 首先作者做 benchmark 發現
: Story mode load time: ~1m 10s
: Online mode load time: ~6m flat
: 然後看看 cpu usage 同時在這段時間燃燒
: 第一步，作者先做 profiling 可以得知哪一些 function 佔了最多 CPU 資源
: 第二步，用 disassembler 去看程式碼
: 問題1. It’s… strlen?!
: 好像會 parse 一個高達 10MB 的 json 檔案，其中包含 63k items
: 這些資料是遊戲中的線上商城的
: 問題不是 10MB，而是讀取資料的方式
: https://i.imgur.com/ZHLlEDJ.png

這10mb的json是一個string。迴圈裡的sscanf會讀一個item(key:value)。
所以這個parser裡的strlen的complexity是
strlen(10mb)+strlen(10mb-length(key:value))+strlen(10mb-2*length(key:value)......
這迴圈會跑63k次。很不幸的一個quadratic time的parser就出現了，因為程式師不知sscanf裡有strlen。

GTA的insert也是quadratic time，但這真的蠢，有code review應該都會抓的到

無論如何，json parser不應該自己寫。
https://github.com/simdjson/simdjson - 最快的parser
https://rapidjson.org/ - 實際上快又準確，最多人建議的parser
https://github.com/nlohmann/json - 好用也多人建議的parser
google 一下，有超多的選擇。

上面任何一個都可以在幾秒(0.幾秒吧)內處理完10mb 63k的json。

而現在優化的GTA還是需要快一分鐘處理！對sscanf is slooooooow。

--

對，遊戲業的習慣，喜歡自己造輪子。十幾二十幾年前，因為各種限制，造輪子還有道理，現在還不趁機導入業界好用的lib就是怠惰了。