PTT推薦

[請益] Python Selenium 多Chromedrive

看板PC_Shopping標題[請益] Python Selenium 多Chromedrive 作者
lsps612
(天氣晴。)
時間推噓 3 推:3 噓:0 →:19

各位前輩好

小弟目前老電腦是 I5-8400 / 4*8G RAM / 256SSD
在跑 Python Selenium Chromedriver
模擬用戶操作(非網頁遊戲),順便爬蟲。主要是CPU資源吃比較大一些


目前執行最多只能跑到12個chromedriver.exe (非分頁),再上去就掛了
如果希望可以穩穩的跑到30個,請問如果要有感升級的話,應該要往哪方面著手呢?
預算抓25K左右。

自己本身是有兩個想法

A. 組一台DESKMINI H470 搭配I5-11400 但應該不太堪用,發熱量也是個問題。
或者
B. 賭人品,對岸淘一台洋垃圾,E5雙CPU,搭配64G的RAM

上述兩者完全是不同面向,但在同樣的價位下,似乎可以做個比較?

麻煩請各位可以給一點建議,不吝指教,謝謝。


--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.230.176.85 (臺灣)
PTT 網址

jior 08/09 16:48別買洋垃圾了吧,11400也不夠用,

jior 08/09 16:48礦渣收個半套他不香嗎?

filiaslayers 08/09 17:00這不是直上threadripper嗎?

CPU直接爆預算XD

arrenwu 08/09 17:15你確認瓶頸是在哪邊了嗎?

I5-8400 12開是保守穩定,15也可以,但考量到跑一次指令就要跑1.2天 這樣真的不行 而另台更老的E3-1231 V3也是穩穩15開 上面兩台除了CPU不同,其他配置也都接近SSD/32G RAM I5 6C6T / E3 4C8T 因此推斷說CPU是最大的關鍵。 題外話,兩台我都有額外裝RAMDISK切6G出來,15開RAM都沒有吃滿 大概8X~90。

lingerkptor 08/09 17:39需要長時間來跑這些項目嗎

lingerkptor 08/09 17:44是跑在selenium grid上嗎?

lingerkptor 08/09 17:47分享我的作法,使用selenium grid

lingerkptor 08/09 17:48node不夠用的時候,用二手主機加nod

lingerkptor 08/09 17:49e,不需要這麼多的時候,就關閉二手

lingerkptor 08/09 17:49增加的主機就好.

lingerkptor 08/09 17:51不過30個就掛掉讓我有點納悶.

lingerkptor 08/09 17:51打錯 12個就掛掉就有點怪怪的

HamalAri 08/09 18:32確定是 cpu 的問題? 感覺 ram 才是

HamalAri 08/09 18:32瓶頸

yeeouo 08/09 20:16差不多吧 8400也才6c6t

yeeouo 08/09 20:17可能在互搶核心了

g37373737 08/09 20:30gui不是必要的話,headless brows

g37373737 08/09 20:30er

※ 編輯: lsps612 (114.41.206.248 臺灣), 08/09/2021 21:21:17

creepy 08/10 12:51你有跑headless嗎

creepy 08/10 12:52我用10400 常駐5個 看不出loading

creepy 08/10 12:52沒必要的話js要關閉 載圖也關閉

creepy 08/10 12:54os的話...我是linux mint