請益Request爬蟲

keel9013501/19 20:13標題分類跟縮網址都不會嗎...

Hsins01/19 20:23非親非故又問的不清不楚，願意幫忙的人可能不多:(

MoonCode01/19 20:40你瀏覽器看得到用爬蟲至少能抓個幾次（後續可能被擋）

MoonCode01/19 20:40不要放棄

alihue01/19 22:01直接回到完成的版本，然後複製多份同時跑，每支爬的範圍

alihue01/19 22:01指定一下

victor2181301/19 22:40先縮網址再說

chuchutaro01/20 00:03dynamic websites?

wayne566894401/20 00:25印象中好像如果是spa爬蟲抓不到（？）

vi00024601/20 00:33如果你是女生 幫的人可能會多一點

vi00024601/20 00:34只能給你關鍵字 用wireshark或fiddler看request的raw

vi00024601/20 00:34data 想辨法模擬出一個一模一樣的request

vi00024601/20 00:38這是get的raw data https://imgur.com/EViD6Ld

vi00024601/20 00:39我網路亂抓的圖 我比較常用fiddler 你可以找個順手的

becca94501/20 01:03你很不想問問題？

Murasaki011001/20 01:19問chatGPT

kanahela01/20 07:38你給的這個網址，超級市場分類商品，點進去就timeout了

andy2254301/20 09:17不好意思第一次在本版發文

andy2254301/20 09:17感謝各位指教

surimodo01/20 10:07selenium 笑死 怎麼可能快

HybridSC01/20 15:44建議先去搞懂request的運作方式，不然以後也是一個頁面

HybridSC01/20 15:44問一次

vi00024601/20 16:41這兩本書我沒讀過 不過看目錄應該有你要的東西

vi00024601/20 16:41https://www.tenlong.com.tw/products/9787301322697

vi00024601/20 16:41https://www.tenlong.com.tw/products/9787115528735

vi00024601/20 16:42看反爬蟲那個章節就好

brucetu01/20 20:29selenium不夠快你不會多開幾台?

brucetu01/20 20:30你在那邊破解反爬蟲的成本絕對夠你多開好幾台

vi00024601/21 00:34多開幾台治標不治本 又浪費效能 學好request才是正解

andy2254301/21 11:04謝謝各位意見，小弟再回去多研究request

ReverieKai01/21 17:48你要先了解request和Selenium兩個爬出來的網頁差異還

ReverieKai01/21 17:48有運作原理

secretfly01/22 01:00網路上能看的解決方式都看過一遍？？？你可以看兩遍

B098869808801/22 12:30連縮網址都不會你回去報資測會比較快

MoonCode01/22 19:19凶

john031201/22 19:57有些反爬蟲技術就不是requests學好就能解決的

Belieeve01/23 06:30弱弱問一下，用爬蟲進行商業行為（外包），這樣不違法

Belieeve01/23 06:30嗎…？