爬蟲必須用代理ip嗎?

其實關于是否使用代理ip軟件，是看情況而定的。雖然非必須，但是不用會很難受，爬蟲一直爬一個網站，相當于你一直找一個人打招呼，時間長了誰都會討厭，非常大的概率會被拉黑(封IP)。

所以使用代理IP，相當于你戴著面具去找同一個人打招呼，打一次換一個面具，這個人以為是不同的人再找他，也不會把你拉黑。

爬蟲程序從本質上來說也是個訪問網頁的用戶而已，只不過是個不那么守規(guī)矩的特殊用戶，服務器一般很不歡迎這樣的特殊用戶總是用各種手段發(fā)現和禁止。最常見的就是判斷你訪問的頻率，因為普通人訪問網頁的頻率是不會很快的，如果發(fā)現某個ip訪問的過快就會將此ip封禁。