做爬蟲都希望自己的爬蟲盡快的抓取大量的數(shù)據(jù)，而且還要經(jīng)常頻繁的更新數(shù)據(jù)，當(dāng)然有節(jié)操的爬蟲都知道將爬取頻率設(shè)在一個(gè)合理的范圍降低目標(biāo)服務(wù)器的壓力而不是逞能爬的飛快，要知道爬與反爬沒有絕對(duì)的有效手段。

更常用的手段是使用代理ip，突破服務(wù)器的反爬蟲機(jī)制，繼續(xù)較高頻率的抓取。

有一個(gè)思路是我們的adsl撥號(hào)一般斷線重?fù)芎髸?huì)得到一個(gè)新的ip，我們可以在一段時(shí)間后就重新連接adsl獲取新的ip再繼續(xù)爬取，但是有個(gè)問題撥號(hào)重?fù)鼙仨氁�間隔一段時(shí)間才可以，這樣我們的程序就中斷了，

所以你可以準(zhǔn)備幾臺(tái)adsl的服務(wù)器作為代理，然后爬蟲運(yùn)行在另外一臺(tái)不斷網(wǎng)的服務(wù)器運(yùn)行，當(dāng)然這樣使用對(duì)于大數(shù)據(jù)爬取來(lái)說就太麻煩了，

于是就有了很多第三方的專業(yè)代理商，【米安網(wǎng)絡(luò)】ip代理可以方便快捷的獲取大量的ip資源，是您采集數(shù)據(jù)的好助手。