絕大部分做過爬蟲的人都知道，在使用爬蟲頻繁爬取同一個(gè)網(wǎng)站時(shí)，經(jīng)常會(huì)被網(wǎng)站的IP反爬蟲機(jī)制給封掉，為了解決封禁IP的問題通常都會(huì)使用代理IP來解決這個(gè)問題。

其中有一部分人在HTTP代理IP的使用上存在著很大的誤解，他們認(rèn)為使用了代理IP就能解決一切反爬蟲問題，然而實(shí)際上并不是這樣的，代理IP它不是萬能的，它只是一個(gè)工具，如果使用不洽當(dāng)，一樣會(huì)面臨被封禁IP導(dǎo)致無法訪問。

首先我們要了解的是，代理IP它分為三種類型：透明代理、普通匿名代理、高級匿名代理。

高匿、匿名和透明代理的主要區(qū)別在于對方服務(wù)器獲取REMOTE_ADDR、HTTP_X_FORWARDED_FOR、HTTP_VIA三個(gè)參數(shù)的區(qū)別。

大家都知道，remote-addr是無法偽造的。

使用透明代理Transparent的時(shí)候，對方服務(wù)器知道你使用了代理，也知道你的真實(shí)IP。

使用匿名代理Anonymous的時(shí)候，對方服務(wù)器知道你使用了代理，但不知道你的真實(shí)IP。

使用高匿名代理High的時(shí)候，對方服務(wù)器不知道你使用了代理，也不知道你的真實(shí)IP。

使用透明代理和普通匿名代理會(huì)被目標(biāo)網(wǎng)站得知使用了代理IP，自然會(huì)受到限制，高級匿名代理則不會(huì)，所以在選擇代理IP的時(shí)候，要選擇高匿代理IP，這樣會(huì)方便不少。

使用一個(gè)代理IP爬取目標(biāo)網(wǎng)站，被封IP的因素太多，比如cookie，比如User Agent等等，當(dāng)訪問目標(biāo)網(wǎng)站過快時(shí)，IP也會(huì)被封，因?yàn)槿祟愓�常訪問遠(yuǎn)遠(yuǎn)達(dá)不到那個(gè)速度，肯定會(huì)被目標(biāo)網(wǎng)站的反爬蟲策略識別。

所以要盡量地模擬真實(shí)用戶正常訪問，才能大程度地避開封IP。優(yōu)質(zhì)HTTP代理IP提供商--米安網(wǎng)絡(luò)提供了海量優(yōu)質(zhì)高匿名IP資源，可以多線程同時(shí)進(jìn)行工作，不限并發(fā)數(shù)，工作效率極高，朋友們使用高匿代理IP才是爬蟲們的正確打開方式!