之前有朋友問我：你們家的API必須要有提取間隔時間嗎，不能不受限制的啟用嗎?

米安網(wǎng)絡(luò)客服答：您好，為了確保IP池的穩(wěn)定性，不能不受限制的啟用API呢。

用戶朋友又說：這不合理呀，我們的網(wǎng)絡(luò)爬蟲要多線程同步使用IP發(fā)送數(shù)據(jù)的，要不然效率很低了。

米安網(wǎng)絡(luò)客服答：你可以在本地構(gòu)建一個IP池，借助米安網(wǎng)絡(luò)API收集IP，存入本地IP池，借助本地API可以多線程同步收集IP的。

用戶朋友：如何搭建本地IP池啊，不怎么會啊。

米安網(wǎng)絡(luò)客服：這個其實跟你們爬取網(wǎng)絡(luò)上的免費代理IP的基本原理差不太多，給個策略，敲代碼對您這樣子的網(wǎng)絡(luò)爬蟲大神而言肯定不是難題。

主要框圖如下所示：

本地代理IP可以由四部分組成：分別為ProxyGetter、DB、Schedule、ProxyApi。

一、ProxyGetter:

代理收集端口，這個也可以在米安網(wǎng)絡(luò)后臺管理轉(zhuǎn)化成，例如短效優(yōu)質(zhì)代理的最低套餐是單提5個IP，每啟用一次API就會返回5個最新代理IP，將其放入DB。

二、DB

用于儲存代理IP，現(xiàn)在適用SSDB和Redis(強烈推薦SSDB)。那為什么選用SSDB，我個人覺得SSDB是一個不錯的Redis替代選擇，安裝起來很簡單。

三、Schedule

任務(wù)計劃，定時執(zhí)行去檢驗DB中的代理可使用性，刪掉不能用的代理。同時會主動借助ProxyGetter去收集最新代理放入DB。

四、ProxyApi

代理池對外接口，由Flask完成，作用是給網(wǎng)絡(luò)爬蟲提供與代理池互動的端口。

總體框架就是這個樣子，接著就是編寫代碼了，這里簡單介紹一下下編碼模塊，具體編碼就要您去編程了。

A、Api

第三方接口相關(guān)編碼，現(xiàn)在api是由Flask完成，編碼也非常簡單。客戶端請求傳給Flask，F(xiàn)lask啟用‘ProxyManager’中的完成，包括‘get/delete/refresh/get_all’;

B、DB

數(shù)據(jù)庫相關(guān)編碼，現(xiàn)在數(shù)據(jù)庫是適用SSDB/Redis。編碼用工廠模式完成，方便以后擴展其他類型數(shù)據(jù)庫;

C、Manager

‘get/delete/refresh/get_all’等接口的具體實現(xiàn)類，現(xiàn)在代理池只來管理proxy，以后很有可能會有很多作用，例如代理和網(wǎng)絡(luò)爬蟲的關(guān)聯(lián)綁定，代理和賬號的關(guān)聯(lián)綁定等等;

D、Schedule

定時執(zhí)行相關(guān)編碼，現(xiàn)在只是完成定時執(zhí)行去更新代理，并檢驗可以用代理，采用多線程方式。

基本概況就是這個樣子，擁有架構(gòu)策略，相信敲代碼并不是什么難題。本地IP池搭建好了，就可以多線程同步不受限制的啟用本地API收集IP使用了。