實現(xiàn)爬蟲技術(shù)的編程環(huán)境有很多種，Java.Python.C可用于寫爬蟲。但許多人選擇Python為什么要寫爬蟲?Python它確實可以是爬蟲，豐富的第三方庫非常強大，簡單的幾行代碼可以實現(xiàn)你想要的功能。更重要的是，Python也是數(shù)據(jù)挖掘和分析的好專家。

Python爬蟲一般用什么框架比較好?

1.Scrapy：Scrapy它是一個用于爬網(wǎng)站數(shù)據(jù)和提取結(jié)構(gòu)性數(shù)據(jù)的應(yīng)用框架。它可以應(yīng)用于一系列程序，如數(shù)據(jù)挖掘、信息處理或存儲歷史數(shù)據(jù)。這是一個強大的爬蟲框架，可以滿足簡單的頁面爬行，例如urlpattern情況。這個框架可以輕松爬下亞馬遜產(chǎn)品信息等數(shù)據(jù)。但是對于稍微復(fù)雜的頁面，比如weibo這個框架不能滿足頁面信息的需求。其特點是：HTML,XML內(nèi)置支持源數(shù)據(jù)選擇和提取;帶來了一系列spider共享的可復(fù)用過濾器(即ItemLoaders)，內(nèi)置支持智能處理爬行數(shù)據(jù)。

2.BeautifulSoup：它很有名，整合了一些常見的爬蟲需求。它可以從HTML或XML從文件中提取數(shù)據(jù)Python庫。它可以通過您喜歡的轉(zhuǎn)換器實現(xiàn)常用的文檔導(dǎo)航、搜索和修改文檔的形式.BeautifulSoup它可以幫助你節(jié)省幾個小時甚至幾天的工作時間。BeautifulSoup缺點是不能載入JS。

3.selenium：這是一個調(diào)用瀏覽器的driver，您可以直接調(diào)用瀏覽器完成某些操作，如輸入驗證碼。Selenium它支持各種瀏覽器，包括自動檢測工具Chrome，Safari，F(xiàn)irefox如果主流界面式瀏覽器安裝在這些瀏覽器中，Selenium插件可以很容易地實現(xiàn)Web界面的檢測.Selenium支持瀏覽器驅(qū)動。Selenium支持多語種開發(fā)，如Java，C，Ruby等等，PhantomJS用于渲染分析JS，Selenium用于驅(qū)動和和和和Python的對接，Python后期處理。

4.Portia：它是一種開源可視化爬蟲工具，可以讓用戶在沒有任何編程知識的情況下爬網(wǎng)站!簡單注釋一下你喜歡的頁面，Portia從類似的頁面上創(chuàng)建蜘蛛提取數(shù)據(jù)。簡單地說，它是基于scrapy核心;可視化爬行內(nèi)容，無需任何開發(fā)專業(yè)知識;動態(tài)匹配相同模板的內(nèi)容。

5.cola：這是一個分布式爬蟲框架。對于用戶來說，他們只需要編寫幾個特定的函數(shù)，而不需要關(guān)注分布式操作的細節(jié)。任務(wù)將自動分配給多臺機器，整個過程對用戶透明。項目整體設(shè)計有點差，模塊間耦合度高。

6.PySpider：中國人編寫的強大的網(wǎng)絡(luò)爬蟲系統(tǒng)和強大的網(wǎng)絡(luò)爬蟲系統(tǒng)WebUI。選用Python語言編寫，分布式架構(gòu)，支持各種數(shù)據(jù)庫后端，強大WebUI支持腳本編輯器、任務(wù)監(jiān)控器、項目管理器和結(jié)果查看器。Python腳本控制可以用任何你喜歡的東西html解析包。

以上是幾種常見的。Python爬蟲框架，你用哪個?