使用Python寫爬蟲時，如何反反爬蟲?技術方法如下：

1、關于headers常見的為瀏覽器加入headers，需要設置Requests Headers里面的內容其中的每一個參數(shù)都有自己的作用，面對不同的網站時方法也不一樣。常見的就是設置User-Agent，這里推薦一個包fake-useragent。

2、關于代理簡單方法就是購買，免費的和收費的相比還是差了不少。如果想獲得免費的可用的代理如何辦?可以看到在Google上可以看到很多搜索結果，接下來怎么做你懂的。

3、關于Cookie請求會返回多個Cookie，我們從其中找到最有效的Cookie，這回極大的提高效率。

4、關于SeleniumSelenium可以完美解決反爬，因為它就是一個真實的瀏覽器在操作，網站沒理由把它干掉。但是也要看到Selenium的缺點，速度慢、效率低是最主要問題。自己寫著玩玩可以，但是在真是的應用中，Selenium并不常見。當然，你可以使用Selenium+Phantomjs，并對其進行優(yōu)化，速度和別的爬蟲還是沒法比。