網絡爬蟲，是一種按照一定的規(guī)則，自動地抓取萬維網信息的程序或者腳本。它是一種“自動化瀏覽網絡”的程序，按照一定規(guī)則，自動抓取互聯(lián)網信息，比如網頁、各類文檔、圖片、音頻、視頻等。一般來說，爬蟲是用來批量獲得網頁上的公開信息的，也就是前端顯示的數(shù)據(jù)信息。另外一些名字比如網頁蜘蛛，網絡機器人，也被稱為網頁追逐者。

《數(shù)據(jù)安全管理辦法》第十六條規(guī)定：網絡運營者采取自動化手段訪問收集網站數(shù)據(jù)，不得妨礙網站正常運行;此類行為嚴重影響網站運行，如自動化訪問收集流量超過網站日均流量三分之一，網站要求停止自動化訪問收集時，應當停止。

所以在您使用撥號產品從事爬蟲工作的過程中，建議您遵守以下規(guī)則：

一、遵守網站跟爬蟲間的Robots協(xié)議，即使沒有設置 Robots 的網站也不代表可以隨便爬取;

二、限制你的網絡爬蟲爬行頻率，避免近乎DDOS攻擊的請求頻率，一旦造成對方網站服務器癱瘓，那您的行為約等于網絡攻擊;

三、對于明顯設置了反爬的頁面，或者正常情況不能到達的頁面不能強行突破爬取，否則那就是Hacker行為;

四、爬取數(shù)據(jù)請審視清楚自己爬的內容，以下是絕不能碰的紅線(包括但不限于)：

     　1、爬取用戶個人數(shù)據(jù)非法牟利，包括模擬登錄他人賬號

     2、非法牟利超千萬爬取商業(yè)數(shù)據(jù)造成不正當競爭

     　3、爬取大量帶有知識產權的數(shù)據(jù)用于商業(yè)目的

綜合以上你會發(fā)現(xiàn)，爬蟲本身并不違法，而是看你使用的方式和目的，主要還要看是不是商業(yè)用途。這就像攝影一樣，人人都可以拍照，技術宅也可以用無人機滿天拍，但如果你拍人家隱私、在禁區(qū)里拍、偷拍盜版人家的作品，那就是違法。

我司禁止違法違規(guī)使用爬蟲的行為，對此類用戶保持零容忍的態(tài)度，如有發(fā)現(xiàn)，立即提交上級主管部門。