今天西安網絡推廣和大家介紹一下爬蟲的分類有哪些！

1、通用網絡爬蟲：通用網絡爬蟲又稱全網爬蟲，爬行對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜索引擎和大型 Web 服務提供商采集數據。 由于商業原因，它們的技術細節很少公布出來。 這類網絡爬蟲的爬行范圍和數量巨大，對于爬行速度和存儲空間要求較高，對于爬行頁面的順序要求相對較低，同時由于待刷新的頁面太多，通常采用并行工作方式，但需要較長時間才能刷新一次頁面。 雖然存在一定缺陷，通用網絡爬蟲適用于為搜索引擎搜索廣泛的主題，有較強的應用價值。

2、聚焦網絡爬蟲：聚焦網絡爬蟲，又稱主題網絡爬蟲是指選擇性地爬行那些與預先定義好的主題相關頁面的網絡爬蟲。 和通用網絡爬蟲相比，聚焦爬蟲只需要爬行與主題相關的頁面，極大地節省了硬件和網絡資源，保存的頁面也由于數量少而更新快，還可以很好地滿足一些特定人群對特定領域信息的需求。

3、增量式網絡爬蟲：增量式網絡爬蟲(Incremental Web Crawler)是 指 對 已 下 載 網 頁 采 取 增 量式更新和只爬行新產生的或者已經發生變化網頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面。 和周期性爬行和刷新頁面的網絡爬蟲相比，增量式爬蟲只會在需要的時候爬行新產生或發生更新的頁面 ，并不重新下載沒有發生變化的頁面，可有效減少數據下載量，及時更新已爬行的網頁，減小時間和空間上的耗費，但是增加了爬行算法的復雜度和實現難度。增量式網絡爬蟲的體系結構[包含爬行模塊、排序模塊、更新模塊、本地頁面集、待爬行 URL 集以及本地頁面URL 集。

4、Deep Web 爬蟲：Web 頁面按存在方式可以分為表層網頁和深層網頁。 表層網頁是指傳統搜索引擎可以索引的頁面，以超鏈接可以到達的靜態網頁為主構成的 Web 頁面。Deep Web 是那些大部分內容不能通過靜態鏈接獲取的、隱藏在搜索表單后的，只有用戶提交一些關鍵詞才能獲得的 Web 頁面。例如那些用戶注冊后內容才可見的網頁就屬于 Deep Web。 2000 年 Bright Planet 指出：Deep Web 中可訪問信息容量是 Surface Web 的幾百倍，是互聯網上最大、發展最快的新型信息資源。

西安云擎網絡咨詢熱線：18182623537，云擎網絡用七年時間的專注于西安網站推廣、整站優化、關鍵詞優化、網站建設、優化 專業公司;1000家推廣案例，熟練掌握網絡推廣的方法及網絡營銷方案策劃。