iWebCrawler百度谷歌搜索爬蟲加速工具 v1.0 開源版

iWebCrawler搜索爬蟲加速工具提供常見搜索引擎日誌分析(重點是百度爬蟲)；可根據網站提供的符合格式的百度sitemap網站地圖，把每天的新產出鏈接主動推送給百度推送接口，並且能夠在推送前過濾掉百度爬蟲已抓取鏈接及系統已推送的鏈接，從而加快網站收錄速度，提升網站權重。可根據用戶要求爲用戶定製百度sitemap網站地圖生成功能模塊，支持生成百度Sitemap協議三種格式：文本格式、xml格式、Sitemap索引格式,可以根據自己情況來選擇任意一種格式組織sitemap;如果文件很大，可以自動拆分爲幾個小的Sitemap。主動推送功能可以支持任何網站（只要能提供符合格式的百度sitemap網站地圖）

iWebCrawler搜索爬蟲加速工具三部分

一、 爬蟲訪問記錄分析
二、 生成百度sitemap網站地圖(商業版，可定製)
三、 主動推送站點新產出鏈接(商業版)

iWebCrawler搜索爬蟲加速工具截圖