怎么查看百度蜘蛛是否到過你的網(wǎng)站，每天來的次數(shù)是多少，怎么樣通過日志來分析蜘蛛爬蟲是否來過，如果看完下面還不明白請聯(lián)系我們技術(shù)支持
萬網(wǎng)是國內(nèi)比較大的網(wǎng)站空間服務(wù)商，在北京網(wǎng)站制作市場占有很大比例，那么下面我們以萬網(wǎng)空間為例：
來了解一下這個問題，首先到ftp中下載名字為wwwlogs中的日志文件，如果你的空間沒有這個文件夾，那么要到控制面板里面設(shè)置一下
具體方法是：登錄控制面板-->申請統(tǒng)計報告這樣就可以了

然后到wwwlogs文件夾中下載當(dāng)天的日志看擴展名為.log.gz
打開或會發(fā)現(xiàn)

得到的大概是這中東西
(KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised image/jpeg "/usr/home/hmu162155/htdocs/images/pic03.jpg"
219.142.245.89 - - [27/Apr/2013:17:08:36 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/favicon.ico"
219.142.245.89 - - [27/Apr/2013:17:31:41 +0800] "GET /myfolder/ HTTP/1.1" 404 207 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/myfolder"
219.142.245.89 - - [27/Apr/2013:17:31:41 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/favicon.ico"
219.142.245.89 - - [27/Apr/2013:17:35:32 +0800] "GET /jsidjid HTTP/1.1" 404 205 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" rh98m3.com-unauthorised text/html "/usr/home/hmu162155/htdocs/jsidjid"
219.142.245.89 - - [27/Apr/2013:17:35:32 +0800] "GET /favicon.ico HTTP/1.1" 404 209

我們來分析一下
123.125.68.*這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了，或被者降權(quán)。

220.181.68.*每天這個IP段只增不減很有可能進沙盒或K站。

220.181.7.*、123.125.66.*代表百度蜘蛛IP造訪，準(zhǔn)備抓取你東西。

121.14.89.*這個ip段作為度過新站考察期。

203.208.60.*這個ip段出現(xiàn)在新站及站點有不正常現(xiàn)象后。

210.72.225.*這個ip段不間斷巡邏各站。

125.90.88.*廣東茂名市電信也屬于百度蜘蛛IP主要造成成分，是新上線站較多，還有使用過站長工具，或SEO綜合檢測造成的。

220.181.108.95這個是百度抓取首頁的專用IP，如是220.181.108段的話，基本來說你的網(wǎng)站會天天隔夜快照，絕對錯不了的，我保證。

220.181.108.92同上98%抓取首頁，可能還會抓取其他(不是指內(nèi)頁)220.181段屬于權(quán)重IP段此段爬過的文章或首頁基本24小時放出來。

123.125.71.106抓取內(nèi)頁收錄的，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章。

220.181.108.91屬于綜合的，主要抓取首頁和內(nèi)頁或其他，屬于權(quán)重IP段，爬過的文章或首頁基本24小時放出來。

220.181.108.75重點抓取更新文章的內(nèi)頁達到90%，8%抓取首頁，2%其他。權(quán)重IP段，爬過的文章或首頁基本24小時放出來。

220.181.108.86專用抓取首頁IP權(quán)重段，一般返回代碼是30400代表未更新。

123.125.71.95抓取內(nèi)頁收錄的，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章。

123.125.71.97抓取內(nèi)頁收錄的，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章。

220.181.108.89專用抓取首頁IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.94專用抓取首頁IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.97專用抓取首頁IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.80專用抓取首頁IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.77專用抓首頁IP權(quán)重段，一般返回代碼是30400代表未更新。

123.125.71.117抓取內(nèi)頁收錄的，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章。

220.181.108.83專用抓取首頁IP權(quán)重段，一般返回代碼是30400代表未更新。

注：以上IP尾數(shù)還有很多，但段位一樣的123.125.71.*段IP代表抓取內(nèi)頁收錄的權(quán)重比較低.可能由于你采集文章或拼文章暫時被收錄但不放出來.(意思也就是說待定)。

220.181.108.*段IP主要是抓取首頁占80%，內(nèi)頁占30%，這此爬過的文章或首頁，絕對24小時內(nèi)放出來和隔夜快照的，這點我可以保證



How to check whether the Baidu spider to your site, to the number of times every day, how log analysis to spiders, if after reading the following do not understand, please contact our technical support