前面我們的網(wǎng)站建設(shè)知識(shí)庫(kù)中講到了spider的用途，介紹了常用spider的名稱和spider在搜索引擎中的工作方式。具體請(qǐng)閱讀《spider知多少》一文。今天我們來(lái)講講如何利用spider的爬行情況分析網(wǎng)站的優(yōu)化狀態(tài)。這個(gè)能記錄spider爬行情況的文件就是網(wǎng)站日志文件。

　　網(wǎng)站日志包含著對(duì)網(wǎng)站所有訪問記錄，包括人工瀏覽和蜘蛛抓取。這個(gè)網(wǎng)站日志可以自定義生成的項(xiàng)目：比如網(wǎng)頁(yè)訪問來(lái)源、訪問IP、訪問時(shí)間、訪問代理、訪問者瀏覽器版本、訪問者所用電腦系統(tǒng)、訪問狀態(tài)等等。瀏覽量越大的網(wǎng)站，這個(gè)日志文件就越大。當(dāng)然可以自定義網(wǎng)站日志的生成間隔，具體方法可以參照IIS日志設(shè)置方法。對(duì)于真實(shí)訪客的瀏覽，我們沒必要通過網(wǎng)站日志分析，直接在網(wǎng)頁(yè)上添加一個(gè)多功能的數(shù)據(jù)統(tǒng)計(jì)代碼，我們就能很方便地了解用戶訪問網(wǎng)站的時(shí)間、地點(diǎn)、入口頁(yè)、來(lái)源鏈接、停留時(shí)間、訪問深度等?，F(xiàn)在主要說(shuō)利用網(wǎng)站日志分析搜索引擎蜘蛛spider的行為。

　　要分析spider，網(wǎng)站日志需要有以下幾項(xiàng)：訪問時(shí)間、來(lái)訪IP、訪問代理標(biāo)識(shí)、訪問狀態(tài)。其他的就不是必須的了。由于大多數(shù)站長(zhǎng)都專注于百度搜索引擎里的排名，我們就拿百度spider為例說(shuō)說(shuō)不同的spider對(duì)網(wǎng)站情況的不同反映。

　　百度spider名叫baiduspider或baiduspider2.0，以及百度圖片蜘蛛Baiduspider-image，從網(wǎng)站日志里可以通過這兩個(gè)名字來(lái)找到百度蜘蛛。接下來(lái)就是讀取百度蜘蛛的IP和訪問狀態(tài)碼。

　　123.125.68.*這個(gè)蜘蛛經(jīng)常來(lái),別的來(lái)的少,表示網(wǎng)站可能要進(jìn)入沙盒了，或被者降權(quán)。

　　220.181.68.*每天這個(gè)IP 段只增不減很有可能進(jìn)沙盒或K站。

　　220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪，準(zhǔn)備抓取你東西。

　　121.14.89.*這個(gè)ip段作為度過新站考察期。

　　203.208.60.*這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正?，F(xiàn)象后。

　　210.72.225.*這個(gè)ip段不間斷巡邏各站。

　　125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP 主要造成成分，是新上線站較多，還有使用過站長(zhǎng)工具，或SEO綜合檢測(cè)造成的。

　　220.181.108.95這個(gè)是百度抓取首頁(yè)的專用IP，如是220.181.108段的話，基本來(lái)說(shuō)你的網(wǎng)站會(huì)天天隔夜快照，絕對(duì)錯(cuò)不了的，我保證。

　　220.181.108.92 同上98%抓取首頁(yè)，可能還會(huì)抓取其他 (不是指內(nèi)頁(yè))220.181段屬于權(quán)重IP段此段爬過的文章或首頁(yè)基本24小時(shí)放出來(lái)。

　　123.125.71.106 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。

　　220.181.108.91屬于綜合的，主要抓取首頁(yè)和內(nèi)頁(yè)或其他，屬于權(quán)重IP 段，爬過的文章或首頁(yè)基本24小時(shí)放出來(lái)。

　　220.181.108.75重點(diǎn)抓取更新文章的內(nèi)頁(yè)達(dá)到90%，8%抓取首頁(yè)，2%其他。權(quán)重IP 段，爬過的文章或首頁(yè)基本24小時(shí)放出來(lái)。

　　220.181.108.86專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。

　　123.125.71.95 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。

　　123.125.71.97 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。

　　220.181.108.89專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。

　　220.181.108.94專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。

　　220.181.108.97專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。

　　220.181.108.80專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。

　　220.181.108.77 專用抓首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。

　　123.125.71.117 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。

　　220.181.108.83專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。

　　注：以上IP尾數(shù)還有很多，但段位一樣的123.125.71.*段IP 代表抓取內(nèi)頁(yè)收錄的權(quán)重比較低.可能由于你采集文章或拼文章暫時(shí)被收錄但不放出來(lái).(意思也就是說(shuō)待定)。

　　220.181.108.*段IP主要是抓取首頁(yè)占80%，內(nèi)頁(yè)占30%，這此爬過的文章或首頁(yè)，絕對(duì)24小時(shí)內(nèi)放出來(lái)和隔夜快照的，這點(diǎn)我可以保證!

　　一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網(wǎng)站沒更新，蜘蛛來(lái)過，如果是 200 0 64別擔(dān)心這不是K站，可能是網(wǎng)站是動(dòng)態(tài)的，所以返回就是這個(gè)代碼。

　　125.90.88.96,117.28.255.42可能是使用站長(zhǎng)工具進(jìn)行SEO綜合檢測(cè)造成，注意在分析蜘蛛的時(shí)候把此IP剔除。

　　有了這些IP和狀態(tài)碼，我們可以簡(jiǎn)單判斷一下網(wǎng)站的情況，哪些頁(yè)面該按時(shí)更新，哪里頁(yè)面可能已經(jīng)被降權(quán)，哪些頁(yè)面被蜘蛛頻繁抓取，以及哪些時(shí)段百度蜘蛛活動(dòng)頻繁。頻繁的時(shí)候盡量呈現(xiàn)給蜘蛛多一些原創(chuàng)內(nèi)容，相信蜘蛛不會(huì)虧待你的。