我們每天都在往網站推廣而努力，不論你是在網站內容還是鏈接，其實目的都是為了吸引蜘蛛的爬行網站。而這里筆者小丹要問大家了，我們真的了解搜索引擎的蜘蛛嗎？

    淺顯的來講，我們將搜索引擎機器人稱之為蜘蛛，主要是因為它的爬行就是沿著一個路徑鏈接不斷爬行，其爬行的路徑就像蛛網一樣縱橫交錯卻又緊密相連。每個網站不論頁面結構如何，它們都是相通的，這樣的目的其實就是為了便于搜索引擎蜘蛛爬行抓取。一旦頁面之間的鏈接出現(xiàn)了斷層，也就是死鏈接，爬行就會終止。這樣對網站收錄是很不利的，這也就是筆者小丹一直強調要避免站內死鏈接的原因了。

    再者，蜘蛛訪問頁面的時候，簡單的說就是在模擬網絡用戶的點擊瀏覽一樣，不同的是用戶瀏覽的是頁面內容，而蜘蛛返回的則是頁面的html代碼。當頁面被蜘蛛爬行后，這段代碼就會整合在搜索引擎的原始數(shù)據(jù)庫中等待篩選。網絡中的網站有數(shù)百萬之多，spider在進行頁面訪問時不會孤狼出行，而是團隊出擊的形式，也是為什么我們在查看網絡日志的時候，很發(fā)現(xiàn)網站頻頻被蜘蛛訪問的原因。

    在蜘蛛爬行訪問過程中，它們會根據(jù)之前原始數(shù)據(jù)庫篩選機制下的初始值來再度確定訪問頻率和路徑。同時，對于一款鏈接爬行的蜘蛛來說，一旦網站出現(xiàn)大批的死鏈接那么很有可能就會被蜘蛛所放棄，拒絕再次爬行。

    為了更好的樹立起蜘蛛爬行結構，小丹要說的是，不論你的網站采用了怎樣的網站結構，一定要簡化網站代碼，給蜘蛛和用戶一個清晰的網站層次，并且要不定時的監(jiān)測網站的鏈接，盡量避免死鏈接的出現(xiàn)。

    為了提供更加暢通無阻的爬行路徑，或者是為了避免因為目錄層次過深而沒有被爬行的到的頁面，不妨在站內建立一個站點地圖。既可以讓蜘蛛更便利的爬行，也可以為網絡用戶提供導向，引導點擊。

    (轉載請注明轉自：mjyil.cn，謝謝!珍惜別人的勞動成果，就是在尊重自己!）