在搜索引擎優(yōu)化中想要獲得網(wǎng)站排名基礎的展示就的網(wǎng)站收錄，這里就涉及到了網(wǎng)站頁面內(nèi)容的可抓取性和頁面的可索引性。這兩個概念大家想必乍看之下都有一定的了解，但是如果要具體來說明一下，估計是有點困難的。因此下面的內(nèi)容我們就從搜索引擎的基礎知識入手，和大家一起去了解下到底什么是搜索引擎的抓取性和可索引性。

    我們都是知道百度的是一個比較神奇的存在但是當我們仔細觀察時，會發(fā)現(xiàn)由于搜尋和建立索引，網(wǎng)站出現(xiàn)在搜索結果中。這就意味著要使我們的網(wǎng)站出現(xiàn)在搜索結果中，它必須是可爬網(wǎng)的并且可以建立索引。搜索引擎擁有這些我們稱為爬蟲的機器人。他們基本上是在互聯(lián)網(wǎng)上找到網(wǎng)站，抓取其內(nèi)容，跟蹤該網(wǎng)站上的任何鏈接，然后為他們抓取的網(wǎng)站創(chuàng)建索引。

    索引是一個龐大的URL數(shù)據(jù)庫，像百度這樣的搜索引擎通過其算法對其進行排名。當我們搜索某些內(nèi)容并加載結果頁面時，我們會看到爬網(wǎng)和索引的結果。這是搜索引擎抓取的所有網(wǎng)站并基于一系列不同的因素將其視為與我們的搜索相關的網(wǎng)站。我們可能不會談及百度和其他搜索引擎用來確定與搜索相關的內(nèi)容的算法，但是我們可以訪問我們的網(wǎng)站以了解更多信息。

    那么回到最基本的概念到底什么是可爬網(wǎng)性和可索引性呢？

    可抓取性意味著搜索引擎抓取工具可以閱讀和跟蹤我們網(wǎng)站內(nèi)容中的鏈接，我們可以將它們像蜘蛛一樣跟隨網(wǎng)絡上的大量鏈接。

    可索引性意味著我們允許搜索引擎在搜索結果中顯示我們網(wǎng)站的頁面。

    如果我們的網(wǎng)站可抓取并可以建立索引，那就太好了。如果不是這樣，我們可能會失去來自百度搜索結果的大量潛在流量，而這種流量的損失會轉(zhuǎn)化為潛在客戶的損失和業(yè)務收入的損失。但是，我們?nèi)绾沃牢覀兊木W(wǎng)站是否已建立索引呢？其實也是很簡單的。只要轉(zhuǎn)到百度或其他搜索引擎，然后輸入站，再輸入我們站點的地址即可。這時候我們應該就可以看到我們的站點上已被索引的頁面數(shù)的結果了。不過如果我們什么都看不到，也不要太過擔心，筆者接下來會告訴大家如何解決這個問題。

    接下來的問題，如何使我們的網(wǎng)站頁面爬行并建立索引呢？

    1、內(nèi)部鏈接

    我們想讓搜索引擎的搜尋器進入我們網(wǎng)站上的每個頁面，然后確保我們網(wǎng)站上的每個頁面都有指向該頁面的鏈接。以站點為例，我們可以輕松地瀏覽其導航中的鏈接以逐頁獲取。如果我們點擊建站，則可以看到更多鏈接到不同類型的建站案例，然后在該菜單中看到更多類型的站點的鏈接。有指向每個頁面的鏈接，爬網(wǎng)程序?qū)⒏S這些鏈接。如果我們沒有太多內(nèi)部鏈接，則HTML網(wǎng)站地圖可以為抓取工具提供鏈接，便以我們在網(wǎng)站上進行跟蹤。HTML網(wǎng)站地圖適用于人員和搜索引擎，它們列出了指向我們網(wǎng)站上每個頁面的鏈接。通常，我們可以在網(wǎng)站的頁腳中找到站點地圖的入口。而最佳做法是在我們網(wǎng)站的所有相關內(nèi)容以及導航選項卡中都包含指向每個頁面的鏈接。

    2、反向鏈接

    同樣的鏈接對我們的站點很重要。但是，反向鏈接比內(nèi)部鏈接更難獲得，因為它們來自我們企業(yè)之外的用戶。當另一個站點包含指向我們的頁面之一的鏈接時，我們的站點將獲得反向鏈接。因此，當抓取工具訪問該外部網(wǎng)站時，只要允許他們跟蹤該外部網(wǎng)站，它們就會通過該鏈接訪問我們的網(wǎng)站。如果我們在內(nèi)容中鏈接到其他網(wǎng)站，也會發(fā)生同樣的情況。

    3、XML網(wǎng)站地圖

    我們最好將網(wǎng)站的XML網(wǎng)站地圖提交給百度等搜索引擎。XML站點地圖應包含我們所有的頁面URL，以便爬網(wǎng)程序知道我們希望它們進行爬網(wǎng)的內(nèi)容。它們與HTML網(wǎng)站地圖不同，因為它們僅適用于爬蟲。我們可以自己創(chuàng)建XML網(wǎng)站地圖，使用XML網(wǎng)站地圖工具或者如果它與我們網(wǎng)站的CMS兼容，甚至可以使用插件。但不要在站點地圖中包含我們不想爬網(wǎng)和編制索引的鏈接。

    4、Robots.txt

    關于Robots.txt就有點技術性了。robots.txt文件是我們網(wǎng)站后端上的文件，可告訴抓取工具他們無法抓取哪些內(nèi)容并在我們的網(wǎng)站上建立索引。如果我們熟悉robots.txt，就要確保我們不會意外阻止抓取工具執(zhí)行其工作。如果我們要阻止某個搜索引擎的搜尋器，如：（禁止百度爬蟲訪問）“User-agent: Baiduspider  Disallow: /”。如果我們不確定如何確定問題或?qū)obots.txt文件進行更改，可以與找專門的優(yōu)化人員幫我們制作，這樣可以避免破壞我們的網(wǎng)站。