如果我們希望搜索引擎正確抓取我們的網(wǎng)站并將其編入索引，則需要使用robots元指令。但如果我們不熟悉robots元標(biāo)記，可能就不知道從哪里開始。這就是筆者要分享該篇文字的原因了，下面我們就一起來看看那如何幫助我們實(shí)施用于搜索引擎優(yōu)化目的的機(jī)器人標(biāo)簽。

    首先我們來了解一個(gè)概念，即什么是機(jī)器人元指令？簡單來說，機(jī)器人元指令也可以稱為機(jī)器人元標(biāo)記，它其實(shí)就是一段代碼，可為搜索引擎爬蟲提供有關(guān)如何爬網(wǎng)和索引我們的網(wǎng)站的指導(dǎo)。這些標(biāo)簽對(duì)于確保正確的頁面被編入索引以顯示在搜索結(jié)果中至關(guān)重要。在繼續(xù)之前要提到的一個(gè)重要區(qū)別是robots.txt與robots元指令。當(dāng)查看這兩者時(shí)，它們似乎在做同樣的事情并且在某種程度上它們確實(shí)如此，但有一個(gè)關(guān)鍵區(qū)別。Robots.txt提供有關(guān)如何抓取我們網(wǎng)站上的頁面并將其編入索引的建議。它更像是對(duì)搜索引擎如何進(jìn)行的建議。另一方面，機(jī)器人元指令對(duì)如何抓取和索引我們的網(wǎng)站的說明更加堅(jiān)定。

    我們可以在頁面上設(shè)置兩種類型的元指令用以幫助搜索引擎抓取我們的頁面并將其編入索引。簡單來介紹它們：

    1、元機(jī)器人標(biāo)簽

    我們可以實(shí)施的第一種用于SEO的機(jī)器人標(biāo)簽是元機(jī)器人標(biāo)簽。元機(jī)器人標(biāo)簽可讓我們?cè)陧撁婕?jí)別控制索引行為。我們將此代碼實(shí)施到我們網(wǎng)站的標(biāo)題中。代碼：<metaname="robots"content="[參數(shù)]">當(dāng)我們使用這個(gè)標(biāo)簽時(shí)，我們可以在標(biāo)簽中實(shí)現(xiàn)多個(gè)參數(shù)，只要它是針對(duì)同一個(gè)機(jī)器人的。

    2、X-robots-標(biāo)簽

    我們可以創(chuàng)建的第二種機(jī)器人元指令是x-robots-tag。此標(biāo)記使我們能夠控制頁面級(jí)別和特定頁面元素的索引編制。我們還將此標(biāo)記實(shí)施到我們網(wǎng)站的標(biāo)題中。標(biāo)記：標(biāo)題（“X-Robots-Tag：[參數(shù)]”，真）；總的來說，x-robots-tag比元機(jī)器人標(biāo)簽提供了更多的靈活性。

    當(dāng)我們?cè)O(shè)置機(jī)器人元指令時(shí)，我們需要在代碼中設(shè)置參數(shù)。這些參數(shù)幫助搜索引擎爬蟲了解如何對(duì)頁面進(jìn)行爬取和索引。以下是需要了解的11個(gè)關(guān)鍵參數(shù)：

參數(shù)名稱	描述
全部	索引的快捷方式
跟隨	爬蟲應(yīng)該跟蹤所有鏈接并將鏈接資產(chǎn)傳遞給頁面
關(guān)注	搜索引擎不應(yīng)將任何權(quán)益?zhèn)鬟f給鏈接到的頁面
指數(shù)	爬蟲應(yīng)該索引頁面
無索引	爬蟲不應(yīng)索引頁面
無圖片索引	爬蟲不應(yīng)索引頁面上的任何圖片
最大片段	將最大字符數(shù)設(shè)置為搜索結(jié)果的文本片段
沒有任何	noindex、nofollow的快捷方式
無緩存	當(dāng)該頁面出現(xiàn)在搜索結(jié)果中時(shí)，搜索引擎不應(yīng)顯示該頁面的緩存鏈接
沒有片段	搜索引擎不應(yīng)在搜索結(jié)果中顯示頁面的片段（如元描述）
不可用_after	搜索引擎不應(yīng)在設(shè)定日期之后索引頁面

    這些是我們?cè)趯?shí)施機(jī)器人元指令和告訴搜索引擎如何索引我們的網(wǎng)站時(shí)將使用的參數(shù)。那么是否每個(gè)搜索引擎都支持所有參數(shù)呢？答案是否定的。在我們上面列出的11個(gè)參數(shù)中并不是每個(gè)搜索引擎在索引我們的網(wǎng)站時(shí)都會(huì)支持它們。其中Google是唯一識(shí)別所有共享參數(shù)的站點(diǎn)，當(dāng)然它會(huì)因搜索引擎而異。比如說Bing可以識(shí)別許多標(biāo)簽，但它無法識(shí)別的標(biāo)簽是noimageindex。因此，如果我們打算將robots元標(biāo)記用于其他搜索引擎，我們可能需要進(jìn)行一些研究以了解哪些標(biāo)記有效。同樣的疑問，我們是否需要同時(shí)使用元機(jī)器人標(biāo)簽和x-robots標(biāo)簽?zāi)?？這個(gè)其實(shí)也是沒有必要的。使用兩種類型的元標(biāo)記是多余的。我們可以選擇最適合我們網(wǎng)站需求的任何一種。

    我們可以在第三方網(wǎng)站上實(shí)施機(jī)器人元指令嗎？有這么多企業(yè)使用WordPress等第三方網(wǎng)站來托管他們的網(wǎng)站，許多人想知道他們是否可以實(shí)施機(jī)器人元標(biāo)記。簡而言之，是的。許多第三方主機(jī)使我們能夠?qū)崿F(xiàn)站點(diǎn)所需的機(jī)器人元指令。我們?nèi)绾螌?shí)施它們將因站點(diǎn)主機(jī)而異。例如，使用WordPress，我們可以使用YoastSEO插件添加元指令。對(duì)于像Squarespace這樣的網(wǎng)站建設(shè)者，我們可以更改我們的頁面設(shè)置或使用代碼注入來添加我們需要的標(biāo)簽。

    為什么機(jī)器人元指令很重要？在了解了robots元指令后，我們可能想知道為什么此功能很重要。為什么在我們的網(wǎng)站上實(shí)施此代碼如此重要？我們希望在我們的網(wǎng)站上實(shí)施機(jī)器人元標(biāo)記有兩個(gè)重要原因：

    它可以幫助我們控制搜索結(jié)果中的排名：實(shí)施這些標(biāo)簽可以讓我們更好地控制搜索引擎如何抓取和索引我們的頁面。它最終允許我們引導(dǎo)搜索引擎正確抓取我們最有價(jià)值的頁面，以便它們可以排名。

    它可以防止價(jià)值不大的頁面被索引：一些頁面如管理頁面，對(duì)我們的業(yè)務(wù)排名幾乎沒有價(jià)值。通過實(shí)施機(jī)器人元指令，我們可以防止搜索引擎在這些頁面上浪費(fèi)抓取預(yù)算。

    如果我們對(duì)為SEO實(shí)施機(jī)器人標(biāo)簽感到不知所措，也不必緊張，可以去嘗試編輯站點(diǎn)的后端可能是一項(xiàng)艱巨的任務(wù)，尤其是在我們不熟悉編碼的情況下。