網(wǎng)站日志記錄的是搜索引擎對(duì)于網(wǎng)站的具體操作，當(dāng)然不僅僅是搜索引擎，確切的說應(yīng)該是所有進(jìn)入網(wǎng)站的用戶對(duì)網(wǎng)站進(jìn)行的操作，如登陸頁面、點(diǎn)擊頁面數(shù)量、頁面停留時(shí)間等等。通過網(wǎng)絡(luò)日志我們可以清楚的去了解每一個(gè)IP在網(wǎng)站上進(jìn)行的操作，可以讓我們更快捷的對(duì)網(wǎng)站進(jìn)行全面的了解。

    舉例來說，如果網(wǎng)站被攻擊，我們可以通過網(wǎng)絡(luò)日志來找到來路ip然后通過技術(shù)手段將其屏蔽等等。那下面我們來具體討論的內(nèi)容就是網(wǎng)站日志文件中的所有內(nèi)容，讓數(shù)據(jù)告訴我們蜘蛛進(jìn)入我們的網(wǎng)站還有進(jìn)行的操作來方便我們對(duì)SEO方案的下一步實(shí)施做出調(diào)整。下面筆者將向大家介紹日志分析的三個(gè)主要方面，第一個(gè)是我們可能會(huì)從特定站點(diǎn)看到的日志類型，外觀，信息的含義；第二個(gè)是如何分析這些數(shù)據(jù)以及如何獲得想要的內(nèi)容；第三個(gè)是如何使用它來優(yōu)化我們的頁面和站點(diǎn)。

    一，網(wǎng)絡(luò)日志類型

    日志有三種主要類型，主要是Apache但是我們還將看到W3C，彈性負(fù)載平衡，在諸如Kibana之類的產(chǎn)品中可能會(huì)看到很多。但是我們也可能會(huì)遇到一些自定義日志文件。因此，對(duì)于那些較大的網(wǎng)站，這并不罕見。我知道每個(gè)服務(wù)器其實(shí)都有一個(gè)自定義的日志文件系統(tǒng)，可以快速是自定義類型設(shè)置。

    我們?cè)谶@些日志中能看到什么呢？我們希望可以肯定地看到：

1、請(qǐng)求服務(wù)器IP；

2、時(shí)間印記，即發(fā)出此請(qǐng)求的日期和時(shí)間；

3、所請(qǐng)求的URL，那么他們正在訪問哪個(gè)頁面；

4、HTTP狀態(tài)代碼，是否為200，是否已解決，是否為301重定向；

5、用戶代理，因此對(duì)于我們的SEO，我們只看這些用戶代理的蜘蛛信息。

    因此，日志文件通常會(huì)存儲(chǔ)所有數(shù)據(jù)，個(gè)人訪問量和訪問量，但我們要分析搜索引擎蜘蛛的訪問量。有時(shí)包括方法獲取/發(fā)布，然后花費(fèi)的時(shí)間，客戶端IP和引薦來源網(wǎng)址。從本質(zhì)上講，我們可能會(huì)看到該IP，即那個(gè)紅色的IP地址，該時(shí)間戳，獲取/發(fā)布或者不一定需要在某些方法中使用它。分析最好了解所有這些內(nèi)容，所請(qǐng)求的URL，狀態(tài)代碼以及所有這些內(nèi)容。

    二，網(wǎng)站日志分析

    我們要如何處理這些日志數(shù)據(jù)呢？又要如何來使用它們呢？很多工具非常適合為我們完成一些繁重的工作，筆者經(jīng)常用的是愛站工具里分析網(wǎng)絡(luò)日志，簡單，而且是免費(fèi)的，當(dāng)然也還有其他的很多網(wǎng)站日志分析軟件，我們可以根據(jù)個(gè)人的習(xí)慣來選擇，但是我們必須將日志文件設(shè)置為特定類型的格式，以便他們來分析使用。

    如果我們找不到合適的日志分析工具，也不要緊，可以直接手動(dòng)通過Excel來進(jìn)行分析。我將CSV日志文件導(dǎo)入Excel，使用文本導(dǎo)入向?qū)?，基本上可以分隔出各種的分隔符號(hào)。無論是空格，逗號(hào)還是引號(hào)，我們都可以將其分解，以使它們每個(gè)都位于各自的列中且不會(huì)擔(dān)心會(huì)有多余的空白列。我們只需要?jiǎng)?chuàng)建數(shù)據(jù)透視表即可，可以鏈接到有關(guān)如何輕松實(shí)現(xiàn)此目的的資源。

    熱門頁面，從本質(zhì)上講，我們可以在Excel中看到的是按頻率顯示，搜素引擎蜘蛛排名最高的頁面是什么？根據(jù)請(qǐng)求的次數(shù)，這些首頁是多少？

    熱門文件夾，我們還可以查看頂部的文件夾請(qǐng)求，最重要的是我們還可以查看以下內(nèi)容：哪些最常見的蜘蛛類型影響了我們的網(wǎng)站？是Googlebot-Mobile嗎？是Baiduspider-image嗎？他們?cè)趯ふ艺_的資源嗎？這些都是很重要的信息數(shù)據(jù)。我們也可以使用狀態(tài)碼創(chuàng)建數(shù)據(jù)透視表，然后進(jìn)行查看。我們現(xiàn)在可以洞悉以下內(nèi)容：首頁中的某些頁面是如何解析的？頂部的文件夾是什么樣的？

    以谷歌為例，我們可以針對(duì)Googlebot IP進(jìn)行此操作。這是我在日志文件分析中發(fā)現(xiàn)的不錯(cuò)的方式，將Googlebot IP創(chuàng)建一個(gè)數(shù)據(jù)透視表，通常會(huì)得到有時(shí)是一堆，但我會(huì)得到所有獨(dú)特的，而且我可以在大多數(shù)標(biāo)準(zhǔn)計(jì)算機(jī)上的計(jì)算機(jī)上運(yùn)行終端。我們要做的就是輸入“主機(jī)”，然后輸入該IP地址。我們可以使用此IP地址在網(wǎng)站的終端上執(zhí)行此操作，然后它將作為Google.com解析。這證明它確實(shí)是Googlebot，而不是其他一些欺騙Google的爬蟲。因此，這些工具往往會(huì)自動(dòng)處理這些問題，但是也有一些方法可以手動(dòng)完成。

    三，優(yōu)化頁面并抓取預(yù)算

    我們?nèi)绾蝺?yōu)化這些日志數(shù)據(jù)并真正開始增加我們的抓取預(yù)算呢？所謂抓取預(yù)算主要是指直至進(jìn)入我們的網(wǎng)站的次數(shù)以及它們通常抓取的頁面數(shù)。搜尋預(yù)算是什么樣子，又如何來提高效率呢？

    1、服務(wù)器錯(cuò)誤意識(shí)：服務(wù)器錯(cuò)誤意識(shí)是非常重要的，最好留意某些頁面上500個(gè)錯(cuò)誤的增加。

    2、404s：蜘蛛找到的所有400頁面，這一點(diǎn)非常重要。400請(qǐng)求是有效的400嗎？該頁面是否存在？還是它應(yīng)該存在但不再存在的頁面，而我們可以修復(fù)。如果哪里有錯(cuò)誤或不應(yīng)該在那里，引薦來源是什么？蜘蛛是如何發(fā)現(xiàn)這一點(diǎn)的？我們?nèi)绾伍_始清理其中的某些東西？

    3、隔離301s并修復(fù)常見的301鏈：301s在日志文件中有很多關(guān)于301s的問題。我們發(fā)現(xiàn)最好的方法就是隔離并修復(fù)最常見的301鏈。因此，我們可以在數(shù)據(jù)透視表中執(zhí)行此操作。當(dāng)我們將其與爬網(wǎng)數(shù)據(jù)進(jìn)行配對(duì)時(shí)，這樣做實(shí)際上要容易得多，因?yàn)楝F(xiàn)在我們對(duì)該鏈有了更多了解。我們可以做的是，查看最常見的301，然后查看該鏈?zhǔn)欠裼腥魏魏唵?，快速的修?fù)方法？有什么可以刪除并迅速解決的問題？

    4、移動(dòng)優(yōu)先：我們可以先關(guān)注移動(dòng)版蜘蛛。如果我們的網(wǎng)站首先使用移動(dòng)設(shè)備，則可以對(duì)其進(jìn)行挖掘，查看日志并評(píng)估其外觀。Googlebot仍然看起來像兼容的Googlebot 2.0。但是，它將在括號(hào)之前包含所有移動(dòng)含義。因此，我確信這些工具可以自動(dòng)知道這一點(diǎn)。但是，如果我們要手動(dòng)執(zhí)行某些操作，則最好了解其外觀。

    5、缺失的內(nèi)容：蜘蛛發(fā)現(xiàn)和抓取的內(nèi)容是什么，它們完全丟失了什么？最簡單的方法是與我們的站點(diǎn)地圖進(jìn)行交叉比較，這是一種非常實(shí)用的方法，可以查看可能遺漏的內(nèi)容以及原因以及如何以及可能的情況下如何重新安排站點(diǎn)地圖中的數(shù)據(jù)優(yōu)先級(jí)或?qū)⑵浼傻綄?dǎo)航中。

    6、比較點(diǎn)擊率與點(diǎn)擊量：對(duì)蜘蛛的點(diǎn)擊頻率與點(diǎn)擊量進(jìn)行比較，這樣的操作讓我們不僅可以看到潛在的相關(guān)性，而且還可以看到可能要增加爬網(wǎng)流量或在特定的高流量頁面上進(jìn)行爬網(wǎng)的位置。

    7、網(wǎng)址參數(shù)：看看Googlebot是否使用參數(shù)字符串訪問任何網(wǎng)址。我們不要那樣它通常只是重復(fù)的內(nèi)容或者可以在Google Search Console中通過參數(shù)部分分配的內(nèi)容。

    8、評(píng)估天，周，月：我們可以評(píng)估網(wǎng)站的天，周和月。每周都會(huì)有高峰嗎？每月都有峰值嗎？

    9、評(píng)估速度和外部資源：我們可以評(píng)估請(qǐng)求的速度，以及是否有潛在的外部資源可以清理并加快爬網(wǎng)速度。

    10、優(yōu)化導(dǎo)航和內(nèi)部鏈接：根據(jù)SEO系統(tǒng)學(xué)習(xí)中的方式來優(yōu)化導(dǎo)航并使用操作來優(yōu)化索引。

    11、元noindex和robots.txt不允許使用：如果我們不想在索引中包含某些內(nèi)容并且不想從robots.txt中進(jìn)行檢索，則可以添加所有這些內(nèi)容并開始也可以幫助解決這些問題。

    四，重新評(píng)估

    最后，將爬網(wǎng)數(shù)據(jù)與其中的某些數(shù)據(jù)連接確實(shí)很有幫助。如果我們使用的是類似Screaming Frog的工具就要知道它們?cè)试S與不同的服務(wù)器日志文件進(jìn)行這些整合分析，從而為我們提供了更多的見解。而我們要做的只是需要重新評(píng)估即可。

    (轉(zhuǎn)載請(qǐng)注明轉(zhuǎn)自：mjyil.cn，謝謝!珍惜別人的勞動(dòng)成果，就是在尊重自己!）