-我們如何能做到使蜘蛛逆向爬行索引

我們如何能做到使蜘蛛逆向爬行索引

首先，我們要來個免責聲明-他們並不一定是必要的-但以防萬一…但你必須註意的是，這些是一個概念化的東西，至少我是這樣認為的，還沒有進行實際的測試和實踐證明。

蜘蛛的逆向爬行…至少我第一次起這個名字的時候我是這樣想的。這種想法來源於很多的地方：

網站的頁面的深度如果很高的話那對爬行和索引來說都是一個挑戰，因為他們的結構很深，擁有大量的頁面，會有爬行的障礙（例如那些大量基於參數的URL或者那些被認為沒有什麼價值的頁面，這種情況會經常出現在一些電子商務的網站。）

或者一個網站希望能夠盡可能的充分並迅速的被索引（也許一個網站添加瞭新的內容，它的URL就會發生戲劇化的改變，盡管301已經被定位瞭，或者這是一個新的站點）。

因此，怎樣才能使網站能夠被正常的爬行和索引？通常是通過以下的幾種方式：

發現：搜索引擎蜘蛛會根據鏈接進入到你的網站

提交：一個站長會把站點和頁面提交給搜索引擎

XML網站地圖：一個站長給他們的網站創建一個XML網站地圖，並通過搜索引擎使他們變得有效，或者就把它放在網站的根目錄作為一個網站地圖或者利用ROBOTS文件來進行自動搜索。

這些方法都是優點和缺點的，但是他們至少解決瞭如何讓蜘蛛進入他們的站點，通過使用XML網站地圖，可以幫助蜘蛛越過一些爬行的障礙。

無論是直接還是間接，主頁被發現瞭。那麼蜘蛛就會按照他們自己的路線進行爬行。從頂級的導航到第二層讓後到子導航，爬行到頂級的分類頁面，通過子分類的界面，然後到更深的產品和信息頁面。反過來說，你想進行索引的這些頁面同時占領瞭頭部和長尾的搜索。這些也很有可能是產生交易或者是轉化的頁面。

蜘蛛來到你頁面的頻率是多少？它們一次性通常會爬多少頁面？新的頁面會多久才會被發現和抓取？相對而言舊的頁面會多久被發現和抓取？本質上來說，應該平衡抓取，這就解釋瞭為什麼排除重復性內容的重要性。你不想心愛的蜘蛛把時間浪費在爬過和收錄過的內容。

當你為一些大型的網站指出這些問題的話，你發現想讓蜘蛛去爬行和喜歡的URL實在是多的讓人覺得可怕，即使沒有那些隱藏著的爬行障礙。請記住，甚至是XML網站地圖，每個網站地圖最多隻能包括50000個URL，最少20個單獨的網站地圖的話加起來就會有1000000個頁面。

要說的是，我要提醒大傢這種情況並不適用於所有的網站和情況。這種“蜘蛛逆向爬行”的基礎和使用XML網站地圖是有些不同的。典型的XML網站地圖策略是要提交每一個URL，就是希望每個頁面都能被索引。這也許不是最好的策略，但是這是另外一個問題瞭。即使那樣，這些策略往往會給首頁過多的權重和優先權。

恰恰相反，我們應該把網站地圖的重點放在一些低等級的頁面上。通常都是單個的產品和信息頁面。這種思想就是讓蜘蛛去那些最深層最難爬的頁面。

它們之後還會去哪兒呢？他們會按照蜘蛛做的那樣做，開始爬行。想想這些深層次的頁面。但願他們內容豐富並且富有關鍵詞。他們也許包括一些可以導航的元素，即使不是完全的高等級的導航，至少是一些分類導航。如果網站有類似的面包屑導航的話，我們可以直接喂給蜘蛛這些面包屑。

在這點上，我們應該更好的以更多的方式給蜘蛛展現我們的網站。這個觀念也許並不是關於逆向爬行的，反而是關於讓蜘蛛從兩個底端開始爬行，這樣的爬行最終也能到頂部的導航。

我們通常會假設蜘蛛會很自然的首先去找首頁然後順勢往下爬遍整個網站。和那些多樣化的產品等級的頁面相比從主頁到頂層頁面有多少個唯一的URL？我的猜想是因為頁面深度的不同，兩個等級的頁面的抓取數量是有很大的不同的。

正如我提到的，我認為這是一個低風險的路線。無論有沒有xml網站地圖，蜘蛛們都能找到頁面的。他們會找到不在網站地圖中的頁面，因此即使是一個沒有首頁和頂級頁面的網站地圖，也不會遺漏掉這些頁面。

在自然環境下，也許不會出現這些問題。蜘蛛會迅速爬過整個網站。一旦他們發現瞭鏈接他們就會追根究底。也許這些頁面埋得太深瞭，他們有點兒不太喜歡。

無論如何，讓這些網頁被爬到和索引是很重要的，對於我的站來說這的確是一個艱難的過程。或許這隻是一個時間問題。至少我要去嘗試。一旦像我想象的那樣整個網站的那個等級的頁面都被建立瞭索引，我就可以繼續並在XML網站地圖中添加其他的URL，或者我可以做個實驗，不把網站地圖放在網站裡。

那些神乎其神的問題是：

總體上說是不是更多的頁面建立瞭索引？

是不會讓那些深層頁面更好更快的被建立索引？

是不是在短期內提高瞭索引率並讓更多的頁面被索引？

文章出處為

yuantuanye