工具分享：查詢蜘蛛是否正確爬行你的頁面

不知道站長們有沒有查過蜘蛛能否正確爬行網站的頁面鏈接，中文seo工具中有很多的蜘蛛模擬器，可以查看蜘蛛抓取的網頁文字內容，但是卻很少有工具給出蜘蛛爬行的鏈接。

webconfs.com是國外比較著名的seo網站，主要是為大家提供一些SEO工具，比如著名的關鍵詞密度檢查器、蜘蛛模擬器等，其中蜘蛛模擬器不僅給出了抓取的問題內容，還給大家提供了爬行的鏈接——Spidered Links。

使用這個工具可以查看蜘蛛是否能夠正確的爬行頁面上的鏈接地址，筆者也是剛發現了要與大家分享的問題——網站內頁中的相對地址蜘蛛是無法正確爬行的。筆者剛上線的錢江人才網就出現了這樣的問題。

下面筆者就以自己的網站為例，給大家分享一下，希望可以作為參考，蜘蛛模擬器工具的地址為：http://www.webconfs.com/search-engine-spider-simulator.php，在查詢框中輸入自己的網站，這里最好查詢你自己網站的內頁，因為首頁的相對地址對蜘蛛來講一般不會出現問題。筆者的網站查詢結果部分截圖分析：

打開上面的地址網頁是不存在的，因為爬行的地址是錯誤的，這里由于網站頁面中使用是相對地址，正確的地址為www.xxxx.com/News/，這里蜘蛛抓取的時候給漏掉了一個目錄，就無法正確的向下爬行了。

所以網站的內頁最好還是使用絕對地址，蜘蛛可以直接去爬行正確的鏈接地址。

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質保障！--億恩科技[ENKJ.COM]