我希望多了解一下搜索引擎，我希望了解的是有關于蜘蛛程序方面。希望了解這方面的愛問的朋友能推薦我一些這方面的書籍、網站（中英文均可）或是其他。

熱心網友

蜘蛛程序: Spider是搜索引擎的一個自動程序。它的作用是訪問互聯網上的html網頁，建立索引數據庫，使用戶能在搜索引擎中搜索到貴網站的網頁。 搜索引擎派出“蜘蛛”程序檢索現有網站一定IP地址范圍內的新網站，而對現有網站的更新則根據該網站的等級不同有快慢之分。一般來說，網站網頁等級越高，更新的頻率就越快。搜索引擎的“蜘蛛”同一天會對某些網站或同一網頁進行多次爬行，知道蜘蛛的運動規律，對于更新網頁、了解搜索引擎收錄的收錄情況等等有相當重要的作用。 我們提供的記錄報告是當蜘蛛爬行時才生產，也就是說當天如果沒有訪問則不生成報告，您可以通過網頁日期的URL來查看歷史記錄。蜘蛛爬行報告提供蜘蛛的以下數據：來訪時間、蜘蛛類型、來訪IP等眾多信息。當然蜘蛛也會有好壞之分，如Google,Baidu等蜘蛛當然是越多越好啦，但是如果像一些Email地址獲取蜘蛛如：EmailCollector，整站下載類的蜘蛛，如WEBZIP，當然還是要適當的屏蔽它為妙。不同的搜索引擎派出“蜘蜘”的周期也不一樣！。