淺談搜索引擎的體系結構

(1)下載系統;

(2)分析系統;

(3)索引系統;

(4)查詢系統;

其中下載系統負責從萬維網上下載各種類型的網頁，并且保持對萬維網變化的同步。

分析系統負責抽取下載系統得到的網頁數據，并進行PageRank和分詞計算。

索引系統負責將分析系統處理后網頁對象索引入庫。

查詢系統負責分析用戶提交的查詢請求，然后從索引庫中檢索出相關網頁并將網頁排序后，以查詢結果的形式返回給用戶。

從細節上看，網頁從開始到最后都是網頁。而在搜索引擎的內部會有兩種不同的形式，一種以網頁庫的方式存儲;一種成為網頁對象被存儲在索引庫中。搜索引擎的主要數據來自網頁，網頁處理能力是搜索引擎面對的主要挑戰，下載系統和索引系統分別會進行一些關于數據存的相關知識的介紹。