前言第一章引论.....1第一节搜索引擎的概念...2第二节搜索引擎的发展历史....3第三节一些著名的搜索引擎....7上篇WEB搜索引擎基本原理和技术.....16第二章WEB搜索引擎工作原理和体系结构....17第一节基本要求....17第二节网页搜集....18第三节预处理.....20第四节查询服务....22第五节体系结构....25第三章WEB信息的搜集...29第一节引言...29一、超文本传输协议....29二、一个小型搜索引擎系统....31第二节网页搜集....33一、定义URL类和Page类.....34二、与服务器建立连接...39三、发送请求和接收数据.....41四、网页信息存储的天网格式...42第三节多道搜集程序并行工作....45一、多线程并发工作....46二、控制对一个站点并发搜集线程的数目....47第四节如何避免网页的重复搜集...47一、记录未访问、已访问URL和网页内容摘要信息...47二、域名与IP的对应问题.....48第五节如何首先搜集重要的网页...49第六节搜集信息的类型....52第七节本章小结....54 iii第四章对搜集信息的预处理.....55第一节信息预处理的系统结构....55第二节索引网页库...56第三节中文自动分词.....58第四节分析网页和建立倒排文件...64第五节本章小结....66第五章信息查询服务.....67第一节查询服务的系统结构.....67第二节检索的定义...68第三节查询服务的实现....69一、结果集合的形成....69二、查询结果显示....70第四节本章小结....72中篇对质量和性能的追求....73第六章可扩展搜集子系统...75第一节天网系统概述和集中式搜集系统结构.....75一、天网系统结构....75二、集中式搜集系统....76第二节利用并行处理技术高效搜集网页的一种方案.....82一、节点间URL的划分策略....83二、关于性能的讨论....86三、性能测试和评价....88四、系统的动态可配置性设计...91第三节本章小结....93第七章网页净化与消重....95第一节网页净化与元数据提取....95一、引言.....95二、 DocView模型.....98三、网页的表示.....99四、提取DocView模型要素的方法...103五