互联网是个巨大的信息资源库,从这个资源库中提取和检索出有用信息是个很重要的课题。搜索引擎是通用的信息检索服务。 搜索引擎一般由Crawler、索引库、检索器和用广接口组成。Crawler从Web上下载页面:分析器对下载页面的内容进行分析以用于建立索引;索引器将文档表示为一种便于检索的方式并存储在索引数据库中;检索器实现用户查询关键词和目标文档匹配度的计算;用户接口为用户提供一个输入查询请求,定制查询结果的Web页面并将查询结果格式化后返回给浏览器。 由于搜索引擎处理的对象是十分庞大的数据量,同时互联网的结构是分布式的,搜索引擎设计成分布式并行处理的系统同时用若干机器协同计算处理,分布式并行的方法可以取得更好的性价比。本文论述构建一种基于分布式并行计算技术的Web搜索引擎模型架构。采用分布式并行编程模式,选用了任务分发和SPMD模式。采用功能分解、迭代分解、几何分解相结合的分解技术。在并行编程中线程是流行的模型,在并行计算上采用JAVA Thread和Thread Group的编程模型。消息传递对分布式的并行编程是有效的,在分布式计算的消息传递上采用Java的Socket通信方式。 对于任务分发的模式主要用于初始时URI集的分发,由若干个节点机器并行抓取,对于每个节点提取的URI的主域的HashCode模N得到处理该URI的节点机器,即发送到该编号机器处理,对于每个节点机器又是SPMD模型,他们的处理流程相似,区别在于处理的URI不同。 在Web搜索引擎的设计上,设计基于全文内容的搜索,论述了数据采集器Crawlers的广度优先和深度优先抓取策略;Robot协议;数据的处理;Web内容的提取;Web分析;中文分词和索引技术。介绍了用查全率、查准率对搜索引擎的评测。在搜索引擎的结果处理上,分析比较了几种搜索结果排序算法包括PageRank、HITS、HillTop算法,在分析PageRank算法和HITS算法的缺陷后,提出了基于关键字与锚文本之间相关性、关键字与文档之间相关性以及相关文档的最小集合分析相结合的改进算法思想。讨论了搜索引擎的未来发展。同时介绍了几种移动搜索、领域搜索、个性搜索应用模式。