当今科技日新月异,新的知识、技能日益加速发展,使得网络上的数据资源也随之呈几何级的递增。当用户想要从互联网海量数据中获取数据资源时,传统型搜索引擎逐渐不能胜任。因此,准确获取所需信息成为搜索行业研究热点,而垂直搜索引擎专业化、精准化的特点极大提高了相关信息的检索。主题网络爬虫作为垂直搜索引擎的核心,主要负责采集与主题相关的网页内容,主题网络爬虫性能的好坏直接影响搜索引擎的服务质量。目前主题网络爬虫的研究方向主要针对搜索策略和相似度计算两个方面。本文即从这两方面着手研究如何提高爬虫性能,具体的工作如下:(1)对爬虫搜索策略的分析研究。首先分析基于链接的搜索策略HITS算法中的优点与不足,针对HITS算法忽视新网页、偏重旧网页以及主题偏移的问题,提出一种改进算法。在判断网页的重要程度时,改进之后的算法引入一个与时间、有效评论数相关的函数以及网页基于入度、出度链接关系的权值函数。(2)对基于传统向量空间模型相似性的算法分析。传统向量空间模型中,特征词是文本中词语的机械性匹配,其权值的计算仅取决于词频和逆文档频率。本文利用改进的向量空间模型的TF-IDF算法,依据特征词在文本不同位置赋予不同的权值。同时,为了解决特征项数目和语义关系两者之间的矛盾,创建主题词典、同义词典与包含词典,根据特征词所属词典赋值。最后,结合改进的HITS算法和向量空间模型相似度判断得到一个新的爬行方式。本文针对上述改进的主题爬虫算法在不同主题网页上进行实验。实验结果表明,改进之后的主题爬虫算法有效提升了相应网页的查准率。