搜索引擎的出现彻底改变了人们获取信息的方式,它能够帮助用户快速且准确的从浩瀚的互联网海洋中获取全面的资料。如何对搜索引擎进行改进使其能更好的满足用户需求,一直以来都是信息检索领域的研究热点问题之一,而搜索引擎改进的核心问题就是搜索引擎的评价问题。随着互联网信息的不断增多以及计算机技术的不断发展,传统的耗时耗力的手动评价方法已经不能满足实际需要了,提高搜索引擎评价方法的自动化势在必行。通过引入用户行为分析来实现评价的自动化是近年来的主要研究方向,此外,搜索引擎改进的终极目标也是为了更好的满足用户需要,所以了解用户在使用搜索引擎时的行为习惯以及对搜索引擎的看法对于改进搜索引擎评估都是至关重要的。因此我们发起了一项关于国内用户在使用搜索引擎时的行为习惯的调查问卷,通过分析返回结果数据,总结出了很多重要结论。在调查结果的基础上,本文提出了一种基于用户行为分析的搜索引擎自动评价技术,构建了一个搜索引擎自动评价模型。该模型包括三个模块：首先从网络检索日志中自动提取查询词以及相关用户行为；然后用基于用户行为的方法对查询词进行标准答案自动标注；最后通过传统的检索结果评估机制,MAP (Mean Average Precision,平均准确率法)和NDCG (Normalize Discounted cumulative gain,归一化折扣增益法)比较了该方法获得的结果与标准答案结果的接近程度,其中标准答案通过人为标注获取。实验证明基于用户行为的评估方法比传统的基于点击率的方法具有更高的准确率。另外本文还将重复率的概念引入归一化折扣增益法NDCG,提出一种改进的搜索引擎检索结果质量评价机制。调查结果证明改进的机制可使得出的评测结果更加准确,并且具有更现实的意义。