目的:（1）应用聚类分析和离群点挖掘探讨专家反评估,对专家的评审业绩进行分类;（2）探索非共识项目的识别方法,剔除非共识项目后进行专家反评估分析。方法:（1）文献研究:以1994年为起点,查阅万方数据库、CNKI、维普数据库以及ProQuest等中外文数据库完成现有专家反评估指标与非共识性度量指标的整理与分类,分析现有指标的公式及含义,根据研究目的筛选和修正完善指标。（2）专家会议:对现有的反评估指标进行分析归类,探讨专家反评估的科学可行的评价方法,最终确定函评专家反评估指标。（3）聚类分析方法:在识别并剔除非共识项目后,首先通过聚类分析对专家反评估结果进行综合评价,即专家评审业绩的分类;然后应用基于聚类的离群点诊断方法选择评审行为异常的典型专家进行具体分析。（4）指标计算、基本统计描述及正态性检验采用SAS 9.13统计软件完成,聚类分析及离群点挖掘、统计图表采用 SPSS Clementine 完成。结果:（1）非共识指标的选择 从定量的角度出发,衡量项目非共识程度的指标为最大绝对值偏差和变异系数,两个指标越大,则项目的非共识程度越大,说明专家的意见分歧越大。衡量专家非共识性的指标为平均相对离差和平均绝对离差,平均绝对离差越小,平均相对离差越接近于0,说明该专家与全体专家间的非共识性越小;反之,说明该专家与全体专家间的非共识性越大。（2）专家反评估指标的选择 本研究假定项目均分为项目的真实得分,因此以离散度反映专家评价的准确性,以直线相关系数反映专家评分与项目均分的相关性,以自离散率比反映专家历次评分区分度的合理性,以综合离散率和差异一致性反映主观误差的波动性,最终以上述五个指标作为科研项目立项函评专家反评估指标,以命中率作为参考指标,验证反评估结果的合理性。（3）非共识项目的识别及处理 当某个项目的最大绝对值偏差和变异系数均大于两个指标的95%百分位数时,将该项目视为非共识项目。对于未进入会评的非共识项目,理论上还是以多数专家的评审意见为主,但也要权衡专家反评估的结果和专家对项目的熟悉程度;对于进入会评的非共识项目,重点关注产生最大偏差的专家在哪些指标上的打分与其他专家差别较大;对于同行评审机制也应采取适当改进措施,如设立单独的申请、申诉和反馈渠道等。（4）专家反评估实证研究 以2009年累计评价首发基金共识项目数大于5个的162位专家的评审数据进行实证研究,专家被自动分为两类,第一类专家的反评估结果和命中率都明显好于第二类专家,说明这些专家反评估指标和聚类方法能够对专家的评审业绩进行初步有效的区分。当专家评价的准确性高时,其相关性和区分度一般情况下就会比较好,主观误差的波动性也会较小,如果存在特例,这种专家有可能就是离群点。假定每类专家中有5%的离群点样本,根据离群点挖掘的结果,在第一类较好专家中共有5个离群点,第二类一般专家中共有3个离群点,离群点是同类专家中因某些反评估指标异常而评审效果相对更好或更差的专家,分别以图示总结分析典型专家的评审特点。结论:同行评审专家的判断差异即主观误差或系统误差是导致非共识项目产生的重要原因之一,本文以变异系数和最大绝对值偏差为筛选指标,探讨了一种定量的非共识项目的识别方法,在剔除非共识项目后进行专家反评估,以增加合理性。将聚类分析的方法应用于专家反评估,实现了对专家评审业绩的初步分类,并能够筛选出典型专家具体分析其评审特点,从而对改进专家的评审行为,实现专家的优化调整起到积极作用,是专家反评估研究方法的有益拓展。