论文部分内容阅读
〔摘 要〕[目的/意义]研究人员评价作为科研评价的一部分在科研管理过程中具有重要意义。[方法/过程]介绍了欧盟科研人员评价标准联合框架ACUMEN的基本情况，阐释了该项目中研究人员评价体系设计的思想与模型以及具体的评价指标和方法，重点分析了该评价方法的特点。[结果/结论] ACUMEN评价方法对我国研究人员评价实践的启示与思考。
〔关键词〕欧盟；ACUMEN；研究人员；评价方法；启示
DOI：10.3969/j.issn.1008-0821.2016.07.007
〔中图分类号〕G3212 〔文献标识码〕A 〔文章编号〕1008-0821（2016）07-0034-07
同行评议法是一种重要的研究人员评价方法，在科研评价工作中发挥着积极作用，但其评价结果的主观性，甚至是偏见性问题也不容忽视[1]。随着文献计量学的发展，文献计量学方法被引入科研评价中。发表论文数、被引次数和h指数是评价研究人员的主要文献计量学指标[2]，P指数[3]、Pt指数[4]等新的综合评价指标也逐渐被应用到研究人员评价中。随着信息获取和学术交流方式的改变，Altmetrics作为学术影响力评价方法的有效补充[5-6]，可以更充分地了解研究人员的学术工作以及他们在学术界和学术界之外的影响[7]，但目前以理论研究为主。欧盟项目ACUMEN（Academic Careers Understood through Measurement and Norms，简称ACUMEN）在参考欧盟同行评议系统基础上，提出一种包含文献计量学指标和Altmetrics指标的研究人员综合评价体系。本文以期通过对ACUMEN评价方法的分析，为我国研究人员评价实践提供参考。
1 ACUMEN项目基本情况
ACUMEN是欧盟的一个研究人员评价标准联合研究计划，于2010年启动，2014年完成，是欧盟第7框架计划（FP7）科研体系改革的重要组成部分。ACUMEN由荷兰莱顿大学、以色列巴伊兰大学、西班牙最高科研理事会、英国胡弗汉顿大学、爱沙尼亚研究委员会、德国洪森堡大学、德国维尔道应用技术大学、丹麦哥本哈根大学皇家图书情报学院和荷兰皇家科学院数字人文组（eHumanities Group-KNAW），共计9个研究机构联合完成，并由莱顿大学科学技术研究中心（Center for Science and Technology Studies）主任——Paul Wouters担任首席研究员[8]。
ACUMEN项目组指出，目前研究人员评价实践中存在以下不足之处[9]：（1）目前的研究人员评价标准以单学科评价为主，能在一定程度上反映学术成果质量，但不够全面。例如，期刊的影响因子和被引次数等文献计量指标可在一定程度上反映一篇论文的学术质量，但却不能反映出这篇论文与社会经济发展之间的关系。（2）随着研究人员规模的增加，学术研究体系的日益复杂，已有的评价方法，如同行评议法的局限性逐渐显现。（3）原有的评价体系不能评价新的知识创新模式和学术交流方式，例如研究人员间以网络为媒介进行的合作和交流。（4）有些文献计量学指标是宏观、中观层面的测度指标，并不适合微观层面，如研究人员个体层面的测度。（5）原有的评价指标未涉及性别差异，但由于社会分工的存在，性别差异带来的影响确实存在。
ACUMEN项目组为解决以上评价实践中的问题和不足，将项目任务分为6个子项目[9]：（1）分析比较了欧洲当前的同行评审系统，分析了当前评价和同行评审实践中的经验和观点，深入探索新的个体研究人员评价方法。（2）重点关注研究人员的网络显示度，开发了一系列基于网络数据的评价指标和工具。（3）研究了学术研究如何在网络上讨论，重点关注社交媒体平台。（4）分析了评价指标、定性标准和评价过程对女性研究人员职业发展的影响。（5）评估了现有绩效评价中的科学计量指标，从已有指标中选择部分指标，同时还考虑了指标可能的负面影响，分析了如何使用好指标来测量生产力、影响、合作和多样性。（6）汇集以上各子项目信息，在以上研究基础上设计出ACUMEN 评价指标体系，并制定了评价实践指南。
ACUMEN设计出的研究人员评价指标体系包含了研究人员学术生涯的3个主要方面（专长、产出和影响力）。该评价指标体系能够凸显研究人员的成绩，更好地展示每一个研究人员，还可作为传统个人简历的补充。
2 ACUMEN评价方法
21 评价思想与模型
传统的评价过程中，科研绩效评价通常是机构、团队或科研人员产出的直接测量，研究人员在评价过程中仅仅是评价对象而不是重要参与者。评估者的视野往往局限于特定的评价，不能对科研人员在科学或学术系统更高层面的影响力进行全面评价，评价过程又往往保密。ACUMEN项目组摈弃以上做法，提出全新的评价视角。ACUMEN项目组认为评价是评估者与被评者之间复杂的互动过程，而不是简单的研究人员的绩效测量，评估者与被评者之间可以就选择合适的评价标准和评价材料进行交流；应该考虑评价系统对科研人员职业发展的影响。同时还分析比较了不同国家、不同学科和不同机构已有的评价实践，以及这些评价实践对科研人员职业发展的影响[10]。基于以上思想，ACUMEN项目组提出让科研人员在评价实践中发出自己声音的评价模式。其评价模型以研究人员陈述为中心，辐射以专长、产出和影响力。评价模型见图1。ACUMEN项目组在此模型基础上设计出了一套评价工具，即ACUMEN研究人员评价指标体系。
22 ACUMEN研究人员评价指标体系
ACUMEN研究人员评价指标体系就是ACUMEN项目组在其评价思想和评价模型基础上设计出的一套评价工具。该指标体系包含科研人员3个方面的主要信息：专长、产出和影响力。具体有4个文件组成：陈述与学术年龄计算、专长、产出和影响力[11]。每一个研究人员都要填写这4个文件，每一个文件里都包含了研究人员职业和成绩方面的材料。 [7]Konkiel S，Scherer D.New opportunities for repositories in the age of altmetrics[J].Bulletin of the American Society for Information Science and Technology，2013，39（4）：22-26.
[8]ACUMEN about[EB/OL].http：∥research-acumen.eu/about，2015-01-25.
[9]ACUMEN Report Summary-Periodic Report Summary 2[EB/OL].http：∥cordis.europa.eu/result/rcn/157417en.html，2015-01-25.
[10]ACUMEN Report Summary-Final Report Summary[EB/OL].http：∥cordis.europa.eu/result/rcn/157423en.html，2015-01-25.
[11]ACUMEN Portfolio[EB/OL].http：∥research-acumen.eu/wp-content/uploads/BlankAcumenPortfolio.v13x.pdf，2015-01-25.
[12]Van der Weijden I，Calero Medina C.Gender，Academic Position and Scientific Publishing：a bibliometric analysis of the oeuvres of researchers：International Conference on Science and Technology Indicators，Leiden，2014[C].
[13]Neylon C，Wu S.Article-Level Metrics and the Evolution of Scientific Impact[J].PLoS Biol，2009，7（11）：e1000242.
[14]Bar-Ilan J，Haustein S，Peters I，et al.Beyond citations：Scholars visibility on the social Web：the 17th International Conference on Science and Technology Indicators，Montreal，Canada，2012[C].
[15]Kousha K，Thelwall M.Web Impact Metrics for Research Assessment[M].Cronin B，Sugimoto C R.Beyond Bibliometrics：Harnessing Multidimensional Indicators of Scholarly Impact.MIT Press，2014.
[16]Moed H F.Citation Analysis in Research Evaluation[M].Netherland：Springer Netherlands，2005：135.
[17]Moed H F.Citation Analysis in Research Evaluation[M].Netherland：Springer Netherlands，2005：133-134.
[18]潘云涛.科技评价理论、方法及实证[G].北京：科学技术文献出版社，2008：1.
[19]教育部关于深化高等学校科技评价改革的意见[EB/OL].http：∥www.gov.cn/gzdt/2013-12/20/content2551954.htm，2015-01-25.
（本文责任编辑：郭沫含）
〔关键词〕欧盟；ACUMEN；研究人员；评价方法；启示
DOI：10.3969/j.issn.1008-0821.2016.07.007
〔中图分类号〕G3212 〔文献标识码〕A 〔文章编号〕1008-0821（2016）07-0034-07
同行评议法是一种重要的研究人员评价方法，在科研评价工作中发挥着积极作用，但其评价结果的主观性，甚至是偏见性问题也不容忽视[1]。随着文献计量学的发展，文献计量学方法被引入科研评价中。发表论文数、被引次数和h指数是评价研究人员的主要文献计量学指标[2]，P指数[3]、Pt指数[4]等新的综合评价指标也逐渐被应用到研究人员评价中。随着信息获取和学术交流方式的改变，Altmetrics作为学术影响力评价方法的有效补充[5-6]，可以更充分地了解研究人员的学术工作以及他们在学术界和学术界之外的影响[7]，但目前以理论研究为主。欧盟项目ACUMEN（Academic Careers Understood through Measurement and Norms，简称ACUMEN）在参考欧盟同行评议系统基础上，提出一种包含文献计量学指标和Altmetrics指标的研究人员综合评价体系。本文以期通过对ACUMEN评价方法的分析，为我国研究人员评价实践提供参考。
1 ACUMEN项目基本情况
ACUMEN是欧盟的一个研究人员评价标准联合研究计划，于2010年启动，2014年完成，是欧盟第7框架计划（FP7）科研体系改革的重要组成部分。ACUMEN由荷兰莱顿大学、以色列巴伊兰大学、西班牙最高科研理事会、英国胡弗汉顿大学、爱沙尼亚研究委员会、德国洪森堡大学、德国维尔道应用技术大学、丹麦哥本哈根大学皇家图书情报学院和荷兰皇家科学院数字人文组（eHumanities Group-KNAW），共计9个研究机构联合完成，并由莱顿大学科学技术研究中心（Center for Science and Technology Studies）主任——Paul Wouters担任首席研究员[8]。
ACUMEN项目组指出，目前研究人员评价实践中存在以下不足之处[9]：（1）目前的研究人员评价标准以单学科评价为主，能在一定程度上反映学术成果质量，但不够全面。例如，期刊的影响因子和被引次数等文献计量指标可在一定程度上反映一篇论文的学术质量，但却不能反映出这篇论文与社会经济发展之间的关系。（2）随着研究人员规模的增加，学术研究体系的日益复杂，已有的评价方法，如同行评议法的局限性逐渐显现。（3）原有的评价体系不能评价新的知识创新模式和学术交流方式，例如研究人员间以网络为媒介进行的合作和交流。（4）有些文献计量学指标是宏观、中观层面的测度指标，并不适合微观层面，如研究人员个体层面的测度。（5）原有的评价指标未涉及性别差异，但由于社会分工的存在，性别差异带来的影响确实存在。
ACUMEN项目组为解决以上评价实践中的问题和不足，将项目任务分为6个子项目[9]：（1）分析比较了欧洲当前的同行评审系统，分析了当前评价和同行评审实践中的经验和观点，深入探索新的个体研究人员评价方法。（2）重点关注研究人员的网络显示度，开发了一系列基于网络数据的评价指标和工具。（3）研究了学术研究如何在网络上讨论，重点关注社交媒体平台。（4）分析了评价指标、定性标准和评价过程对女性研究人员职业发展的影响。（5）评估了现有绩效评价中的科学计量指标，从已有指标中选择部分指标，同时还考虑了指标可能的负面影响，分析了如何使用好指标来测量生产力、影响、合作和多样性。（6）汇集以上各子项目信息，在以上研究基础上设计出ACUMEN 评价指标体系，并制定了评价实践指南。
ACUMEN设计出的研究人员评价指标体系包含了研究人员学术生涯的3个主要方面（专长、产出和影响力）。该评价指标体系能够凸显研究人员的成绩，更好地展示每一个研究人员，还可作为传统个人简历的补充。
2 ACUMEN评价方法
21 评价思想与模型
传统的评价过程中，科研绩效评价通常是机构、团队或科研人员产出的直接测量，研究人员在评价过程中仅仅是评价对象而不是重要参与者。评估者的视野往往局限于特定的评价，不能对科研人员在科学或学术系统更高层面的影响力进行全面评价，评价过程又往往保密。ACUMEN项目组摈弃以上做法，提出全新的评价视角。ACUMEN项目组认为评价是评估者与被评者之间复杂的互动过程，而不是简单的研究人员的绩效测量，评估者与被评者之间可以就选择合适的评价标准和评价材料进行交流；应该考虑评价系统对科研人员职业发展的影响。同时还分析比较了不同国家、不同学科和不同机构已有的评价实践，以及这些评价实践对科研人员职业发展的影响[10]。基于以上思想，ACUMEN项目组提出让科研人员在评价实践中发出自己声音的评价模式。其评价模型以研究人员陈述为中心，辐射以专长、产出和影响力。评价模型见图1。ACUMEN项目组在此模型基础上设计出了一套评价工具，即ACUMEN研究人员评价指标体系。
22 ACUMEN研究人员评价指标体系
ACUMEN研究人员评价指标体系就是ACUMEN项目组在其评价思想和评价模型基础上设计出的一套评价工具。该指标体系包含科研人员3个方面的主要信息：专长、产出和影响力。具体有4个文件组成：陈述与学术年龄计算、专长、产出和影响力[11]。每一个研究人员都要填写这4个文件，每一个文件里都包含了研究人员职业和成绩方面的材料。 [7]Konkiel S，Scherer D.New opportunities for repositories in the age of altmetrics[J].Bulletin of the American Society for Information Science and Technology，2013，39（4）：22-26.
[8]ACUMEN about[EB/OL].http：∥research-acumen.eu/about，2015-01-25.
[9]ACUMEN Report Summary-Periodic Report Summary 2[EB/OL].http：∥cordis.europa.eu/result/rcn/157417en.html，2015-01-25.
[10]ACUMEN Report Summary-Final Report Summary[EB/OL].http：∥cordis.europa.eu/result/rcn/157423en.html，2015-01-25.
[11]ACUMEN Portfolio[EB/OL].http：∥research-acumen.eu/wp-content/uploads/BlankAcumenPortfolio.v13x.pdf，2015-01-25.
[12]Van der Weijden I，Calero Medina C.Gender，Academic Position and Scientific Publishing：a bibliometric analysis of the oeuvres of researchers：International Conference on Science and Technology Indicators，Leiden，2014[C].
[13]Neylon C，Wu S.Article-Level Metrics and the Evolution of Scientific Impact[J].PLoS Biol，2009，7（11）：e1000242.
[14]Bar-Ilan J，Haustein S，Peters I，et al.Beyond citations：Scholars visibility on the social Web：the 17th International Conference on Science and Technology Indicators，Montreal，Canada，2012[C].
[15]Kousha K，Thelwall M.Web Impact Metrics for Research Assessment[M].Cronin B，Sugimoto C R.Beyond Bibliometrics：Harnessing Multidimensional Indicators of Scholarly Impact.MIT Press，2014.
[16]Moed H F.Citation Analysis in Research Evaluation[M].Netherland：Springer Netherlands，2005：135.
[17]Moed H F.Citation Analysis in Research Evaluation[M].Netherland：Springer Netherlands，2005：133-134.
[18]潘云涛.科技评价理论、方法及实证[G].北京：科学技术文献出版社，2008：1.
[19]教育部关于深化高等学校科技评价改革的意见[EB/OL].http：∥www.gov.cn/gzdt/2013-12/20/content2551954.htm，2015-01-25.
（本文责任编辑：郭沫含）