5月12日，英国科研卓越框架（REF）评估结果公布。2014年，英国科研评价体系（RAE）经过改革后成为REF。这是REF发布的第二轮评估结果。作为英国大学的权威排名，REF评估在很大程度上影响着英国高校的科研经费分配和声誉。在评估结果发布前后，诸多英国学者对此进行了反思。本报记者梳理了英国科研评价体系的演变，整理了相关学者的观点，并就中国高校科研评价问题采访了若干学者。

　　英国高校科研评价体系的演变

　　英国的科研评价历史悠久，体系相对成熟。早在第一次世界大战后，英国就成立了大学拨款委员会。此后，各种绩效指标被引入高等教育领域，但都比较泛化，不成体系。1986—1989年，英国实行了两次“科研甄选评估”，旨在将各种绩效指标清晰化、系统化，通过竞争的方式提升高校拨款的效率与合理性。该阶段主要以同行评议为主，但仅涉及传统大学，所以只有小部分高校得到科研经费。同时，评价单元数量过多、拨款过于向大院系倾斜、对评估材料核实不到位、规划不足等问题也备受诟病。

　　20世纪90年代初，英国的职业技术学院并入大学系统，但为科研预留的资金却几乎没有增加，改革评估体系迫在眉睫，RAE在此背景下应运而生。同时，英格兰高等教育拨款委员会、威尔士高等教育拨款委员会、苏格兰高等教育拨款委员会、北爱尔兰就业与学习部开始替代大学拨款委员会，分别在英国以上四个地区负责实施RAE评估。其职能不仅包括绩效拨款，更重要的是通过科研评价提升英国的科研质量和实力。在RAE评估中，评价单元数量逐渐减少，并根据评价单元划分了评审专家组，评价标准逐渐统一为“科研成果、科研环境、科研声誉”。1992年、1996年、2001年、2008年，英国分别开展了四次RAE评估。这一阶段的评估方式主要以同行评议为主。

　　2014年，RAE转变为REF，但仍由上述四个高等教育拨款机构主导，具体管理工作由代表四个拨款实体的REF小组及监管团队进行。REF2014相比RAE2008最大的变化是引入了对“科研影响力”的评价，同时进一步缩减评价单元的数量，实行双层评价小组模式，分为主、次评审专家组，更加注重跨学科和合作研究，实行以同行评议为主、文献计量为辅的评价方式。REF评估结果一般每7年发布一次，REF2021因新冠肺炎疫情延期，故于今年发布。这也是时隔8年发布的最新英国大学排名和科研评估成绩排名。

　　REF与高校科研评估改革的亮点

　　REF的评估指标涵盖科研成果、科研影响力和科研环境三个维度。科研成果是评估的核心要素，重点关注参评学者和科研单位的代表性科研成果；科研影响力主要采用案例研究和影响模板来评价学术研究在经济、社会、文化等领域的影响及收益；科研环境主要从科研资源、科研管理和科研业务等方面对科研平台的环境和可持续性进行评估。评估组将评估指标权重加总，对每一份评估材料按照标准进行评估定级，最终将高校整体科研质量划分成0—4五个星级。其中0星代表“低于国内认可”，1星代表“国内认可”，2星代表“国际认可”，3星代表“国际优秀”，4星代表“国际领先”。英国主管高等教育经费的机构根据高校所获得的评定星级来决定向其拨付多少科研经费。

　　相比REF2014，在REF2021中，科研成果在评估中的权重由65%下降至60%；而科研影响力的权重占比由20%提升至25%；科研环境的权重维持在15%不变。REF2021还在参照REF2014评估结果的基础上，对评估制度进行了改革探索：在评估组织与管理方面，进一步精简评估单元，优化学科分类，同时提高评审专家的代表性，完善参评学者管理制度；在科研产出维度，改变规模导向的评估方式，鼓励科研创新；在科研影响维度，进一步扩大影响力涵盖范围，强调科研的非学术性影响；在科研环境维度，增加了参评机构级别审查，增设院校级环境评估。此外，拨款机构之一——英格兰高等教育拨款委员会也在2018年被英格兰研究署取代，后者成为REF的主要管理者。

　　REF2021第一个创新点是，首次评估了所有对学术研究负重大责任的人员提交的报告。与REF2014相比，学术成果被纳入考量的研究人员增加了46%，覆盖面更广。而此前在REF2014中，高校为了取得理想的评估结果，倾向于选择性地申报科研职业生涯连续的学者或非初级研究人员。对此，英国阿斯顿大学负责研究事务的副校长、曾参与REF2014与REF2021专家组评审的西蒙·格林（Simon Green）评价到，这项新措施可以全面呈现一个院系的科研深度和广度。

　　REF2021第二个创新点是，每一位参评学者可提交1—5项科研成果，且每份提交的评估材料中平均每人有2.5项成果即可，而2014年每位参评学者必须提交4项已出版的成果。格林认为，这项举措有两个重要且积极的影响。第一，这使得每一份评估材料都不是个人的科研秀，而是团队合作的结果。在不同学术成果组合中，一位研究人员只提交1篇期刊文章或1本著作是完全合理的。同样地，倘若单个成果被评为4星，对相关院系来说也比提交3个3星的材料更值得。第二，这会使科研人员将关注点由数量转为质量。换言之，每个人都会专注生产少而精的学术成果，这对处于早期科研生涯的研究人员尤其有利。

　　英国利物浦大学负责文化交流事务的副校长、REF2021“艺术与人文”学科主专家组组长戴娜·伯奇（Dinah Birch）表示，在REF2021评估中，大部分专家组成员先前都参与过科研评价工作，也广泛参与了复审，这确保了研究质量标准严格一贯地执行。国际专家组也保证了此次评估与全球期望的研究标准接轨。此外，各大高校提交的影响力案例研究报告很成熟也很有远见，这些报告将会在2022年6月中旬以可访问可检索的数据库形式对外开放。

　　争议犹在

　　虽然REF评估体系独具特色，自2014年实施以来有效促进了英国科研质量与实力的提升，但批评声仍不绝于耳。英国诺丁汉特伦特大学负责国际事务的副校长希里安·莱恩（Cillian Ryan）认为，同行评议是科研成果评估中的主要环节，但是提交给REF的论文和专著此前已被期刊和出版社的专家审阅过，所以评审专家组是否有必要对研究成果进行再次评估有待商榷。

　　期刊引文数据也被认为是研究成果质量的一个指标。但莱恩表示，艺术、人文和许多社会科学领域的学者对此方法颇有微词，因为这些领域的许多出版物不仅仅局限于传统的学术期刊，也有书籍和画作等实物。所以用引文数据这种评估指标对自然科学学科比较有利。

　　英国牛津大学现代文化史教授彼得·曼德勒（Peter Mandler）已连续30年参与英国国家级的科研评估，在2008年的RAE评估与2014年的REF评估中担任“历史”学科专家组的评审。过去他很支持这种评估，认为这是自20世纪90年代以来将有限的政府资金分配给高校的最好方法，他也支持保留评估中最重要的环节——同行评议。

　　然而，曼德勒透露，每轮评估之后英国商务部和财政部都会指示，下一轮要更关注科研的影响力。这就意味着，对研究本身的评估越来越少。对研究本身评估的减少也意味着同行评议的减少。科研影响力与科研环境虽然也由学者评估，但学界以外的“影响力评估者”也参与其中。

　　曼德勒表示，科研影响力与科研环境的评估比研究本身的评估更加粗略，更缺乏证据支持。例如，一本著作可能有300页，评审专家得花上数小时、运用毕生的专业知识来评估，但这本著作可能只占一个中等院系提交的科研成果的大约2%，根据科研成果占整个评估60%的权重比例，这本著作最后只占这个院系总评估材料的1%左右。而一篇影响力案例研究报告可能就5页，影响力评估者只需审阅这5页就决定了相关研究的影响力，而这份简短报告可能会占该院系总评估材料的6%。这就使得整个评估变成了一场公关游戏，提交的案例研究报告越是描述得天花乱坠，可能得到的成绩就越好。

　　此外，曼德勒也注意到，一些高校正在用REF来达到他们的其他目的，而这些目的有时与该体系的初衷相去甚远。例如，有的高校会模拟REF评估和量化指标，来决定职工的雇佣、解雇和升迁。更糟糕的是，REF已经变成了一个巨大的官僚主义噩梦。每一轮改革都基于现存的模板，但复杂度和管理难度不断提升。对于高等教育机构和科研人员的个人日常生活而言，REF也形成了巨大压力，削弱了其积极性和原创性，这就让评估的最终效果离提升科研质量的目标越来越远。

　　对于实施REF评估的高昂成本，英国知山大学商学院经济学教授穆罕默德·皮纳尔（Mehmet Pinar）与英国斯坦福郡大学科研主任蒂姆·霍恩（Tim Horne）通过统计研究发现，科研成果、科研影响力和科研环境这三个评估要素呈高度正相关，在一定程度上造成了资源浪费，所以应该简化REF的评估要素，以降低评估成本。

　　英国高等教育政策研究所创始人兼总裁巴赫拉姆·贝克拉德尼亚（Bahram Bekhradnia）认为，相对于科研方面的巨大资助激励，高校对于教学与学习的资金投入少得可怜。总的来说，高校和学者的声誉与他们的科研实力息息相关，但与他们的教学成果却关联甚微。这就导致高校和学者都更愿意把精力放在科研上。另外，REF有“零和博弈”的意味。所有高校都觉得有必要参与评估竞争以不断提升其实力，但这种努力与回报可能不成正比。即便每个人都在努力，却总在原地打转，但他们还必须坚持努力，否则就会被甩在后面。

　　对中国高校科研评价的建议

　　自启动“双一流”建设以来，中国高校在科学研究方面取得了丰硕的成果，但也存在着诸多亟待解决的难题，如SCI至上、重数量轻质量、评估培训不足、行政主导等。对此，我国也颁发了一系列规范性文件，如《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》（2020）、《关于深化项目评审、人才评价、机构评估改革的意见》（2018）等。

　　莱恩对记者表示，中国的高校科研评估在某种程度上比较注重评价指标，但运用评价指标时必须清楚相关机制，比如为何一篇论文被引用率高，在一个学科的不同领域内引用率也会有所差别等。这些问题只有通过跨部门跨学科的合作研究才能充分了解。这意味着参与评审的专家需要接受大量的培训才能很好地发挥评估作用，所以评估专家必须非常资深和专业。

　　格林在接受记者采访时建议，不应由政府或高校本身来提名评估专家。在英国，REF专家组的成员由各自学科的专业协会提名，同样，科研评价体系管理者也应与政府独立开来，比如REF现在就由非政府机构英国研究与创新基金会下属的英格兰研究署管理。