兰德公司提出评估科研影响力的综合框架

简介

　　目前，对科研影响力评估的焦点已由关注科研成果对学术界的影响转向对社会经济的影响。2016年1月28日，兰德公司欧洲部与英国伦敦国王学院联合发布了《研究资助的DECISIVE[1]方法：来自3个历史性回顾研究的经验总结》报告[2]，在3个历史性回顾评估项目的基础上，总结提出了资助机构在进行研究项目和研究人员评估时可供参考的综合框架。

正文

　　一、背景 

　　近年来，英国、比利时、法国、意大利、澳大利亚等国先后对科学研究的社会影响力进行了评估，如澳大利亚研究质量框架、英国卓越研究框架、欧盟大学研究评估框架等。兰德公司欧洲部也采用历史性回顾评估框架对关节炎（2005）[3]、心血管疾病与脑卒中（2011）[4]、心理健康（2013）[5]等3个生物医学和卫生研究领域的科学研究影响力情况进行了评估，3个评估项目的详细异同点请见表1。 

　　表1 医学研究领域3个项目的异同点分析

　　二、历史性回顾评估框架简介 

　　历史性回顾的目的是从过去的经验中学习研究以改善现行的政策。该评估框架受科学政策学中两个标志性研究项目的启发，分别是“项目后见之明”（Project Hindsight，1969）和“回顾：洞察医学发现”（Retrospectroscope，1977），这两项研究评估了糖尿病和关节炎科研经费的使用情况。历史性回顾评估框架的目的是：第一，评估不同类型的研究所产生的影响力；第二，找到产生影响力的关键因素，特别是与研究类型、经费支持和项目运行方式相关的因素。该评估框架的执行一般包括以下4个步骤： 

　　1、确立“研究云”（Research Cloud）。通过文献计量学的方法和事先制定的标准选择过去10-20年内某领域核心期刊的受资助高被引论文，将其按照不同的国家、研究类型和主题进行分类，分类矩阵中每一个格子中的论文成为“研究云”形成的基础。“研究云”是一种包含多种信息的分析单元，包含多种定量和定性方法收集的科学研究活动过程的相关数据，如，科研灵感的产生、实验过程、合作情况及其他相关事件等，体现了科研过程的整体性思想。“研究云”往往受多种基金资助，并产生多篇论文。 

　　2、构建研究案例。收集“研究云”数据，构建案例，形成结构化数据用于进一步的比较分析。“研究云”数据收集主要通过对研究者的访谈，了解研究团队的兴趣和动机以及思想发展的过程，研究者的合作者、竞争对手和其他关键人员也包含在访谈对象之内。同时，以文献回顾和文献计量学分析作为数据补充，追踪研究的引用情况和特征。构建研究案例是一个循环上升的过程，访谈和文献查阅的过程相互启发，使得相关信息的收集更加全面。 

　　为了确保所收集信息的准确性、所描述科学内容的合理性以及这些信息是否正确纳入了相应的“研究云”中，需要对构建的研究案例进行评审，评审由分别来自国内和国外的两位独立研究人员或领域专家进行，经专家修订后，最终形成全面、结构化的案例信息集。 

　　3、分析数据。历史性回顾评估框架中采用收益评估模型进行评价。收益评估模型是一种关于科学研究收益、影响力评估与测量的多维分析工具，将科学研究所产生的影响力看作一个结果，通过对不同阶段的不同影响力类型与载体进行评估来实现总体评价。
收益评估模型由收益分类系统和逻辑模型组成。依据收益分类系统细化地展示了科学研究的影响力，包括学术收益、未来研究和能力构建收益、政策服务与产品开发收益、部门收益以及更为广泛的经济收益等5个方面（见表2）。 

　　表2 科学研究的五大影响力

　　由国际成员组成的评价小组（包括研究者、研究资助者、临床医生、病人和家属代表）为每个案例进行影响力打分。为确保评价的准确性，评价人员的所有信息都记录在案。 

　　依据逻辑模型分析，研究成果从研究主体流向社会的过程包括：研究主题识别、研究投入、研究展开、直接研究成果、间接研究成果、研究成果被利益相关者采用、社会影响力产生等7个阶段，以及项目申请与筛选、研究成果传播两个关键转折点。每个案例由两位研究者按照上述逻辑模型进行整理，将案例的描述性信息转化为一系列可供分析的属性信息，以便供进一步统计分析。
　　
　　4、得出结论。基于上述影响力和属性方面的数据，找出高影响力和低影响力，分析各类影响力与属性的相关性，并将数据分析的结果和专家观点相结合，为政策制定者和基金资助者提供建议。 

　　报告综合了此前对3个领域的评估结论，兼顾每个学科领域的特点，最终给出了供生物医学和卫生研究资助机构遴选研究项目和研究人员时需要考虑的八个原则，各取首字母将其综合命名为“DECISIVE方法”，主要包括： 

（1）多种能力（Different skills）。综合考虑研究人员的学术能力和将研究成果转化为影响力的能力；
（2）参与（Engaged）。考虑非学术利益相关方的参与情况；
（3）临床研究（Clinical）。项目布局总体时，与基础研究相比要适当提高临床资助的比例；
（4）对社会产生的影响（Impact on society）。选择资助项目时不能只考虑杰出学术研究项目；
（5）规模（Size）。不以资助基金规模确定其科研影响力；
（6）国际化（International）。鼓励资助国际合作研究，并持续支持；
（7）多样性（Variety）。项目评价时要采用多样性的原则来综合评价研究影响力；
（8）预期（Expectations）。降低资助时的预期，因为只有很少的科学研究能够产生最为广泛的社会和经济影响。

　　三、启示 

　　1、采用多维度数据处理和评估方法可提供新的评估框架。目前国内外对于科学研究影响力的内涵、形成机理、理论模型、评价维度等问题的定性研究成果较为丰富，但相关的定量化研究仍需加强。兰德的研究采用了文献计量分析、统计分析、主观评价和关键人员访谈等方法相结合来评价科学研究的影响力，提供了一种多维度数据处理和评估方法的新框架，为进一步实现定量化分析奠定了较好的基础。 

　　2、充分的数据信息是科研影响力评价的基础。搜集与整理相关性强的大量数据可为科学研究的影响力评价提供信息支撑，提升评价效果和质量。本研究聚集集了兰德公司欧洲部和伦敦国王学院政策研究所的众多专家和工作人员。他们为该项研究提供了大量跨越10-20年时间范围的、以研究为基础的事实数据，有效支持了战略研究的开展。 

　　3、大量的资源投入可以保证相关研究的持续进行。投资者、政策制定者应该更加重视科学研究所产生的广泛影响力，对相关分析与研究进行持续大量的资金资助。本项研究作为兰德公司“科研研究历史回顾系列”项目的一部分，评价医疗保健研究中跨越10-20年样本的影响力，已经进行了长周期持续的研究探索，研究期间得到了大量的资源投入才保证了相关研究的持续进行。 

[1] “DECISIVE”是该方法的八个原则的首字母组合：1、多种能力（Different skills）；2、参与（Engaged）；3、临床研究（Clinical）；4、对社会产生的影响（Impact on society）；5、规模（Size）；6、国际化（International）；7、多样性（Variety）；8、预期（Expectations）。
[2] A ‘DECISIVE’ approach to research funding: lessons from three Retrosight studies. http://www.rand.org/pubs/research_reports/RR1132.html.
[3] Reviewing the returns of research: Capturing payback from funding by the Arthritis Research Campaign. http://www.rand.org/pubs/research_briefs/RB9199.html
[4] Project Retrosight: Understanding the returns from cardiovascular and stroke research. http://www.rand.org/pubs/monographs/MG1079.html
[5] Mental Health Retrosight: Understanding the returns from research (lessons from schizophrenia). http://www.rand.org/randeurope/research/projects/mental-health-retrosight.html

图片来源：战略与政策论坛