德国政府科技计划评估制度

发布时间:2020-04-14

作为科技强国,德国政府不仅大力支持科技计划的研发创新活动,也非常重视对这些计划的评估。通过评估检测科技计划中各项资助措施的实施效果,总结经验,发现不足,及时补充和调整优先资助主题。同时,基于评估建议,进一步完善已有的或制定新的资助措施。多种形式和不同角度进行的评估,既是对科技计划有的放矢有效落实的督促,也成为完善科技计划的宝贵借鉴。

1 科技计划的制定

德国联邦政府科技计划制定的依据是政府组阁时签署的《联合执政协议》中有关研究与创新的内容。在各部委中,联邦教研部(BMBF)是国家科技发展的职能管理部门,负责制定并实施科技发展方针、政策和资助措施,利用政策法规及管理科研经费等手段在国家层面对各科技研发活动进行宏观管理。

联邦教研部的业务司各自分管重点支持领域的政府科技计划或部委科技计划的制定工作。在得到联邦议院批准或备案后,由分管司下属相关专业处负责,再对计划进一步细化,制定出具有可操作性的项目资助计划。在各种计划的制定过程中,联邦教研部的分管司、专业处会邀请部外专家参与审定。有时还会邀请相关的项目管理机构参与计划的具体制定,或通过论坛、研讨会的形式汇集各方意见,但决策权掌握在联邦教研部的分管司或专业处。需要时,也与其他相关部委的分管司或专业处协调。

分管司以联邦教研部的名义在"联邦公报"以及联邦教研部的网站上公开发布"项目资助计划公告",即项目申报指南,内容包括资助的目的、对象、条件、形式、范围、额度以及申报材料提交途径、评审程序和项目管理机构联系方式。

2 科技计划的执行管理

德国联邦政府对不同的项目类型采取不同的组织实施模式。少数涉及重大需求和体现国家意志的、经费支持强度较大的重大项目由联邦教研部直接管理,其他项目委托专业机构管理。以联邦教研部2014年数据为例,按项目数量统计,约4%的项目由联邦教研部直接管理,96%的项目委托项目管理机构管理;按经费数量统计,36%的研发经费由联邦教研部直接管理,64%的研发经费委托专业机构管理。在委托专业机构管理的项目中,55%的项目为完全授权管理,即专业机构可直接确定项目承担单位和负责人,并与其签订合同;其余项目为部分委托管理,联邦教研部在项目指南编制、评审立项、评估验收等方面具有决定权,联邦教研部与承担单位和负责人签署合同,专业机构提供支撑服务。

各专业项目管理机构依据各自的管理优势和具体资助计划涉及的主题内容通过竞争获取项目管理合同。

3 科技计划的评估

政府科技计划的评估主要分为以下3种情况:一是专业项目管理机构在管理资助计划过程中进行的评估,二是委托外部机构专门针对科研计划开展的评估,三是项目资助机构直接进行的评估。

3.1 专业项目管理机构开展的评估

专业项目管理机构的主要职责是对资助计划或项目进行遴选,向联邦教研部提出批准意见;跟踪并监督项目的执行情况以及审核最终研究结果。此外,还为项目申请者提供专业技术、项目申报等方面的咨询,组织有关的专业会议、研讨会、国际合作方面的活动。

原则上,项目执行单位需每半年向项目管理机构提交"阶段性专业报告",接受项目管理机构对项目进展情况以及批准资金使用情况的审查;还需定期向项目管理机构、联邦教研部提交上一年度的"项目执行年度报告"。项目结束后6个月内,项目执行单位必须向专业项目管理机构提交项目结题报告、决算报告等,包括经费使用的所有单据、明细;并对比项目成果与预期目标,解释所做工作的适当性和必要性;证明经费支出是必要的、经费使用是经济节约的,且数据与账册和凭证相一致。

专业项目管理机构收到项目结题报告后,组织项目评估,通常会与第三方机构合作开展。原则上,项目管理机构的评估专家从一开始就参与项目立项评估,提供决策咨询;之后全程跟踪监督项目执行情况,不断反映项目的进展,并辅以评估,报告资助计划的成功和不足,为项目执行机构确定计划调整方案。

需要说明的是,专业项目管理机构在立项评估和与第三方合作开展的评估中必须保持中立立场,并为相关方保守秘密。

3.2 委托外部机构开展的评估

科技计划执行期间或期满后,联邦部委通常会通过公开招标,委托外部机构或专家对计划执行情况进行评估。具体针对目标设置、国际化、后备人才支持、研究成果卓越性、转化应用和管理等方面。评估的目的是检测科技计划框架下各资助措施的实施效果,并汇集各相关方和专家(包括持批评观点或不同意见的专家)对未来资助措施的建议,为完善已有的或制定新的资助措施提供借鉴。评估机构开展评估所需的基本资料或信息由专业项目管理机构提供。

以联邦教研部委托弗劳恩霍夫系统与创新研究所(ISI)针对德国"国家生物经济研究战略2030"(NFSB)框架下的资助措施实施情况开展的评估为例。该战略于2010年由联邦教研部会同其他部委推出。相关资助计划或项目的实施管理委托专业项目管理机构于利希项目管理中心(PtJ)落实。弗劳恩霍夫系统与创新研究所在2016年1月至2017年3月间,对NFSB框架下自2009年到2016年由联邦教研部支持的36项资助措施进行了评估。这些措施包含1 768个具体资助项目,涉及8.76亿欧元的资助经费。近60%的项目由研究机构承担,其他主要由企业特别是中小企业执行。1/3的项目涉及国际合作。此外,还有个别单个项目、新创企业和青年小组计划得到资助。

3.2.1 评估方法

采用三角验证法(Triangulation)。该方法指使用多种研究方法进行双重或三重检验,也被称做"交叉检验",是社会科学领域中重要的研究方法之一。

评估分为事后评估(Ex-post-Evaluation)和事前评估(Ex-ante-Evaluation)以及在评估基础上得出结论和提出建议。事后评估包括对资助措施的综合分析和影响分析,主要核查资助措施是否紧密围绕科研计划所设定的目标及其效果,并开展国际比较。影响分析主要通过在线调查和案例分析,对受资助项目的管理情况进行深入了解,判断发挥的作用是积极的还是反之,事前评估采取的措施包括在线调查和专家访谈。这里的"事前"是相对于建立新的或进一步完善已有的资助措施而言。

3.2.2 评估内容

创新研究所对这项评估任务(或委托项目)设计的评估方案如表1。

开展事前评估的调查对象约1 200人,分别来自企业、高校和研究机构。对这些调查对象,即相关方和专家的选择标准主要包括学术背景为生物领域、接受过或正在考虑申请公共财政经费资助以及熟悉NFSB战略等。同时,特别考虑那些对数字化生物经济研究及其转化感兴趣的研究人员,会给他们增加一份问题更深入的调查问卷。

此外,选择美、法、荷、瑞典、日5国开展国际比较,原因是考虑到这5国均制定有生物经济研究相关战略,生物经济的发展水平和发展阶段以及研究成果在工艺和产品中的转化具有可比性,同时兼顾了欧盟和欧盟外其他国家的情况。

3.2.3 评估结论

评估结果显示出积极有效的措施被NFSB保留。尤其是相较于之前实施的以技术开发为导向的生物经济相关战略,评估报告充分肯定了NFSB采取以任务为导向的科研资助原则对加强德国生物经济世界强国地位以及提升在该领域全球竞争力发挥的促进作用。同时,报告还提出了众多建议性意见并指出不足,如应更重视基于生物、高附加值、且在质量和功能性方面与基于化石原料具竞争力的产品的研发,应加强对农林业、工业和家用方面的废料在可再生原材料利用方面的研究,应支持能充分挖掘生物经济在工业4.0、农业4.0方面应用潜力的相关研究,应引入主题开放的资助措施加强资助灵活性并满足短期的研究需求,应针对重发表论文轻技术转化的现象在新的资助计划中采取措施加以引导等等。

特别值得一提的是,评估报告在最后部分还就未来开展评估提出建议:为了对资助措施开展系统性评估,且能围绕重点、更有针对性,建议开展伴随性研究和评估,召开实施状态研讨会、结题研讨会或战略发展研讨会等;本次的评估结果证明所采取的评估方案是适用的,建议几年后结合战略实施的新进展和更加完善的评估方案重复开展该类评估;建议未来在资助措施实施期间即着手评估,从被资助机构直接收集用于评估的数据(而不是从项目管理机构间接地或项目完成后才采集);在未来的评估中,希望能评估专家针对大型项目或资助措施给出的鉴定评估结果,这些项目承载着资助方的特殊关切;对于数量庞大、资助类型复杂以及专业领域广的资助措施,应给予更充裕的评估时间;鉴于资助措施或资助项目类型的复杂性而难于归类,建议未来的评估分析区分对待,有些加深,有些则可粗浅或忽视。

从2018年联邦教研部发布的相关项目申报指南中不难看出,部分评估建议已体现在NFSB框架下的新资助项目中。

创新研究所于2017年3月完成的这份长达364页的评估报告至今仍可从ISI的网站上查询和下载。报告的扉页上还声明,虽然评估任务由联邦教研部指定,但联邦教研部没对评估结果施加影响;而且文责仅由作者自负(该报告由6位博士合著)。

3.3 资助机构直接开展的评估

以德国最大的国家科研资助机构德国研究联合会(DFG)为例。德国研究联合会将评估作为其资助计划管理的重要措施。具体措施主要包括进行定量和评估调研、发布简讯和监测报告等,通过采取这些措施可确保资助过程的透明性,同时也是对各相关组织机构、捐赠方和公众的问责回应。每年的调查统计数据还用于充实有关资助项目的信息库。

德国研究联合会对资助计划的评估有明确的质量要求。这些标准不仅适用于德国研究联合会自己组织的评估,也同样适用于德国研究联合会委托其他机构开展的评估。具体如下:

▲(1)评估原则上是针对德国研究联合会的上一级交付的资助目标,且是在项目评估中具体针对资助计划的个性化目标。

▲(2)所有资助计划都可以是评估调研的对象。

▲(3)评估要由有资质的第三方独立并客观地进行。为了保证评估报告的质量和正确性,委托方会吸纳涉及资助计划的德国研究联合会专家共同开展评估工作,但在撰写评估结果和结论时要完全独立。

▲(4)评估要经济而有效。即在获取调研信息时尽可能降低第三方(如被采访对象)的负担,仅针对必需的信息。

▲(5)评估应当提供可靠且一致性的信息,得出的结论要有依据并要观点鲜明。

▲(6)在问题设置、调研方法和指标方面要考虑建立各评估调研之间的横向联系,必要时还要考虑与国内外其他资助机构开展的评估具有可比性。

▲(7)做出评估决策并落实评估建议是德国研究联合会各组织机构的职责。

▲(8)公开发布评估报告。

4 评估的主要特点

德国政府科技计划的评估形式有多种,但总体具有以下的显著共同特点:

▲(1)主要委托第三方进行,独立、客观。

▲(2)多形成具有建设性的意见和建议,成为完善和制定新的更有效的资助计划的坚实基础。

▲(3)开展国际比较,不仅在国内层面,还在国际层面发现优势和寻找差距。

▲(4)公开评估结果,彰显透明,接受社会监督。

5 结语

科技计划的实施效果可显示出科技计划制定的正确性和可持续性,决定着科研投入的产出。德国政府对科技计划的评估已形成制度并注重实效,兼顾国内和国际比较,形式多样但总体突显客观、独立和透明的共同特点,值得深入研究和借鉴。

来源:科情智库