当前位置: 首页   >   学术评价   >   正文

中国学术评价的反思与展望

作者:    点击数:   信息来源:    发布时间: 2019-01-24

中国学术评价的反思与展望

叶继元 袁曦临

 

学术评价面临的难题及其原因

在学术评价的实践中,仍然存在现实困境和诸多问题。撇开大的社会环境,如社会诚信、价值观、脑力劳动分配制度等等问题不谈,单就学术评价本身而言,尚存在以下四大难题

1、评价主体不明

学术评价,究竟谁说了算?从理论上讲,大家都同意学术共同体或同行专家说了算,但在实际评价上,如何保证学术共同体或同行专家说了算,在国内目前却仍然是一个亟待解决的大问题。甚至可以进一步追问:目前国内学术共同体在哪里,由谁组成?此外,还涉及评议专家的合理选择,同行评议的自主性问题等。

根据国内外共识,所谓学术共同体亦称科学共同体(scientific community),是指有着共同学术目标、旨趣、有着专门学术训练、以学术研究为志业、具有独立精神、大体自治的学者组成的群体。即“一群志同道合的学者”,遵守共同的道德规范,相互尊重、相互联系、相互影响,推动学术的发展,从而形成的群体。因此学术共同体的概念比一般“同行”的概念更严格,也更有意义;也比“学界”的含义精准和深刻。一般说来,凡是认同科学的普遍性、公有性、无私利性、有条理的怀疑性等学术基本规范,具有为探讨真理献身的科学精神,专门、积极从事某学科或主题领域研究,有成果发表,学术造诣较高、人品良好的“大小同行”专家,都应是学术共同体成员,而不论他或她是否加入学术共同体的组织——学会或协会等,也不论他或她担任什么职务。

不过,如何判断同行是否具有“共同学术目标、旨趣”和“献身学术”的精神,这比衡量其是否专门从事学术工作和具有学术成果要困难得多。目前国内,由于各种因素影响,同行多,但学术共同体成员少;教授、研究员多,但献身学术的真学者少,这也是难以选择合适的评价专家、建立学术共同体成员动态数据库的原因所在。

事实上,无论是论文评审、基金遴选、课题立项、研究成果鉴定和评奖,还是学科学位点评估、职称评定等,都离不开同行评议。学术评价从根本上讲,其实是一个主观判断的过程,很大程度依赖于评议者的学识和见解,因此评议专家遴选的重要性不容忽视。

同行评审专家的选择合理与否会直接关系到评议结果是否公正、公平和高质量。但是如何选择到真正的“小同行”,是目前同行评议中一个令人困扰的问题。专家遴选所依赖的专家库往往仅注明专家的一级学科、二级学科,能够标明专家的具体研究主题和研究方向的专家库少之又少,更无同行的学术理想、理念等信息,且普遍存在信息更新不及时,尤其是专家的研究信息、成果信息、信用信息等没有及时增添和修改等问题。

问题还不止于此,更深层次的考虑是如何体现同行评议的自主性,也就是说同行评议由谁来主导,是学者抑或管理者?目前在国内,学术评价主要由行政主管部门和机构主持和控制,行政主管部门掌控着专家的遴选、评议的程序以及评价结果的使用。虽然,主管部门也组建了专家库,采用随机方式抽取评审专家,并已开始注意评审过程中的回避制度和程序问题。但是,学术管理部门毕竟不同于学术共同体本身,学术共同体的成员彼此之间是相互依存的,他们在同一个学术圈中既是学术产出的生产者,同时也是传播者、借鉴使用者和评价者。如果他们不是承担学术评价的主体,而代之以学术管理者,那么中间环节的越俎代庖很难不出现一定程度的隔膜。学术评价之所以能与学术腐败联结到一起,原因之一就在于学术管理机构通过学术评价这一行政管理机制,主导了学术资源和利益的分配;这其中的深层次原因应该与同行评议中学者的“缺位”有着密切关联。

一个自律并且自主的学术共同体不仅是保证同行评议现实可行的基础,而且是学术评价存在的前提,以及它良性运作的支撑。就国情和现状而言,学术管理部门尤其是具体负责各种学术评价的部门和人员,亟需接受有关学术评价方面的系统培训和教育;另一方面,应逐步重视第三方评价部门的培育、建立与监管问题,为建立独立的第三方学术评价做好准备。倡导建立中介评价机构,研究出台具体措施和办法,形成多种形式、相互配合的评价机构,让评价机构在评价实践中建立信誉、品牌和权威。而在此过程中,学术团体如学会、协会等应发挥重要作用,理应成为学术共同体的代言人,承担评价机构的资质认定、认同等等工作。为此,国内目前各级学会、协会应加快改革步伐,完全去掉“半行政化”,真正成为代表学者的学术共同体组织,逐步“建立以学术共同体为主体的内在价值尺度和评价机制”。

  1. 评价标准难以选择

    评价标准是个非常复杂的问题,可以分解为诸多需要考虑和深究的问题,例如不同评价目的下的评价标准与指标细化问题,不同类别智力产品(评价客体)的内容深度、复杂度的测量与比较问题,即如何判断创新及其程度,所有合作者、参与者的实绩贡献评价。例如可以将创新的标准细分为6个方面:选题方面的创新;开拓材料范围或开辟新的研究领域、扩大认识对象的范围;修正前人错误的或不完全正确、不全面的认识;提出与科学发展阶段同步的新的见解;技术手段、研究方法的创新;著述方式的革新。但是,哪些是定性指标,哪些可以定量,定性与定量指标如何加权和计算,定性指标能否“一票否决”,如何对成果、学者、学科的质量进行“综合的评价”等等,都值得进一步细究。

    在学术评价领域,文献计量学者一直是十分活跃的。依托引文分析,有助于从大样本上给出对于某一研究领域的总体认识,同时通过形式评价这样一种评价过程,也可确立一种公正、客观程序,以程序正义来规范和带动实质评价的科学与公正。但是,文献计量学者需要时刻注意,他们只是学术评价领域的研究者、参与者,而不是主体,要避免出现“越位”问题。

    从某种角度看,SCI、SSCI以及CSSCI系统与学术管理相结合,有其合理性与必然性,但正如出版的美国科技信息所执行副总裁文森特·卡拉赫所说:“当利用SCI来评价科学研究时,一定要小心。从科学评价的角度讲,全球很多国家和地区都在将作为一个官方或非官方的评价工具,但它只是学术评价过程中的一个侧面”,不能成为学术管理的唯一指标,并简单地与学术量化相挂钩。尤其是人文社会科学评价涉及价值判断、时间—历史判断和性质判断问题,而这些是无法瞬时获得的,人文社会科学的贡献也不是用单一的数量指标可以衡量的,更无法用某一种单一的量化指标进行涵盖。

    荷兰学者Anthony F.J.van Raan建议在人文社会科学领域使用引文计量测度时,应该采用超过5年乃至更长的时间跨度。中国台湾学者黄慕萱等的研究成果表明,相对于自然科学领域而言,学术图书对于人文社会科学领域的学术研究有着更大的学术参考价值,专著通常比学术论文更具理论性、系统性,因而也更具学术价值。这些研究表明,仅用期刊指标的做法不能完全反映和准确评价人文社会科学学者和机构的研究成果。人文社会科学研究的评价指标尤其复杂,理应尊重其特殊性。代表作制度在国外已经发展较为成熟,在我国虽然已有试行,但在一些深层次和具体问题上还需进一步探索,诸如如何选择代表作,代表作的质量标准是什么,不同专家不同的判断意见如何整合,等等。

    此外,评价标准的选择也是一个认识多元化的问题。比如在职称评审及晋升标准方面,我国内地高校更看中学术成果的质量和影响力,而香港高校的晋升标准就更为全面一些,通常包括四个方面:教学水平,科研水平,专业贡献,社会服务,即是否参与不同社会机构(政府的一些咨询会议和专业团体、非牟利性)的工作,以及对学校、学院(书院)的服务。这四个方面的评审由校内教授组成的学术评审委员会来完成。

    总之,评价标准是学术评价体系中最为复杂的因素,需要广大学者、评价机构人员以及学术管理人员放下成见,排除意气用事,坐下来共同探讨。诚如博耶所说,没有科学合理的学术评价标准,就无法形成共同的学术理念,也就无法对学者的科研行为进行规范,最终的结果是无法达成学者群体的共识,形成共同的价值取向。

    3、效用评价的价值难以判断

    对于一项学术研究成果价值、影响力的评估,特别是对其可能带来的效用的评估是一个更为复杂困难的判断。国外非常重视学术研究成果对政府决策、民众生活质量、社会思潮的影响与作用,科学研究成果的社会转化问题与社会影响力测评一直是国外学者讨论的热点,特别是美国的社会科学研究,大多围绕社会生活和社会问题如生态环境、人口危机等进行,其研究成果通常会对社会与政府决策产生不同程度的影响。因此社会效益和社会反响是国外检验社会科学研究成果的一个重要方面。

    对于自然科学领域而言,判别一项研究对于社会生产力的影响相对客观,有被验证的可能,因而比较清楚;但即便如此,也存在“迟滞承认”现象,荷兰莱顿大学科学技术研究中心(CWTS)的Anthony F.J.van Raan教授就发现了科学论文中的睡美人现象,即一篇长久无人引用和关注的论文后来对科学发展产生重大影响。一般而言,睡美人论文在科学领域是小概率事件,但这一现象在人文社会科学研究领域,概率就大很多,出现的情况也更复杂,容易受到不同历史阶段社会、文化语境的干扰,形成反复性、多义性及偏差。

    人文社科研究成果的效用评价,或曰其价值判断相较于自然科学要困难得多。由于历史和现实的原因,对于人文社科研究成果的社会效益评价易受外在因素的影响,存在被片面夸大、抬升,或贬低、忽视,甚至遮蔽的情况。一项成果的学术价值和学术影响有被不同评价主体误解、误读、误用的可能,从而出现与现时舆论或者历史判断相左的颠覆性的结论。这一点既是人文社会科学本质特征的体现及反应,也是人文社会科学成果效用评价最为艰难之处。

    因此在人文社会科学领域,不能仅仅从刚性的引用指标,或轰动的社会效应,或是否主流等来判断一项研究的价值和效用,而应本着宽松友善、客观独立、追寻真理的治学态度来对待学术研究成果及其效用评价。

    4、学术批评氛围不佳

    学术批评是学术评价的重要内容,与有组织的学术评价相辅相成。笔者近期发文指出,国内的学术批评,似乎存在较大认识和理解上的误区,以为批评就是对他人研究之不足、错误与缺陷的指出和批评,是一种负面的指摘,是为难被批评者、攻击被批评者的行为。但实际上学术批评中同样也包含正面的评论,即对研究优点、创见的分析、评论和阐释。

    目前国内学术批评的氛围相对来说,不甚友善。一些批评者的语气往往咄咄逼人,而被批评者则忿而回击,反唇相讥,结果演化为火药味浓重的论战,甚至引发人事纠纷、法律官司。这就使得学术批评不仅没有能够促进学术的繁荣发展,反而极大破坏了学术的氛围。

    在学术史上,流传着很多学术批评的佳话,如英国的大卫·李嘉图和托马斯·马尔萨斯两位经济学家的争论,爱因斯坦与哥本哈根学派的争论等,这些事例说明了学术批评对学术研究是有重要的促进作用的,不仅促进,而且学术批评本身就是学术共同体存在价值的体现。

    《高等学校哲学社会科学学术规范(试行)》第二十二条规定:“学术批评应该以学术为中心,以文本为依据,以理服人。批评者应正当行使学术批评的权利,并承担相应的责任”。理解这一规定,就是学术批评应在尊重作者、尊重文本、尊重学术的基础上,以学术为中心,进行平等、善意、切磋式的对话。应该是一种学术“诤友”关系,要心怀同情之理解,提出敬意之批评。惟其如此,长久营造下去,才有可能培育出宽松开放的学术环境,活跃争鸣的学术氛围,真正达到促进学术繁荣发展的目的。国内学界应该大力呼吁和提倡营造良好的学术批评氛围。

    学术评价研究的走向

    目前学术评价的研究范围已经从最初对研究成果的评价,拓展到对基金项目、研究机构的学术实力的评价、核心期刊的界定和期刊影响力研究,以及对学科、人才发展状况评估等等方面的研究。这些研究拓展了学术评价问题研究的深度和广度。

    未来,学术评价的研究可体现在以下四个方面

    其一,进一步探讨和夯实学术评价理论,包括从哲学上思考学术评价的本质,价值论、评价论对学术评价的基础意义;并将理论研究成果转化为评价政策、规章制度,尽量细化,增强可操作性。将已有共识的评价理论、政策等大胆用于评价实践,尤其注意应用到科研人员、教师的绩效评价中,使评价理论与评价实践紧密结合,相互促进,不断提高。

    其二,修正和完善现有的评价机制。对于已初步构建的评价体系、机制,不应重复研究,应找出空白点,或不恰当处加以研究,当然“老问题”也可研究,但必须有新意,比如关于“同行评议”,只是研究它有哪些优缺点就意义不大,而应研究根据一定的评价目的,由谁来选择,或如何选择同行专家或“小同行”专家,如何尊重、呈现、评估专家评价结果等深层次问题。同样,H指数、影响因子等指标可以研究,但必须有新的发现。总之,应在他人研究的基础上提出问题,切忌跟风、赶时髦、炒冷饭。

    其三,更加重视学术评价的基础性工作,建立和完善各种与学术评价有关的数据库,夯实科学评价的现实基础,诸如图书引文库、评论索引库、研究成果利用库、评价专家动态库等。特别是学术评论资源的收集和挖掘,通过长期积累对于研究领域学术产出内容的评价,包括对学术专著等的学术批评、书评、综述性论文,构建一个基于内容的实质性评价的事实数据库,才有可能真正意义上开展和实施学术质量评价,构建学术评价的资源基础和学术批评的环境。

    目前迫切而重要的基础性学术工程就是建立和完善与学术质量和贡献相对应的评价信息数据库体系,除了已有的期刊引文库、图书引文库外,还可以建立主要用于内容和效用评价的系列数据库。这些数据库将学术共同体或同行专家自然、分散的网上、书刊报上的书面评论、评价信息和各种引用、利用、转载、翻译、重印、再版等信息收集、组织起来,以作为学术共同体或同行专家评价质量和贡献的支撑、参考和校正,这不仅能提高评价的准确性,而且能提高评价效率,为公正合理进行学术创新、质量和贡献评价奠定坚实的基础。评价专家掌握有关评价对象内容、效用的准确信息越多,越有利于评价专家对评价客体做出准确的判断。

    其四,加强学术管理中与学术评价有关的制度建设。学术评价的发展绝不可能通过建立一套成功的评价模型,提出一个评价理论体系就能决定,还需要在建立有效的评价指标体系和评价模型的基础上,进行制度建设,建立并形成学术评价领域的管理制度体系,以及与此相适应的学术评价机构设置,建成切实可行的、科学的、有效的学术评价制度体系。

    主要内容可以包括:健全以同行专家为主体的评审制度;实行严格的评审公示与结果反馈制度;实行评价结果申诉制度;宽容评价“非共识”研究;建立倡导学术自由和争鸣的学术批评制度。并将这些制度逐步落实到实践层面,真正用于提高学术评价的水平和社会服务能力。

    上述四个方面,将会是未来学术评价研究发展的主要方向。在这四个方面的研究进展和突破必有助于学术评价研究的创新,有助于评价研究质量的提升。

     

    结语

    注重学术创新、学术质量和贡献的评价已成为学界共识,科研管理部门也发文要求推广执行,然而如何落实到位仍是个大问题,此问题不仅关系国内重大需求,而且也是国际学术研究的前沿课题。

    近几年欧美各国都在进行类似的研究质量评价,其中有经验,亦有教训。比如,意大利曾大力利用文献计量法,但后因受到学界反对而放弃;法国曾利用专家法,但后因工作量太大而终止,继而改用“独立、便于操作、程序简单,并具有科学合理性及透明度”的方法;英国对大学研究质量进行的评价(Research Excellence Framework,REF)则两种方法都用,其评价目的是配置科研经费和资源;德国科学委员会则以同行评议为主,文献计量数据提供给专家参考,其评价目的不是资源分配,而是找出研究之不足,寻找发展方向。

    而在国内,各大学和学术机构在实际评价中,仍或多或少存在着评价主体弱化、评价目的不明、重形式、重数量、行政性过强、人情化过度等问题。学术创新、研究质量和学术贡献的评价主要应该是基于研究成果内容和效用的分析判断,因此不能仅仅依赖形式评价。目前高校普遍实行的、对所有教师不加区别的科研绩效每年一核算,计算“工分”的做法,至少对于人文社会科学而言,极易助长急功近利和唯形式化,有悖于“厚积薄发”、追求卓越和原始创新的学术发展真谛,不利于需要长期积累的学科发展。

    由于学术创新、研究质量和学术贡献的评价复杂而重要,直接关系到学术的健康发展和学者的核心利益和切身利益,又由于同行评议亦存在一些局限性,因此评价中难免会出现误判。为了尽量减少误判,或有了误判能尽快纠正,以提高评价的公信力和权威性,除已有的评价结果公示制度外,目前迫切需要切实推进“申诉、复议”等制度。被评审方如对评价结果有异议,即向评价方提出申诉,从而真正做到“业内公认,同行服气”。

    学术创新、研究质量和学术贡献的评价应主要依靠同行专家对成果的审读、分析和评论,因此由谁来选择专家,用什么方法来选,什么样的专家才是合适的,如何保证专家评价时的独立性、自主性、公正性,如何及时纠正误评、错评等都是十分关键的问题。评价专家的学术水平应高于或至少等于评价对象的水平,而且要有宏观视野、宽阔胸怀、把控协调能力和同情心。应给评价专家以充足的评价时间,并将评价活动纳入其学术贡献范围,计入绩效。

    要彻底解决这些问题,当然需要长期而艰巨的努力,既依赖于我国社会、学术界大环境的不断改善,又取决于管理者对学术研究规律、评价本质的深入理解和认识。公正合理学术评价机制的建立与完善不能靠消极等待,而应积极探索,大胆实践,真正促进学术交流和学术发展。从本质上说,学术评价其实是学术交流的一种重要形式,通过学术评价,可以为学者引领方向,评估研究的得失,进而为学术研究提供一个公正、有序的环境和管理机制,以便于人们追求真理。这应该是学术评价的最终目的,而不是止于科研资源、学术荣誉的分配。明确和强调这一容易被学界和科研管理部门所忽视的核心点,对于我国学术评价沿着正确的大方向发展至关重要。因此,构建完善合理的学术评价体系,实施、推广科学合理的学术评价思想和方法,对于我国人文社会科学的健康发展有着不容忽视的重要意义。

     

     

 

版权所有:湖南永州职业技术学院科技产业处 湘教QS3-200505-000282

湘ICP备14001402号-1