首页 >> 社科评价 >> 期刊评价
              分位数指标对于期刊评价的应用实证研究
              2019年04月23日 11:05 来源:《图书馆杂志》(沪)2018年第7期 作者:汪莉 字号
              关键词:期刊评价;分位数指标;百分位数;PR6

              内容摘要:

              关键词:期刊评价;分位数指标;百分位数;PR6

              作者简介:

                内容提要:基于影响因子的设计缺陷,近年来描述引文分布规律的分位数指标受到文献计量学的广泛关注。本研究旨在比较和探?#25351;?#31867;分位数指标在期刊评价中的实际效果,确定应用于期刊评价的最优指标,?#20113;?#22686;进学界对于分位数指标的研究和探讨。选择2015年版JCR生物学期刊为研究对象,以InCites数据库为基础,计算并分析不同分位数指标的期刊评价结果及排名,利用SPSS统计软件比较分位数指标与传统评价指标的相关度,确定应用于期刊评价的最佳指标。实证研究结果表明,复合百分位指标能够矫正5年影响因子的设计缺陷,其中PR6的评价效果最为理想,与同行评议相关度最高,是可用于期刊评价的最优分位数指标。

                作者简介:汪莉,女,南京师范大学图书馆馆员,研究?#36739;潁?#31185;学评价与文献计量

                关 键 词:期刊评价;分位数指标;百分位数;PR6

                1 概述

                科学评价期刊影响力一直是?#21040;?#28909;衷探讨的话题。自Garfield E博士[1]1955年提出影响因子概念以来,影响因子在期刊评价中的影响力已为国内外文献计量界所公认。2009年期刊引证报告JCR增加了5年影响因子指标,将影响因子的引文统计周期延长至5年。作为影响因子的有益补充,5年影响因子可以较好地衡量期刊较长时段的影响力,在反映大部分期刊的被引高峰?#30699;?#26356;为合理。然而不论是影响因子还是5年影响因子,其实质?#38469;?#26399;刊文献的引用平均值,但几乎所有文献的被引频次都会受到极端数据的影响,引文的分布通常?#35270;?#20559;态,这样算数平均?#21040;?#20165;代表了高被引论文的引用值[2],发表在高影响因子期刊上的文献,也仅仅具有高被引概率可能性[3]。因此建立在影响因子基础上的期刊评价体系在统计学上是不科学的,在实践中也逐渐暴露出各种缺陷并饱受诟病[4-5],人们正在不断寻求更为合理的计量学指标以替代或完善基于影响因子的期刊评价体系。

                近年来,随着引文分析法在科研评价领域的应用,有学者提出用反映引文分布规律的分位数指标来替代影响因子的算术平均值[6],受到学界的重点关注并应用于期刊评价。分位数是指将一个随机变量的概率分布范围分为几个?#30830;?#30340;数值点,用来分析数据变量的分?#21152;?#36235;势,如中位数、四分位数、百分位数等,其中最为常见的是百分位数。作为一?#22336;?#21442;数统计方法,百分位数最初被广泛运用于心理学测验,其定义为:“将一组观察值等分成100个数值,并标记为P1,P2,P3,…,P99,分别表示1%的观察对象落在P1之下,2%落在P2之下……99%落在P99之下。”[7]目前基于百分位数的绩效评估法在个人、机构和学科领域中都得到了广泛运用[8-9],包括美国国家自然科学基金会(NSF)、ESI和InCItes数据库等。百分位数在期刊评价领域的运用,有复合百分位指标和单一百分位指标两种类型。

                1.1 复合百分位指标

                复合百分位指标是指综合衡量引文分布规律,使用多个百分位以全面揭示数据特征。美国国家自然科学基金会(NSF)将文献按照被引频次降序排列,划分为99th~top1%、95th~99th、90th~95th、75th~90th、50th~75th和bottom~50%共6个百分位等级,分别代表被引频?#38395;?#21015;在前1%、1%~5%、5%~10%、10%~25%、25%~50%和最后50%的文献,并对各等级赋予1~6的权重,如分布在前1%的文献权重为6,分布在前5%的文献权重为5,其他?#28304;?#31867;推。在NSF研究基础上,2011年Bornmann等[6]将百分位数引入期刊评价领域,建立了一个复合百分位指标——PR6。PR6通过对各百分位等级文献的分布概率进行加权平均,定量描述文献被引频次在不同位置的分布情况,一定程度上解决了因被引频次偏态分布而造成评价不公问题[10]。

                同年,Leydesdorff[11]在Bornmann的研究基础上进一步将6个百分位等级拓展到100个——PR100。PR100采用1~100的连续变量,就等级划分来说,比PR6的6个分位数等级更为精细和精确。随后,Leydesdorff等[12]又进一步提出用“总和”来定义期刊影响力的方案,设计了综合影响指标I3(Integrated Impact Indicators)。I3同样将所有文献划分为100个分位数等级,赋予1~100的权值,但与PR100不同的是,计算公式中各等级的文献分布概?#26102;?#26367;换成分布在各等级的文献数量,着重反映文献数量的累积优势。作为一?#22336;?#21442;数统计的计算方法,I3首次将文献数量纳入期刊评价体系,评价结果同时兼顾了期刊中的文献数量和质量,在评价出版量大的期刊时优势突出。

                1.2 单一百分位指标

                根据不同的评价目的和对象,研究者也会采用特定百分位位置的文献数量作为期刊评价标准,观察期刊文?#33258;?#29305;定百分位水平上的差异。如Bornmann[13]提出在评价优秀期刊时采用PPtop10%(Proportion of Publications of top10%)指标,即top10%位置的文献数量,也被称作Excellence Indicator。针对专利评估或不太优秀的期刊,Leydesdorff[14]建议采用top25%位置的文献数量作为评价指标。但目前PPtop10%与top25%指标的评价效果尚未在实践中得到检验。

                综上可知,目前分位数指标研究已经取得了一些进展。学界的研究重点在于,根据不同的评价目的与对象,设计各类不同的分位数指标并积极验证其在期刊评价中的合理性。但是哪种分位数指标用于期刊评价效果更佳?各分位数指标之间及其与传统期刊评指标之间的关系如何?目前尚未见到相关研究成果,分位数指标的数据来源及计算方法?#19981;?#26377;待商榷。本研究拟以2015年版JCR生物学期刊为例,以InCItes数据库为基础,对各分位数指标运用于期刊评价的实际效果进行实证分析,比较分位数指标与传统评价指标5年影响因?#21360;?#26399;刊调查?#31034;?#24471;分的相关性,最终确定应用于期刊评价的最优指标,?#20113;?#22686;进学界对于分位数指标的研究和探讨。

              作者简介

              姓名:汪莉 工作单位:南京师范大学图书馆

              转载请注明来源:中国社会科学网 (责编:赛音)
              W020180116412817190956.jpg
              用户昵称:  (您填写的昵?#24179;?#20986;现在评论列表中)  匿名
               验证码 
              所有评论仅代表网友意见
              最新发表的评论0条,总共0 查看全部评论

              回到频道首页
              QQ图片20180105134100.jpg
              jrtt.jpg
              wxgzh.jpg
              777.jpg
              内文页广告3(手机版).jpg
              中国社会科学院概况|中国社会科学杂志社简介|关于我们|法律?#23435;?/a>|广告服务|网站声明|联系我们
              1 3 8 24 72倍投