评价唯一的结果

99情报资料工作2010年第6期实践研究1引言期刊评价是文献计量学研究的重要组成部分,它通过对学术期刊的发展规律和增长趋势进行量化分析,揭示学科文献数量在期刊中的分布规律,为优化学术期刊的使用提供重要参考,同时可以提高学术期刊的内在质量,促进学术期刊的健康发展.
美国著名情报学家加菲尔德博士在20世纪60年代对期刊文献的引文进行了大规模统计分析,得到了大量被引用文献集中在少数期刊上,而少量被引用文献散布在大量期刊中的结论,这是期刊评价理论的起源.
期刊定量评价最早局限于单指标评价,传统的评价指标如影响因子、引用半衰期、即年指标等,后来发展到一些复合指标,包含的信息量较大,典型的有RCR[1]、RI、RW、PI、PW[2]、NMCR[3]、FCSm[4]、H指数[5]、ACIF[6]等.
由于单指标提供的信息量毕竟有限,因此多属性评价在学术期刊评价中得到了广泛的应用.
多属性评价采用一定的技术将反映学术期刊不同侧面的指标进行综合,得到唯一结果,包含的信息量更大.
这方面的研究主要有结构方程模型[7-8]、数据包络分析[9]、指标体系加权汇总[10]、灰色关联评价[11]、秩和比评价[12]、判别分析法[13]、层次分析法[14-15]、主成分分析[16]、综合评价法[17-18]等.
从目前的情况看,已经有数十种多属性评价方法在学术期刊评价中得到了应用,但是对评价目的与评价方法之间的内在关系却少有文献进行研究.
学术期刊评价有不同的评价目的,比如中国科学技术信息研究所每年评比的百种杰出自然科学期刊就重在评优,北大图书馆编写5中文核心期刊要目总览6主要是为图书馆管理服务的,它采取指标体系进行评价,进而给出各学科不同期刊的排序.
研究期刊评价目的与评价方法之间的关系,有利于对指标选取、数据标准化、评价方法选取等评价环节加以控制,从技术层面保证评价公平,更好地达到评价目的.
本文首先构建评价目的体系,然后建立学术期刊评价方法与过程体系,在此基础上分析它们之间的关系.
2学术期刊的评价目的一般情况下,谈到学术期刊的评价目的,人们往本文系国家社会科学基金后期资助项目/科技评价中多属性评价方法基本理论研究0(编号:10FTQ003)的研究成果.
学术期刊评价目的与评价方法的关系研究俞立平(宁波大学商学院浙江315211)潘云涛武夷山(中国科学技术信息研究所北京100038)摘要文章首先分析了学术期刊评价的四种目的,然后归纳了期刊评价的三种方法与过程体系.
在此基础上,分析了二者的关系.
关键词学术期刊评价目的评价方法OntheRelationshipbetweentheObjectivesandMethodsofAcademicJournalEvaluationYuLiping(BusinessSchool,NingboUniversity,Zhejiang,315211)PanYuntaoWuYishan(InstituteofScientificandTechnicalinformationofChina,Beijing,100038)AbstractThispaperfirstlyanalyzesfourpurposesofacademicjournalevaluation.
Andthen,threemethodsandprocedureofacademicjournalevaluationmethodsareconcluded.
Basedonthis,theauthorsanalyzetherelationshipofpurposeandmethod.
Keywordsacademicjournal,evaluationobject,evaluationmethod100情报资料工作2010年第6期实践研究往想到的就是评价学术期刊的某个方面,如期刊质量、编辑工作、期刊综合表现等,然后涉及的主要问题就是不同的评价目的下如何选取评价指标的问题.
本文所指的评价目的侧重于评价结果的用途,包括四个方面(图1).
第一是总体评价,就是要对评价对象的总体进行综合评价,得到每种期刊的评价结果,让每种期刊知道自己的真实水平以及和其他期刊的差距.
第二是评优评劣,也称为两端评价,就是要评出排名靠前的期刊和排名靠后的期刊,其中评优情况更多一些.
第三是从鼓励和鞭策的角度对期刊进行评价,称为激励鞭策评价,期刊的评价值比实际水平可能偏高或者偏低.
俞立平[19]发现在线性加权汇总指标体系评价中,调和平均对最好的20%期刊打分偏高,对排在最后的20%的期刊打分偏低;对数合成对排在前20%的期刊打分偏低,对排在最后的20%的期刊打分偏高,与调和平均正好相反.
由于这种情况是隐含的,往往没有引起重视.
第四是将评价结果作为中间数据使用,往往用在研究中.
比如研究学术期刊质量的影响因素,需要首先采用一系列指标对期刊质量进行评价,得到评价值,然后用评价值作为因变量,影响因素作为自变量进行回归.
这也是一种隐含的评价目的.
3学术期刊评价方法体系学术期刊评价方法包括定性评价和定量评价两大类(图2).
定性评价所采用的方法主要是同行评议,定量评价又包括单指标评价和多属性评价两大类.
以上这些评价方法中,由于多属性评价比较复杂,因此是本文重点研究内容.
学术期刊多属性评价是一项复杂的系统工程,牵涉指标选取、数据标准化、评价方法选择等诸多方面.
根据评价值的计算原理,可以将多属性评价方法分为三大类:第一类是基于排序的评价方法,如秩和比法、BORDA法、ELECTRE等.
由于评价结果仅有排序,即使有评价值,也没有相对意义.
第二类是加权汇总评价方法,其特点是根据主观或客观赋权法设定权重,然后进行线性加权汇总或非线性加权汇总,又以前者居多,如层次分析法、德尔菲法、熵权法、变异系数法等.
非线性加权汇总的评价结果与评价指标之间的关系是非线性的.
第三类是系统评价方法,该类方法有的用到权重,有的不用,其特点是采取模糊数学、运筹学、多元统计等方法得到非线性评价值,如主成分分析、TOPSIS、灰色关联法等.
系统评价结果与评价指标之间的关系都是非线性的.
需要说明的是,并不是加权汇总评价方法的结果就一定是线性的,这还取决于加权汇总的效用函数方程,假设x1,x2,xn为标准化后的评价指标,X1,X2,Xn表示权重,I表示评价值,请看以下三种加权汇总公式:I=X1V1+X2V2,,+XnVn(1)log(I)=X1log(V1)+X2log(V2)+,,Xnlog(Vn)(3)公式1为传统的线性加权汇总,公式2为加权调和平均,公示3为加权对数合成.
很显然,公式1是线性加权汇总,公式2、公式3都是非线性加权汇总.
除了评价方法与效用函数合成的线性与非线性之分外,还有数据标准化的线性与非线性问题.
比如反向指标的标准化方法,人们往往取倒数将其转化为正向指标,但这样处理的一个最大问题是将线性反向指标转化为非线性正向指标了.
在多属性评价中,必须保证评价的所有环节是线性的,评价结果才是线性的.
为什么这么强调非线性问题关键是这和评价目的紧密相关.
4期刊评价目的与评价方法的关系4.
1期刊总体评价期刊总体评价一般只能采用定量评价方法.
单指标评价往往用来评价学术期刊的某个侧面,其应用范围也较广,但是和多属性评价相比,其评价方法相对简单,因此这里不做深入讨论.
总体评价往往隐含着很多基本前提条件:第一,评价值必须反映期刊的真实水平,往往用百分制表X11V1+X21V2Xn1Vn1I=+,,+(2)101情报资料工作2010年第6期示;第二,不同期刊评价值之间的差距必须反映期刊间的真实差距,不能有偏误.
前者比较容易理解,因为它是显性的;后者其实是隐性的,人们往往不够重视.
那么不同多属性评价方法评价结果与其真实水平有什么关系呢如图3,x轴表示期刊的真实水平,y轴表示评价结果,直线OZ表示评价值和真实水平完全相符的直线,理想情况下,OZ和x轴的夹角是45b.
曲线OZ'是评价值和真实水平不相符的曲线,即发生了数据扭曲.
以A点为例,其真实水平为OC,但是实际评价值却是OB,明显小于OC,对A点而言,这明显是不公平的,只有对于特殊情况D点,评价值和真实水平才恰好相等.
对于直线OZ,即使由于某种原因其和x轴的夹角不是45b,由于是整体偏移,因此丝毫不会影响期刊之间的相对差距.
但是对于曲线OZ',期刊间的相对差距也同样发生了扭曲.
那么在多属性评价中,哪些因素会导致评价结果与真实水平之间的数据扭曲呢首先是数据标准化方法不能是非线性的,它会通过评价过程传导到评价结果;其次是对于加权汇总评价,加权汇总的效用函数形式如果是非线性的,也会导致数据扭曲,比如采用调和平均和对数合成进行加权汇总就有问题;第三,系统评价方法本身或多或少都存在数据扭曲问题.
也就是说,对于期刊总体评价而言,只有线性加权汇总评价方法不会导致数据扭曲,从技术上能够保证期刊评价值和真实水平相等以及评价结果的相对差距与实际差距相等.
从这个角度讲,只有层次分析法、德尔菲法、熵权法等少数纯线性评价方法才能用于期刊总体评价,而且必须要进行简单线性加权汇总.
基于排序的评价方法,如ELECTRE与秩和比法,只能提供排序信息,不能反映期刊的量化差异,因此一般是不太适合用于学术期刊的总体评价的.
4.
2期刊两端评价所谓期刊两端评价,就是要找出表现优异的高质量期刊与表现比较靠后的那些期刊,又以前者为主.
由于通常情况下期刊评价数据呈正态分布,因此两端的期刊往往不多.
根据同类可比的原则,在某个学科中,专家们往往对表现优异的期刊是较易取得一致意见的,因此采用定性评价方法,如同行评议也是可以进行两端评价的.
由于两端评价主要用来评优,人们更加关注评价结果的排序,在这种情况下,无论是基于排序的评价方法,还是加权汇总评价方法和系统评价方法,都可以充分胜任.
也就是说,两端评价对评价方法的选取是不太敏感的.
4.
3激励鞭策评价如上文分析,这是个隐含问题.
在期刊评价中,在保证期刊评价排序大致不变的情况下,有时需要鼓励先进,那么对较好的期刊打分可以比真实水平略高,有时又需要对较好的期刊适当打点低分,防止骄傲.
当然对于排序靠后的期刊也可以采取适当打点高分进行鼓励,让它们感觉到和优秀期刊的差距不是那么大.
对于有激励鞭策评价,基于排序的评价值由于不具有相对意义,显然不能选用.
非线性加权汇总评价方法和系统评价方法由于存在评价结果与评价指标的非线性关系,其评价结果与真实水平会发生数据扭曲,因此它们或多或少都存在一定程度的打分偏好,有些期刊打分偏高,有些偏低.
不同评价方法对于排名在不同位次的期刊,这种打分偏好是不一样的,有一定的规律.
可以根据实际情况选用非线性加权汇总评价方法和系统评价方法.
4.
4中间数据评价把期刊评价结果作为中间数据并对之进行进一步分析可能成为新的研究热点,比如期刊质量影响因素分析、学术期刊对科技创新的贡献分析等,由于这是一种宏观分析,而且不同评价方法的评价结果总体上存在较高的相关性,因此中间数据评价对评价方法的选取并不敏感.
当然,基于排序的评价方法其评价值不具有相对意义,显然是不能选用的.
定性评价当然也不能选用.
5结语5.
1应根据不同的评价目的选择评价方法各种评价方法有其优缺点和适用范围,并不存在绝对好的和绝对坏的评价方法,一切取决于评价目的,应该根据不同的评价目的选择不同的评价方法.
从本文的分析可以看出,大多数期刊评价都属于总体评价,如果评价值与期刊实际水平之间发生了扭曲,那么就会导致评价值不具有可比性.
由于这种现象往往是隐藏的,因此远远没有引起学术界的重视.
在期刊总体评价中,越是复杂的评价方法越不适用,简单的线性加权汇总评价方法可能是最好的方法.
实践研究102情报资料工作2010年第6期中国人民大学书报资料中心隆重推出复印报刊资料5图书馆学情报学6(G9)回溯数据库.
数据库以一张光盘形式提供.
1982年-1994年数据库报价为1100元.
1995年以后每季度更新数据,全年更新费为200元.
该数据库可以全文检索,检索结果可以复制、拷贝、打印或者根据用户的需求进行再编辑.
联系单位:中国人民大学书报资料中心联系电话:(010)6251318482502720(传真)户名:中国人民大学书报资料中心网址:www.
zlzx.
org欢迎订阅人大复印报刊资料5图书馆学情报学6全文数据库地址:北京9666信箱市场部邮政编码:100086账号:190101040000016开户银行:中国农业银行东四北支行两端评价由于重在排序,对评价方法的选用最不敏感.
激励鞭策评价只能选取非线性加权汇总评价方法和系统评价方法.
中间数据评价可以选取加权汇总评价方法和系统评价方法.
5.
2期刊的真实水平是相对的本文中讨论的期刊真实水平是相对的,因为期刊的真实水平是期刊各方面表现的综合反映,涉及数据采集、指标选取、评价方法等诸多问题,期刊评价值与期刊真实水平之间永远存在偏差,本文所重点讨论的是采用/减法0从技术上减少这种偏差,即如何减弱非线性问题导致的偏差.
本文隐含的一个前提假设是,期刊评价指标能够充分反映期刊各方面的具体情况.
5.
3导致数据扭曲的评价方法的特点有待进一步研究非线性加权汇总评价方法和系统评价方法导致的数据扭曲特点有待进一步研究,如TOPSIS、灰色关联评价、主成分分析等评价方法,它们对优秀期刊的评价值打分是偏高还是偏低对排名靠后的期刊打分情况又是如何对这些问题的回答将有利于在激励鞭策评价中选择不同的评价方法.
参考文献[1]SchubertA,GlanzelW,BraunT.
Relativecitationrate:Anewindicatorformeasuringtheimpactofpublications[C]//Proceedingofthefirstnationalconferencewithinternationalparticipationonscientometricsandlinguisticsofscientifictext,1983:80-81.
[2]VinkierP.
Evaluationofsomemethodsfortherelativeassessmentofscientificpublications[J].
Scientometrics,1986(10):157-177.
[3]BraunT,GlanzelW.
Atopographicalapproachtoworldpublicationoutputandperformanceinscience[J].
Scientometrics,1990(19):159-165.
[4]MoedHF,DeBruinRE,VanLeeuwenThN.
Newbibliometrictoolsfortheassessmentofnationalresearchperformance[J].
Scientometrics,1995(33):381-422.
[5]HirschJE.
Anindextoqualifyanindividual.
sscientificresearchoutput[C]//ProceedingofthenationalacademyofsciencesUSA,2005,102:16569-16572.
[6]MarkpinT,etal.
Article-countimpactfactorofmaterialssci-encejournalsinSCIdatabase[J].
Scientometrics,2008(2):251-261.
[7]WeipingYue,ConcepcionSWilson.
Measuringthecitationimpactofresearchjournalsinclinicalneurology:Astructuralequationmodelinganalysis[J].
Scientometrics,2004(3):317-334.
[8]俞立平,潘云涛等.
基于结构方程的学术期刊评价研究[J].
情报学报,2010(1):136-141.
[9]王小唯,杨波等.
学术期刊质量评估的二次相对评价方法[J].
编辑学报,2003(6):231-232.
[10]苏新宁.
构建人文社会科学学术期刊评价体系[J].
东岳论丛,2008(1):35-42.
[11]邱均平,张荣等.
期刊评价指标体系及定量方法研究[J].
现代图书情报技术,2004(7):23-26.
[12]王玖,徐天和.
秩和比法在医学学术期刊学术质量综合评价中的应用[J].
数理医药学杂志,2003(3):266-267.
[13]李修杰,陈景武.
运用判别分析法建立的期刊评估指标体系[J].
江西图书馆学刊,2006(3):48-50.
[14]庞景安,张玉华等.
中国学术期刊综合评价指标体系的研究[J].
中国学术期刊研究,2000(11):217-219.
[15]李凯扬,贾玉萍.
基于AHP的期刊全文数据库的模糊综合评价[J].
情报科学,2005(11):1688-1703.
[16]陈汉忠.
主成分分析在学术期刊评价中的应用[J].
中国学术期刊研究,2004(6):658-660.
[17]李继晓,蔡成瑛.
对各种核心期刊评价方法的分析[J].
中国学术期刊研究,2006(2):253-256.
[18]俞立平.
一种新的科教组合评价方法)))共性数据排序选择模型[J].
统计研究,2009(7):103-108.
[19]俞立平.
科技评价中效用函数合成方法的比较研究[J].
科技进步与对策,2010(1):106-110.
[作者简介]俞立平,男,1967年生,中国科学技术信息研究所博士后,宁波大学商学院教授.
潘云涛,女,1967年生,中国科学技术信息研究所研究员.
武夷山,男,1958年生,中国科学技术信息研究所总工程师,研究员.
收稿日期:2010-06-08实践研究