DianaHicks、Paul Wouters及其同事督促用十項(xiàng)原則來規(guī)范科研評估。

科學(xué)治理日益依賴于數(shù)據(jù)。建立在量化指標(biāo)基礎(chǔ)上科研評估已經(jīng)取代曾經(jīng)的同行評議成為主流[1]。隨之而來的問題是，今日的評估已由數(shù)據(jù)而非判斷主導(dǎo)。量化指標(biāo)日益流行：通常是精心設(shè)計(jì)的，但并非總是被透徹理解，而且經(jīng)常被錯(cuò)誤地使用。主持科研評估的機(jī)構(gòu)往往缺乏對于這些量化指標(biāo)的透徹理解，因此這些指標(biāo)雖然意在促進(jìn)科學(xué)研究卻經(jīng)常適得其反。

2000年之前，美國科學(xué)信息研究所（ISI）的科學(xué)引文索引（SCI）已為專家們所使用。2002年，湯森路透公司（Thomson Reuters）整合其網(wǎng)絡(luò)平臺，使其Web of Science數(shù)據(jù)庫更加普及。競爭者也隨之而來，包括愛思唯爾（Elsevier）的Scopus（2004年發(fā)布）和Google學(xué)術(shù)搜索（Google Scholar，beta版2004年發(fā)布）。相關(guān)分析工具也如雨后春筍，使比較學(xué)術(shù)機(jī)構(gòu)以及個(gè)人的研究產(chǎn)出和影響更為容易，例如基于Web of Science的InCites、基于Scopus的SciVal、以及基于Google Scholar 的Publish or Perish軟件（2007年發(fā)布）。

2005年，美國加州大學(xué)圣地亞哥分校的物理學(xué)家Jorge Hirsch提出了H指數(shù)，使得被引次數(shù)更為廣泛地被用于考量學(xué)者的科研。自1995年起，期刊影響因子也日益盛行。

最近，關(guān)于社會使用和在線評論的量化指標(biāo)日漸成勢，比如F1000Prime（2000）、Mendeley（2008）、和Altmetric.com（2011，由麥克米倫集團(tuán)支持，而《自然》所屬的自然出版集團(tuán)亦為麥克米倫旗下公司）。

作為文獻(xiàn)計(jì)量學(xué)者，社會科學(xué)家，以及科研管理者，我們目睹了在科研評估中量化指標(biāo)被愈發(fā)廣泛和嚴(yán)重地濫用，以下僅舉數(shù)例。各國的大學(xué)日益執(zhí)迷于其在各大高校排名中的位置（如上海交通的世界大學(xué)學(xué)術(shù)排名和泰晤士高等教育世界大學(xué)排名），盡管很多排名在我們看來是建立在并不精確的數(shù)據(jù)和非常武斷的指標(biāo)的基礎(chǔ)之上。

一些招聘者使用H指數(shù)來考察候選人。一些大學(xué)依靠H指數(shù)以及發(fā)表在高影響因子期刊上的論文的數(shù)量來決定科研人員的晉升與否。學(xué)者們，尤其在生物醫(yī)藥領(lǐng)域，在簡歷中夸耀他們的H指數(shù)或者影響因子。教授們要求博士生在高影響因子的期刊上發(fā)表論文和申請科研經(jīng)費(fèi)，盡管他們還沒有準(zhǔn)備好。

在北歐和中國，一些大學(xué)根據(jù)學(xué)者個(gè)人的影響指數(shù)來分配科研經(jīng)費(fèi)，或者為發(fā)表在高于15的影響因子的期刊上的論文提供資金獎勵(lì)[2]。

雖然在很多情況下研究和評估人員還是會做出相對平衡的評議，但科研指標(biāo)的濫用已經(jīng)到了不容忽視的地步。

因此，我們提出萊頓宣言，源于在荷蘭萊頓舉行的一次國際會議（參見http://sti2014.）。我們所提出的十大原則對于文獻(xiàn)計(jì)量學(xué)者而言并非前所未聞，盡管我們當(dāng)中沒有人可以完整地羅列出這些原則，因?yàn)槲覀冎两駴]有一個(gè)系統(tǒng)的成文闡述。我們這一領(lǐng)域的啟蒙者，比如ISI的創(chuàng)立者Eugene Garfield，曾提到過這十大原則中的某些[3，4]，但他們并未為科研評估和管理人員所知曉。同時(shí)，被評估的科學(xué)家們試圖尋找相關(guān)的文獻(xiàn)來駁斥某些評估結(jié)果，而這對于他們而言猶如大海撈針。

我們在此提出十大原則，凝練了基于指標(biāo)的科研評估的規(guī)范。借此被評估者可以問責(zé)評估者，而評估者可以規(guī)范使用量化指標(biāo)。

十大原則

1：量化的評估應(yīng)當(dāng)支持而非取代質(zhì)化的專家評審。

量化指標(biāo)可以降低同行評議中的偏見并促進(jìn)更為深入的審議。量化指標(biāo)可以提高同行評議的質(zhì)量，因?yàn)樵跊]有充足信息的情況下評價(jià)別人是非常困難的。但是評估者的判斷不應(yīng)讓位于數(shù)字。量化指標(biāo)不應(yīng)取代建立在充分信息基礎(chǔ)之上的判斷。評估者仍應(yīng)對其評估負(fù)責(zé)。

2：科研績效的考量應(yīng)基于機(jī)構(gòu)、團(tuán)隊(duì)、以及個(gè)人的科研使命。

應(yīng)當(dāng)首先明確評估的目標(biāo)，而所采用的指標(biāo)也應(yīng)切合這些目標(biāo)。同時(shí)，指標(biāo)的選擇和應(yīng)用的方式應(yīng)該考慮更為廣泛的社會、經(jīng)濟(jì)、文化環(huán)境?？茖W(xué)家有著各色各樣的科研使命，著眼于探索未知的尖端基礎(chǔ)研究和立足于解決社會問題的應(yīng)用研究有著截然不同的任務(wù)。在某些情況下，評估者應(yīng)該考慮研究的社會和經(jīng)濟(jì)價(jià)值而非其科學(xué)價(jià)值。世上沒有一個(gè)評估方法適用于所有的情況。

3：保護(hù)卓越的本地化研究。

在很多地方，研究的卓越等同于在國際期刊上發(fā)表英文論文。比如，西班牙法律明文鼓勵(lì)發(fā)表于高影響力的英文期刊的論文。然而期刊影響因子所依賴的Web of Science數(shù)據(jù)庫主要是以美國和英文期刊為主。這一數(shù)據(jù)庫覆蓋期刊的偏差對于社會和人文學(xué)科造成了尤為嚴(yán)重的后果，而在這些領(lǐng)域很多研究是關(guān)于本國或者當(dāng)?shù)氐恼n題。在很多其他的領(lǐng)域也有偏重于本地化的題目，比如撒哈拉以南非洲的HIV流行病學(xué)。

這些本地化的課題往往并不為高影響因子的英文期刊所青睞。那些在Web of Science數(shù)據(jù)庫中取得較高引用率的西班牙社會學(xué)家往往從事于抽象模型或者分析美國數(shù)據(jù)。西班牙語期刊的論文則通常關(guān)注更為相關(guān)的本地課題：本地勞動法，老年人家庭醫(yī)療，以及外來勞工等等[5]。只有基于高質(zhì)量本地語言期刊的指標(biāo)才能正確評價(jià)和推動卓越的本地化研究。

4：數(shù)據(jù)采集和分析過程應(yīng)公開、透明、簡單。

數(shù)據(jù)庫的建立應(yīng)該遵循明確的規(guī)則，而這些規(guī)則應(yīng)在評估之前就清晰闡述。這是以往數(shù)十年來相關(guān)學(xué)術(shù)單位和商業(yè)機(jī)構(gòu)的慣例。而他們的數(shù)據(jù)處理的流程也發(fā)表在同行評議的文獻(xiàn)中。這樣透明的流程保證了復(fù)查的可能性。比如2010年荷蘭萊頓大學(xué)科學(xué)技術(shù)研究中心（CWTS）所創(chuàng)建的一項(xiàng)指標(biāo)引發(fā)了一場學(xué)術(shù)爭論，而這一指標(biāo)隨后被修改[6]。這一領(lǐng)域的新進(jìn)機(jī)構(gòu)也應(yīng)遵守此標(biāo)準(zhǔn)。我們不能接受評估中的暗箱操作。

對于指標(biāo)而言，簡單就是美，因?yàn)楹唵卧鰪?qiáng)透明性。但簡單化的指標(biāo)也可能會導(dǎo)致偏頗的結(jié)論（參見原則7）。因此評估者應(yīng)竭力保持平衡，采用的指標(biāo)應(yīng)足夠簡單明了但又不會曲解復(fù)雜的問題。

5：允許被評估者檢驗(yàn)相關(guān)數(shù)據(jù)和分析。

為保證數(shù)據(jù)質(zhì)量，所有的被評估者應(yīng)當(dāng)有機(jī)會查證評估所用的數(shù)據(jù)是否準(zhǔn)確全面地包括了他們的相關(guān)研究產(chǎn)出。評估者則應(yīng)通過自行驗(yàn)證或者第三方審查來確保數(shù)據(jù)的準(zhǔn)確性。大學(xué)可以在他們的科研信息系統(tǒng)中執(zhí)行這一原則，并以此作為一項(xiàng)重要標(biāo)準(zhǔn)來選擇信息系統(tǒng)提供商。精確和高質(zhì)量的數(shù)據(jù)耗費(fèi)時(shí)間和經(jīng)費(fèi)去搜集和處理，因此需要足夠的預(yù)算。

6：考慮發(fā)表和引用的學(xué)科差異。

最好能提供一套指標(biāo)讓不同的領(lǐng)域各取所需。幾年前，一組歐洲的歷史學(xué)家在全國的評審中得到了較差的結(jié)果，因?yàn)樗麄兂霭鏁皇窃诒籛eb of Science索引的期刊中發(fā)表論文，另外他們不幸被劃在了心理學(xué)系。歷史學(xué)家和社會科學(xué)家往往要求學(xué)術(shù)評審考慮書籍和本國語言的論文，而計(jì)算機(jī)科學(xué)家則往往要求加入會議論文。

不同領(lǐng)域的引用率也有差別：數(shù)學(xué)期刊的最高的影響因子大概是3，細(xì)胞生物學(xué)卻高達(dá)30。因而相關(guān)指標(biāo)需要根據(jù)學(xué)科來標(biāo)準(zhǔn)化，最可靠的學(xué)科標(biāo)準(zhǔn)化方法是通過百分位數(shù)：每一篇論文的得分取決于其在整個(gè)學(xué)科的被引次數(shù)分布中的位置（比如說最高的1%，10%，或者20%）。在使用百分位數(shù)方法時(shí)，個(gè)別極其高被引的論文將略微地提高其大學(xué)的排名，但在使用被引次數(shù)均值時(shí)卻可能會將其大學(xué)的排名從中等拔到頂級[7]。

7：對于學(xué)者個(gè)人的評估應(yīng)基于對其整個(gè)作品輯的質(zhì)化的評判。

年齡越大，H指數(shù)越高，即使是在沒有新論文發(fā)表的情況下。H指數(shù)在不同的領(lǐng)域也有所不同：生命科學(xué)家可高達(dá)200，物理學(xué)家最高100，而社會學(xué)家最多只有20到30[8]。這同時(shí)也取決于數(shù)據(jù)庫：有些計(jì)算機(jī)科學(xué)家在Web of Science中的H指數(shù)只有10，但在Google Scholar中卻有20到30[9]。研讀和評判一位學(xué)者的論文要遠(yuǎn)比僅僅依靠一個(gè)數(shù)字合適。即使在比較很多學(xué)者時(shí)，能夠綜合考慮多方面的信息更為適宜，比如個(gè)人專長、經(jīng)驗(yàn)、活動、影響等等。

8：避免不當(dāng)?shù)木唧w性和虛假的精確性。

科技指標(biāo)不可避免會在概念上有些模糊和不確定，并且建立在一些很強(qiáng)但并不普適的假設(shè)的基礎(chǔ)之上。比如說，對于被引次數(shù)到底代表了什么這一問題就存在很大的爭議。因此最好能使用多個(gè)指標(biāo)來提供一個(gè)更為可靠和多元的呈現(xiàn)。如果不確定性和潛在錯(cuò)誤可以被量化，那么應(yīng)該在發(fā)表指標(biāo)結(jié)果的同時(shí)提供置信區(qū)。如若潛在錯(cuò)誤率不可量化，那么研究人員至少不應(yīng)盲目追求精確度。比如，官方發(fā)表的期刊影響因子精確到小數(shù)點(diǎn)后三位數(shù)，這樣可以避免期刊之間打成平手。但考慮到被引次數(shù)所存在的概念上的模糊性和隨機(jī)誤差，實(shí)在沒有必要在相差不大的期刊之間分個(gè)伯仲。在此情形下，避免虛假的精確度意味著精確到小數(shù)點(diǎn)后一位就已經(jīng)足夠了。

9：認(rèn)清科技指標(biāo)對科研系統(tǒng)的影響。

科技指標(biāo)改變研究人員的動機(jī)進(jìn)而改變整個(gè)科研系統(tǒng)，對這樣的結(jié)果我們應(yīng)有充分的預(yù)期。這意味著一套指標(biāo)總勝于單個(gè)指標(biāo)，因?yàn)閱蝹€(gè)指標(biāo)更易于被操縱，也更容易取代真正的目標(biāo)成為驅(qū)動研究的指揮棒。舉例來說，在90年代，澳大利亞政府根據(jù)各高校的論文數(shù)量來分配經(jīng)費(fèi)，而大學(xué)可以估算出一篇論文的經(jīng)濟(jì)價(jià)值：在2000年一篇論文大約可以換來900澳元（折合450美元）的經(jīng)費(fèi)?？梢灶A(yù)料的是澳大利亞的高校發(fā)表論文數(shù)據(jù)顯著增加，但多發(fā)表于低被引的期刊，意味著論文質(zhì)量的下降[10]。

10：定期審查指標(biāo)并更新。

研究的使命和評估的目標(biāo)會隨著時(shí)間而改變，科研體系也不停在變化演進(jìn)。曾經(jīng)有用的指標(biāo)可能會變得不那么合適，而新的指標(biāo)也會不停出現(xiàn)。指標(biāo)體系也應(yīng)隨之調(diào)整。意識到不良后果后，澳大利亞政府在2010年推出了更為復(fù)雜的科研評估體系，而這一體系更為重視科研質(zhì)量。

以后的路

遵循這十項(xiàng)原則，科研評估將在推動科學(xué)發(fā)展和社會進(jìn)步方面發(fā)揮更為重要作用。科研指標(biāo)可以提供非常有價(jià)值的信息，但我們應(yīng)謹(jǐn)記指標(biāo)只是工具，不是目標(biāo)。

為作出最好的決定，我們同時(shí)需要可靠的統(tǒng)計(jì)數(shù)據(jù)和對研究對象的深入了解。量化和質(zhì)化的證據(jù)二者不可或缺，并且這二者都是客觀的。科學(xué)決策必須建立在高質(zhì)量的評估過程和充分并可靠的數(shù)據(jù)的基礎(chǔ)之上。

作者：Diana Hicks是佐治亞理工公共政策學(xué)院教授。Paul Wouters是荷蘭萊頓大學(xué)科學(xué)技術(shù)研究中心（CWTS）的教授兼主任，Ludo Waltman是該中心的研究員，Sarah de Rijcke是該中心的助理教授。Ismael Rafols是西班牙國家研究委員會和瓦倫西亞理工大學(xué)的科學(xué)政策研究員。

翻譯：王健，比利時(shí)魯汶大學(xué)研發(fā)監(jiān)測中心（ECOOM）博士后。（Translator: Jian Wang, postdoctoralfellow at the Center for R&D Monitoring (ECOOM) at the University ofLeuven.）

參考文獻(xiàn)：

1.Wouters, P. in Beyond Bibliometrics: Harnessing Multidimensional Indicators ofScholarly Impact (eds Cronin, B. & Sugimoto, C.) 47–66 (MIT Press, 2014).

2.Shao, J. & Shen, H. Learned Publishing 24, 95–97 (2011).

3.Seglen, P. O. Br. Med. J. 314, 498–502 (1997).

4.Garfield, E. J. Am. Med. Assoc. 295, 90–93 (2006).

5.López Pi?eiro, C. & Hicks, D. Res. Eval. 24, 78–89 (2015).

6.van Raan, A. F. J., van Leeuwen, T. N., Visser, M. S., van Eck, N. J. &Waltman, L. J. Informetrics 4, 431–435 (2010).

7.Waltman, L. et al. J. Am. Soc. Inf. Sci. Technol. 63, 2419–2432 (2012).

8.H irsch, J. E. Proc. Natl Acad. Sci. USA 102, 16569–16572 (2005).

9.B ar-Ilan, J. Scientometrics 74, 257–271 (2007).

10.Butler, L. Res. Policy 32, 143–155 (2003).

TheLeiden Manifesto for research metrics

In an article published inNature on 23 April 2015, the Leiden Manifesto for research metrics advocatesthe need for good practices in metrics-based research assessments to ensurethat such evaluation is of benefit to the development of science and society.

The team behind the LeidenManifesto, which includes Dr Ismael Rafols visiting fellow at SPRU (where hewas senior lecturer until 2012), argue that evaluation has become an end initself, with research evaluations now a routine task. This has led to‘impact-factor obsession’ amongst universities (with regards both to citationcounts and their own rankings).

Ismael Rafols said:'This manifesto responds to the need to improve the use of researchmetrics in the face of pervasive inappropriate use. Sadly, the parallelincrease of research metrics and bureaucratic management in universitiesworldwide is creating all sort of mischief -- with potentially seriousconsequences such as suppressing creativity and dissociating science from itssocial and economic missions. Metrics can be helpful - given the size andcomplexity of contemporary science they can enrich our understanding - but theyshould be used in a responsible manner, always supporting qualitative judgementrather than substituting for it. Indicators should never be used as evaluativemachines.'

The Leiden Manifesto presentsten principals to guide best practice for metrics-based research assessments toensure proper methodological approach and application.

Ten principles

1. Quantitativeevaluation should support qualitative, expert assessment

2. Measureperformance against the research missions of the institution, group orresearcher,

3. Protectexcellence in locally relevant research

4. Keep datacollection and analytical processes open, transparent and simple

5. Allowthose evaluated to verify data and analysis

6. 6. Accountfor variation by field in publication and citation practices

7. Baseassessment of individual researchers on a qualitative judgement of theirportfolio.

8. Avoidmisplaced concreteness and false precision

9. Recognisethe systemic effects of assessment and indicators

10. Scrutinizeindicators regularly and update them.

The authors of the manifestohope that these principles will help to improve the use of metrics in researchevaluation, for example by achieving a greater balance between quantitative andqualitative evidence to inform decision-making about science.

Ismael Rafols has researchedthe assessment of science and technology, studying both how research isevaluated and how evaluations may influence science and technology. He was anauthor of SPRU’s response to the HEFCE metrics review which is chaired by Prof.James Wilsdon of SPRU. On Twitter, James Wildson tweeted that he will bedrawing on the 'Leiden Manifesto' in the #HEFCEmetrics final report, which willbe published on 9 July 2015.