原文作者：Elizabeth Gadd
研究人員常常抱怨招聘和資助委員會(huì)用于評(píng)估他們的指標(biāo)。過(guò)去10年里，諸如《舊金山科研評(píng)估宣言》和《萊頓宣言》等倡議的誕生，促使大學(xué)重新思考應(yīng)該如何通過(guò)學(xué)術(shù)著作和引用量來(lái)評(píng)估研究成果和研究人員，以及何時(shí)使用這類(lèi)指標(biāo)。
用排名來(lái)評(píng)估大學(xué)的做法也需要重新思考。由“世界大學(xué)學(xué)術(shù)排名”（ARWU）和《泰晤士高等教育》“世界大學(xué)排名”（THE WUR）等機(jī)構(gòu)發(fā)布的這些排行榜，決定了獎(jiǎng)學(xué)金和其他收入的資格，還會(huì)影響學(xué)術(shù)人員去哪里工作和深造的決定。各國(guó)政府通過(guò)各種政策和經(jīng)費(fèi)，幫助他們的大學(xué)提高排名。許多大學(xué)（如筆者所在的機(jī)構(gòu)）的研究人員因?yàn)閷W(xué)校排名不高錯(cuò)失了很多機(jī)會(huì)。
來(lái)源：pixabay
兩年前，國(guó)際研究管理學(xué)會(huì)網(wǎng)絡(luò)（INORMS，一個(gè)由研究管理機(jī)構(gòu)組成的學(xué)會(huì)）邀請(qǐng)我主持一個(gè)關(guān)于研究評(píng)估的新工作組，工作組成員來(lái)自十幾個(gè)不同國(guó)家。在第一次會(huì)議上，我們就最關(guān)心的問(wèn)題達(dá)成了一致：更公平可靠的大學(xué)排名。當(dāng)我們開(kāi)始起草排名的標(biāo)準(zhǔn)并進(jìn)行評(píng)級(jí)時(shí)，它們的缺點(diǎn)也清晰起來(lái)。
全球研究委員會(huì)（Global Research Council）包括了各個(gè)科學(xué)和工程資助機(jī)構(gòu)的負(fù)責(zé)人。不久前，全球研究委員會(huì)在網(wǎng)上召集專(zhuān)家，探討如何通過(guò)研究評(píng)估改善研究文化——這應(yīng)當(dāng)包括大學(xué)排名的構(gòu)建和使用。
關(guān)于研究管理的文獻(xiàn)盡是對(duì)排名的批評(píng)。排名在方法論上備受質(zhì)疑——經(jīng)常使用不恰當(dāng)?shù)闹笜?biāo)，比如以獲得諾貝爾獎(jiǎng)的校友數(shù)量評(píng)判教育優(yōu)質(zhì)與否。它們還更偏愛(ài)英文著作以及之前排名高的大學(xué)。這樣一來(lái)，歐洲和北美的老牌富裕大學(xué)始終霸占榜首。大學(xué)排名所采用的一系列指標(biāo)可能無(wú)法反應(yīng)大學(xué)的特定使命，還常常忽視它們的社會(huì)影響和教學(xué)質(zhì)量。
然而，大學(xué)排名早已深入人心，每年新的排名層出不窮。和期刊影響因子一樣，無(wú)論有多少問(wèn)題，學(xué)生、教職人員和資助者都貪圖一勞永逸，將排名與質(zhì)量劃上等號(hào)。后果是顯而易見(jiàn)的：人才缺失，大學(xué)收入減少，不平等快速萌芽。
我們工作組在梳理了有關(guān)文獻(xiàn)后制定了一套標(biāo)準(zhǔn)，并通過(guò)討論向?qū)W術(shù)人員、支持科研的人士，以及其他相關(guān)群體征求意見(jiàn)。我們將這些意見(jiàn)整理成20條原則，包括有效管理（如聲明財(cái)務(wù)利益沖突）、透明度（目標(biāo)、方法、數(shù)據(jù)）、測(cè)量重點(diǎn)（是否符合大學(xué)的使命）、嚴(yán)謹(jǐn)性（指標(biāo)能清晰呈現(xiàn)它的測(cè)量?jī)?nèi)容）。
之后，我們將這些原則開(kāi)發(fā)成一個(gè)工具，對(duì)排名進(jìn)行定性和定量評(píng)估（參見(jiàn)go.nature.com/2ioxhhoq）。我們召集了國(guó)際專(zhuān)家評(píng)估全球最知名的6個(gè)排名機(jī)構(gòu)，并邀請(qǐng)這些機(jī)構(gòu)展開(kāi)自評(píng)（只有CWTS萊頓愿意照做）。大學(xué)排名觀察（University Ranking Watch）博客編輯Richard Holmes負(fù)責(zé)結(jié)果校準(zhǔn)，我們將這些結(jié)果以描述的形式呈現(xiàn)，而不是排名。
結(jié)果顯示，最受關(guān)注的排名（ARWU、QS世界大學(xué)排名、THE WUR和《美國(guó)新聞和世界報(bào)道》全球排名）問(wèn)題最多，尤其是在“測(cè)量重點(diǎn)”和“嚴(yán)謹(jǐn)性”方面。這些“標(biāo)桿”排名均未考慮開(kāi)放獲取、平等、多樣性、可持續(xù)性和其他社會(huì)議題，也不提供指標(biāo)來(lái)反應(yīng)一所大學(xué)的使命。盡管如此，它們依然聲稱(chēng)自己評(píng)出了全世界最好的大學(xué)。
排名機(jī)構(gòu)可能會(huì)說(shuō)我們的原則不切實(shí)際，強(qiáng)調(diào)評(píng)估不可能滴水不漏，而且簡(jiǎn)單、一刀切的指標(biāo)有其合理性。筆者的反駁是，我們從各界呼聲最高的意見(jiàn)中總結(jié)出這些原則，如果排名機(jī)構(gòu)做不到，也許應(yīng)該停止排名，或者至少開(kāi)誠(chéng)布公地承認(rèn)他們的排名本身具有不確定性（在我們的評(píng)估中，只有CWTS萊頓愿意嘗試）。
歸根結(jié)底，排名機(jī)構(gòu)需要承擔(dān)更多責(zé)任。對(duì)研究人員評(píng)估方式的新期望讓筆者深受鼓舞。從2021年1月起，英國(guó)研究資助機(jī)構(gòu)惠康（Wellcome）只資助那些能夠證明對(duì)研究人員開(kāi)展過(guò)公平產(chǎn)出評(píng)估的機(jī)構(gòu)。同樣，歐盟委員會(huì)在其“邁向2030”（Towards 2030）計(jì)劃中號(hào)召高等教育拋棄當(dāng)前的排名系統(tǒng)，因?yàn)樗鼈兇嬖诰窒耷摇斑^(guò)于簡(jiǎn)單”。
我們希望通過(guò)暴露排名系統(tǒng)的缺陷所在，吸引更多伙伴來(lái)推動(dòng)這場(chǎng)變革，比如實(shí)行更中性、獨(dú)立的監(jiān)管，以及可用于其他學(xué)術(shù)評(píng)價(jià)的倫理和嚴(yán)謹(jǐn)性標(biāo)準(zhǔn)。
這種壓力或能倒逼全球排名機(jī)構(gòu)使用的排名方法更貼近高等教育界對(duì)公平可靠排名的期望，或是幫助用戶(hù)了解排名的局限性，在參考這類(lèi)排名時(shí)多一分謹(jǐn)慎。不管怎樣，都是進(jìn)步。
原文以University rankings need a rethink標(biāo)題發(fā)表在 2020年11月25日的《自然》的World View版塊上