『計量智慧』:恰當使用科學計量指標的智慧
比利時Rousseau(魯索)教授提出了『計量智慧』一詞,指學者恰當使用科學計量指標的智慧。計量智慧既有正面影響,也有負面影響,是一柄雙刃劍。
步一 / Indiana University
圖文編輯:李江 / 浙江大學
- 註:圖片來源於必應
什麼是「計量智慧」
2015年,面向國際農業經濟學家協會(International Association of AgriculturalEconomists,IAAE)的一項調查顯示,科學家們對於幾種科學計量指標(如期刊影響因子、h指數、SCImago期刊排名和特徵因子(EigenFactor)等)的認識程度非常不同。例如,40%的科學家完全沒有聽說過h指數,還有10%的受訪者連期刊影響因子是什麼都不知道。
對於科學計量指標的認識體現了不同學者使用科學計量指標能力的差異。2015年,比利時的魯索教授(Ronald Rousseau)和他女兒提出了「計量智慧」(metric-wiseness)的概念。「計量智慧」體現的是恰當使用科學計量指標來表示學者真實研究水平與價值的能力。Rousseau教授指出,「計量智慧」與學者的學術能力無關。
從概念上看,「計量智慧」的概念應該分兩個角度來認識。一個角度是研究者自己使用恰當的科學計量指標度量自己學術水平的能力,另一個角度是評估者使用恰當的指標度量其他學者學術水平的能力。Rousseau教授目前主要是從第一個角度來解釋和探討「計量智慧」。
「計量智慧」的正面影響
Rousseau教授分析了科研過程的兩個階段:第一個階段是從事研究(performing research),這一階段會受諸多因素的影響,如對研究對象和研究問題的好奇、對社會的貢獻度、資金情況等;第二個階段是展示研究(reporting research),例如研究者通過一定的方式將研究書面化、規範化,並通過他們的簡歷或公開的學術主頁(如谷歌學術、ResearchGate等)展示他們的研究。「計量智慧」本質上可以體現在上述兩個階段。例如,在第一階段,一位研究者的「計量智慧」可以幫助他(她)更好地選擇實證研究中的數據,比如Elsevier的Scopus資料庫比廣為採用的Web of Science資料庫收錄更全更新,因此如果研究人員知曉這些信息,他(她)在設計研究方案時可能就不會單單只考慮Web of Science資料庫。資料庫的選擇可能也會對於數據集內文章的被引量計算有所影響,因為這些被引量往往是資料庫計算出的「局部被引量」(local citation number)。同時,ORCID和谷歌學術等的使用亦可幫助研究者進行簡單地實體消歧(如作者姓名消歧等)。另外,「計量智慧」高的學者在進行研究時往往會考慮研究人員學術外的一面——例如可以使用ResearchGate或Mendeley等平台獲取研究人員「社交」的屬性。
「計量智慧」對於科研過程第二階段的影響也有諸多的例子。例如,「計量智慧」高的學者會選取適當的平台展示他(她)的研究,如更傾向於將文章發表在以英語為載體語言的高影響因子期刊上;他們更傾向於與其他同行合作而非「單兵作戰」;他們可能會達成某種非正式的「協議」——如互相引用對方的文章藉以幫助對方提高被引量;他們可能利用多樣化的媒介(如NatureNews、Facebook、微信朋友圈甚至學術會議等平台)宣傳自己的研究;等等。
「計量智慧」的負面影響
「計量智慧」可能存在一些負面影響。例如,當科研人員整體的「計量智慧」提高之後,會出現一些不太好的現象,例如,追求短期內能出成果的「多快好省」研究、論文間存在更高的重複率、論文作者列表中增加更多的「掛名作者」等等。此外,它還會導致科研人員更傾向於將稿件投到高影響因子(或其他文獻計量指標)或影響因子絕對值不高但名聲不錯的期刊上而非會議或新創期刊,這會導致知識傳播的整體速率被拉低。
如何測度你的「計量智慧」
Rousseau教授指出了兩個層面的方式來度量「計量智慧」。第一個層面是對一些科學計量指標的熟悉程度,例如如果一位研究人員可以回答「什麼是期刊影響因子」之類的問題,我們可以認為他(她)具有一定的「計量智慧」。當然,需要指出的是,這種回答不一定要非常精確,例如如果他(她)認為期刊影響因子是「一本期刊中刊載的每篇文章的平均被引量」就足夠了,儘管這種定義和影響因子本身的定義是有差異的。
第二個層面則更有深度。Rousseau教授建議採用多維李克特量表來度量至少以下四個維度的問題,他還為每個維度列舉了可能的陳述:
表1. 李克特量表測度學者的『計量智慧』
維度
陳述
科學計量指標的定義細節
整體來看,年齡較大的研究人員更可能有較高的H指數
科學計量指標的使用
在度量研究人員的水平時,應當分學科進行
科學計量指標誕生的內在動機
如果某項研究工作我不在行,我會找了解此項工作的同行詢問或合作
科學計量指標使用過程中的外在壓力
使用社交媒體(如Twitter等)分享我的研究成果至關重要
綜上所述,「計量智慧」是一柄雙刃劍。「計量智慧」並不像「智商」等存在具體的數值,目前仍是一個定性的概念。研究人員「計量智慧」的提高雖然在很大程度上有利於他們研究的傳播,但也存在諸多可能的問題。
參考文獻
[1] Rousseau, S., & Rousseau, R. (2015). Metric-Wiseness: Letter to the Editor. Journal of the Association for Information Science and Technology, 66(11), 2389.
[2] Rousseau, S., & Rousseau, R. (2017). Being metric-wise: Heterogeneity in bibliometric knowledge. EIprofessional de la information, 26(3), 480-487.
[3] Millman, J., Bishop, C. H., & Ebel, R. (1965). An analysis of test-wiseness. Educational and psychological measurement, 25(3), 707-726.
推薦閱讀: