公開審稿意見,會是同行評議中權力濫用的解藥嗎?

導語:ASAPBio的Jessica K. Polka和惠康基金會、霍華德·休斯醫學研究所的同行號召期刊簽署一項保證書,呼籲將審稿意見匿名加入正式科研記錄中。

長久以來,同行評議的內容都隱藏在黑暗中,現在終於得以公開了。過去10年,eLife、F1000ResearchRoyal Society Open ScienceAnnals of Anatomy、《自然-通訊》、PeerJ和 EMBO Press等期刊陸續開始公開發表審稿意見報告。

而Copernicus、BMJ和BMC(BMC是施普林格·自然旗下機構)等出版商公開同行評議的歷史就更久了(見「同行評議時間軸」)。去年,「同行評議周」組織方在有關透明度的主題下對這個話題展開了深入探討。

插圖:David Parkins

我們作為兩大生物醫學類資助機構——英國惠康基金會(Wellcome Trust)和霍華德·休斯醫學研究所(HHMI),以及促進生命科學出版創新的非盈利機構ASAPbio的代表,堅信發表審稿意見報告能夠為作者和讀者提供更多信息、提升同行評議過程、增加公眾對科學的信任度。目前,發表審稿意見的科學期刊還不到3%(見 go.nature.com/2weh6vn)。

為了擴大這一比例,我們的組織在今年2月舉辦了一次會議,邀請主要來自北美和歐洲的約90位生命科學人士參會,他們包括科研作者、審稿人、讀者、期刊編輯以及資助機構的領導。我們也特意邀請了更加保守的人士,但是會議的主題更吸引那些準備好接受改變的人。

本文的主要觀點來自於此次參會的心得,並獲得了HHMI主席Erin O』Shea、加州大學聖克魯茲分校的分子生物學家Needhi Bhalla、美國國立研究院綜合醫學科學研究所的博士後訓練項目主任Kenneth Gibbs以及澳洲Know-Center研究所Tony Ross-Hellauer的幫助。

與會者一致認為,目前同行評議過程缺乏透明度,不利於科學進步;而部分期刊堅持將審稿意見(不一定公開審稿人身份)和作者反駁公開發表。在此,我們號召更多的期刊加入到這個行動中來。是時候讓透明度成為新常態了。

同行評議時間軸

期刊編輯一向依賴審稿人來篩選和提高論文質量,如今,焦點開始轉向分享審稿人的意見。

18世紀50年代:英國皇家學會成立了一個委員會,由委員會決定哪些文章可以刊登在《自然科學會報》(The Philosophical Transactions of the Royal Society)上。

19世紀90年代:英國科學學會經討論決定放棄採用標準化的審稿模式,以防「在科學清流中傾倒污水」的行為。

20世紀40-60年代:正式的同行評議形式逐漸成為科學的支柱。《科學》、《自然》、《美國醫學會雜誌》都開始採用同行評議。

20世紀70年代:「同行評議」一詞被廣泛使用。

1989年:進行流程評估的同行評議大會(Peer Review Congress)首次召開,會議定為每四年召開一次。

1999-2003年:《英國醫學雜誌》在評估隨機試驗結果後決定公開審稿人姓名。出版商BMC也開始發表署名的審稿意見。《大氣化學和物理學》(Atmospheric Chemistry and Physics)鼓勵公開討論投稿論文。

2006-2016年:一些期刊和出版平台開始陸續發表審稿意見,其中包括Biology Direct (2006)、eLife (2011)、The EMBO Journal (2010),F1000 Research (2012)、PeerJ (2013)以及《自然-通訊》(2016)。

定義評議

「公開評議」一詞可以有多重含義。「公開身份」是指公布審稿人姓名;「公開報告」(也叫做透明評議或已發布的同行評議)是指發表審稿意見。期刊要麼公開其中一項,要麼都公開,要麼都不公開。

在2016年的一項調查中,3062個受訪者中有59%的人支持公開報告。只有31%的人支持公開身份。不支持公開身份的受訪者擔心,公開身份會讓審稿人弱化對稿件的批評意見,或引致作者報復。在此,我們支持公開報告為默認形式,而公開身份為可選項。

大多數科學家認為同行評議是篩選論文的必要條件。同行評議能夠給予作者建設性反饋為編輯提供深度意見,並確保讀者能信任所發表的研究。但一般情況下只有編輯、作者、審稿人(看情況)才看到審稿報告。

這就會導致幾種形式的權力濫用審稿意見可能較為膚淺、粗魯或帶有偏見;作者對合理批評反應過激;編輯可能不會參考作者或審稿人的意見;掠奪性出版商在收費後無法提供高質量的同行評議。

而公開同行評議有諸多好處(見「公開評議的潛在好處」)。科研人員可以從審稿人和編輯的意見中學到很多。社會學家也可以採集數據(比如,審稿人的偏見或是審稿人的糾錯能力),用於完善整個同行評議模式。處於職業生涯早期的研究者也可以從別人的實例中學習。而且,公眾也不再需要無端信任那些從不公開的評閱過程了。

公開評議的潛在好處

激發高質量、有建設性的審稿意見。在預知自己的意見會被發表後,編輯和審稿人都會提高評閱過程的質量標準。

保留有價值的學術爭議。同行評議中包含能夠體現一個領域思潮發展的對話和思想。這些材料應該被保留並公開。

建立信任。讀者有權知道一篇論文背後的評議深度。

期刊決策透明化。編輯必須整合審稿人等來源的信息並做出最終決策。公開審稿意見可為這一決策過程打開一個窗口。

構築同行評議的價值通道。在申請資助和晉陞時,審稿人可以(私下)向別人展示自己的評閱意見,證明自己的學術參與度。

提供培訓資源。審稿報告告訴人們應該從(或不從)何種角度評估一篇論文。

提升同行評議的系統研究。公開的審稿報告和作者的反駁能促使同行評議過程變得更好,使整個系統得到提升。

由於公開的同行評議的研究樣本往往很小,而且把公開身份和其他公開模式都包括了進去,因此統計功效難於研究。然而,迄今為止的證據表明,學術圈認為公開的同行評議報告很有價值。在The EMBO Journal上,同行評議文件的點擊量是論文點擊量的10%。

出版商愛思唯爾(Elsevier)的試點項目發現,其網站上三分之一的訪客瀏覽過同行評議報告。一些編輯表示,他們用公開的同行評議報告指導那些審稿經驗不足的審稿人(見go.nature.com/2oujfgv)。《歐洲神經病學雜誌》在2016年底啟動了透明評議後發現,審稿人的意見報告不僅寫得更好,而且返回時間更及時(見go.nature.com/2oxgtyf)。

實實在在的障礙

可是,為什麼公開同行評議的做法還是這麼少呢?原因有很多,一些是慣性使然,還有一些是概念上的認識問題。

同時,這也因學科而異。《自然-通訊》發現,如果有選擇的話,在演化和生態學類的稿件中,超過70%的作者(以及審稿人)會選擇公開評議報告。但是在核物理,粒子物理和理論物理領域,這個數字則小於50%。

一方面的擔憂是,即使審稿意見是匿名公開的,也多少會影響到審稿人接受邀請或自由評論的意願,因為作者可能會抵觸批評意見,或者對他們猜測的審稿人展開報復。

《英國醫學雜誌》發現,署名公開審稿報告並沒有改變審稿質量,說明這種做法並不會讓審稿人感到擔憂害怕。另外,在標準的審稿流程中,作者讀到的審稿意見往往是匿名的。

另一個更大的疑慮是,在今後申請資助,職位,獎項或者晉陞時,公開的審稿報告可能會以不利的方式被用來評價作者。究竟作者的種族,性別,國籍或是所在機構是否會影響對其論文的評價,目前的數據還很少。

但是有證據表明,學術發表領域確實存在偏見。比如,高分期刊上女性作為第一作者或最後一個作者的概率較小,受邀審稿的可能性也較低(見go.nature.com/2pzyvcw)。從女性教授獲得的工作評價也能看出性別歧視的存在(見go.nature.com/2ppat2k)。

因此,人們擔心少數族裔會得到帶有偏見的審稿意見。如果作者屬於少數族裔或是來自不太知名的科研機構,那麼研究資助,招聘和晉陞申請的評審很有可能會更多地注意到那些對他們的負面意見。此外,一些領域的競爭更激烈也更苛刻,這都會讓評閱意見存在偏向性

公開評閱報告的做法還有利於研究競爭以及偏見如何對評議過程產生影響。同時,公開同行評議過程中所有參與者(或是在事後進行評價的人)都應留意這種不公平的出現。

還應提防的另一個風險是審稿意見的「武器化」特定研究方向(如轉基因,氣候變化和疫苗)的反對者可能會對審稿意見斷章取義,或者進行曲解,用來削弱公眾對該論文、該領域或是整個學界的信任。

eLife、《英國醫學雜誌》和EMBO Press的調查只發現了一個不算嚴重的案例(見go.nature.com/2piygkb)。但對於那些發表內容容易被政治利用的期刊來說,評議報告被當成武器確是個潛在擔憂。

保險起見,期刊可以在公開評議報告中發布一條免責聲明,解釋同行評議過程以及它在科學討論中的作用。公開內容,並與記者,政客以及公眾展開討論也是建立信任,促進他們理解科研運作過程的契機。

公開同行評議報告也可以讓編輯的決策受到更大的監督,或許還可以起到震懾作用,讓編輯不敢擅自無視評議中的批評意見(見go.nature.com/2bid8ag)。同樣地,公開報告也有助於推動大家更好地理解編輯整合取捨不同意見的工作內容。

編輯判斷對於我們對科研質量的把握具有重大影響,對於學術討論的價值也很高。公開決策信件以及作者的反饋可以駁斥批評意見,補充背景情況,糾正誤解,並提供論文終稿中沒有包含的信息。

最後,實際問題也不得不考慮。編輯指出,手動發表一篇審稿意見的時間是25分鐘——這雖然不能和協調,實施和評估同行評議的時間相比,但依然不少。大多數發表平台的設立初衷並不是為了發布、組織或是分配審稿報告和相關材料的DOI號,而且要改造這些系統也絕非易事。

不論如何,我們依然期待期刊可以努力讓這些任務變得系統化,並把這些額外工作的成本公開化。編輯要學會處理包含不當內容的審稿意見,比如誹謗性評論或未發表的數據,也要習慣於公開互通信件。其實,許多編輯已經在這麼做了。

前進

我們認為,對於審稿人、作者、公眾以及編輯來說,公開同行評議利大於弊。在理想的情況下,所有發表論文都應該附上其審稿意見。但是現在,在鼓勵公開機制的同時,學術界也需要評估作者的身份特徵,如種族和國籍是否會影響審稿人的反饋。實現公平道路上的所有結構性障礙都應該被剷平。

理想的情況下,審稿報告要易於查找,並和相關資料(如作者的反饋和稿件的不同版本)自動整理一起存檔。出版商也應該提供鳴謝審稿人貢獻的機會。許多最新的技術都可以用來減少管理負擔,處理信息過載,並為讀者提供額外的鏈接和內容。

投稿系統管理平台開發者可以研發工作流系統,優化公開審稿報告的過程並實現自動化,從而減少期刊工作人員、作者和審稿人的負擔。PubMed等指數服務平台應尋找把原始論文和同行評議顯著關聯的方法。

好在一些這方面的基礎架構已經出現了,比如CrossRef從2017年末開始為同行評議添加DOI,評閱報告(包括公開和不公開審稿人身份的兩種)可以在PubMed Central 和 Europe PubMed Central存檔。

但是,如果要進一步研發穩健系統的話,公開審稿報告的做法必須更加普及。即使如今的現實情況離理想狀態還很遠,但是有行動就會有需求,也為將來的迭代進步打下了基礎。

近日,來自100多家期刊的超過20位編輯和出版商聯合簽署了一份公開信,表明已經公開或打算公開(公開或不公開審稿人身份)的同行評議報告的立場。我們號召更多的人加入我們。(《自然-通訊》已經簽署了這份保證書,其他的自然期刊也在考慮中。)

科學家可以要求他們所投、所審或擔任編輯的期刊公開同行評議,通過這種方式他們也可以助推這場變革。資助機構和學會也能助一臂之力,通過改變人們的態度,比如在自己學會期刊里實施或嘗試公開審稿意見。

科學是在批評聲和不同意見中前行的。公開這一內部流程雖然會讓一些人不太適應,但對於科學進步來說確是一樁好事。?

Nature|doi:10.1038/d41586-018-06032-w

Publish peer reviews?

www.nature.com圖標

原文發布在2018年8月29日的《自然》評論上,作者 Jessica K. Polka, Robert Kiley, Boyana Konforti, Bodo Stern & Ronald D. Vale


版權聲明:

本文由施普林格·自然上海辦公室負責翻譯。中文內容僅供參考,一切內容以英文原版為準。歡迎轉發至朋友圈,如需轉載,請郵件Chinapress@nature.com。未經授權的翻譯是侵權行為,版權方將保留追究法律責任的權利。

? 2018 Springer Nature Limited. All Rights Reserved


推薦閱讀:

TAG:科研 | 同行評審(PeerReview) | 透明 |