自行車頭盔的糊塗賬

昨天剛介紹了可復算性研究，今天看到謝益輝在Github上star了一個薈萃分析的可復算性研究案例。作者應該是一線科研人員，但沒有使用 Github Pages 將報告直接生成網頁是個遺憾，好在 Github 對 Markdown 的支持還是很不錯的，對英文不抗拒的話直接讀，我這裡會省略掉一些技術細節，講個故事。

起

自行車頭盔在很多國家是被法律強制使用的，其依據是很多研究人員的論文。2001年Attewell 等人對前人的研究工作進行薈萃分析（meta-analyses，也有譯作元分析的）後認為，自行車頭盔還是有保護作用的。這裡簡單說下薈萃分析，這是一種起源於心理學統計學手段，常見於各種綜述。舉例來說，我想知道某種治療手段究竟有沒有用，一查文獻，有的說有用，有的說沒用，好，我們把文獻中具有可比性的數據匯到一起，再進行統計學分析，這樣就可以得到一個更全面而簡單的答案——有用或者沒用，也就是說，薈萃分析是在更高層次上總結前人研究成果的一種方法。聽起來很美好吧，但科學研究存在抽屜現象，也就是說，我們只看得到打開的抽屜中的問題，可能忽略了其他角度的思考。Duval 與 Tweedie 據此提出了一種新的薈萃分析方法，該方法的細節不說了，感覺有貝葉斯的影子，簡單說就是一種計算風險比的新演算法。

承

故事主角 Rune Elvik 曾任 Accident Analysis & Prevention 主編，期間他在2011年發表了一篇基於 Duval 與 Tweedie 薈萃分析方法的文章，使用的正是2001年 Attewell 的數據。同樣的數據，不同的演算法，但結論卻變了，變成自行車頭盔其實對個人保護沒啥作用了。這一研究成果迅速被媒體關注，以「人咬狗」的形式報導了出來。也就是說，發表了一篇有社會影響力的論文。

這時故事的另一個主角 Tim Churches 出現了，他仔細讀了下 Elvik 的論文，發現數據展示的圖有點問題，於是他寫信給 Elvik 說想要原始數據，Elvik 教授就把數據發過去了。這一過程中 Churches 並不是重新去統計新數據，而是打算進行一次可復算性研究，其實 Elvik 對 Attewell 的數據重分析也可以算一個可復算性研究，只不過演算法換掉了。Churches 算了半天，發現即便換了演算法，得到的數據跟 Elvik 給出的也不一樣，據此他把計算代碼打包發給 Elvik ，說撤稿吧，主編。Elvik 思考了很久，在2012年年底對那篇文章發了一篇勘誤，在勘誤中 Elvik 補充了幾個新數據，結果發現，不影響結論，自行車頭盔還是沒用，甚至比之前更沒用了。那麼作為一個無關緊要的修正，故事應該差不多結束了。

轉

Churches 覺得也該結束了，但他添加了數據後重新算了下，發現一個杯具：勘誤也算錯了。而且，這次錯的恰恰是對結論很關鍵的幾個風險比數據，他算了半天發現，結論應該是安全頭盔是有用的。然後他又寫信給 Elvik 與出版方，說撤稿吧，結果時至今日，出版方還是說調查中。

不合

這個故事其實還在進行，Churches 也承認自己其實發表過自行車頭盔有用的文章，那麼作為讀者的你怎麼看？學術醜聞？打擊報復？作為科研人員，經歷這個過程太正常了，我們都在不斷地試錯與犯錯，哪怕夾帶一定情緒，也總會有與你意見相左的人來反對，這個過程總是存在並保障研究成果的有效性。也許你會說，如果雙方都堅持自己正確，那麼數據就是評判的唯一標準，你也看到了，同一批數據有可能給出不一樣的結論，而且誰又能保證自己做薈萃分析時用的數據是最全面的呢？很有可能整體學科都忽視了一些重要的證據。即便是科學家，也無法做到對自己都不知道自己不知道的東西做研究的，但新的東西出來總是振奮人心的。

值得稱道的是，Churches 在Github上公開了他視角下故事發展的流程，原始數據與動態報告，我們可以清晰的看到他是如何得到結論的。他的這份報告並不是經過同行評議的，但我們可以看到這種自我公開發表本身就是可以讓公眾進行評議的，當然，你最好能看懂。那麼，當數據公開後，我們其實可以自行去驗證，不，由於動態報告的特性，同樣的腳本執行結果不會出現兩個的，命令行在這個意義上杜絕了滑鼠點擊時可能出現的錯誤。另一個值得稱道的就是 Elvik 公開了他的原始數據，這也會伴隨互聯網雲存儲的廣泛使用而越來越簡單。

在可復算性研究可以很方便執行的今天，這種故事可能越來越多，也許，你也可以參與到故事中。那麼自行車頭盔究竟有沒有用呢？題目說的很明白了，科研人員都是算糊塗賬的。（題圖來自網路搜索，如有侵權請告之，本文CC）

其實我寫這個是為了紀念dropbox。