心理治療研究領域的渡渡鳥效應
期刊里有很多關於研究可重複性的文章；博客世界裡也充斥著關於可重複性的爭論。對研究可靠性的關注不僅局限於心理學，還延伸到了生物醫學（Begley & Ionannidis, 2015），政治學（Esarey, Stevenson, & Wilson, 2014），甚至是計算機科學（LeVeque, Mitchell, & Stodden, 2012）
但是，只有心理治療領域的研究人員用一個象徵物來比喻這個研究可重複性的問題：渡渡鳥。
幾十年來，心理治療領域的研究者們都很清楚，心理治療實驗常常是無法被重複的。我相信通過一個可再現的鏡頭和解決根本問題的方式來檢視渡渡鳥效應（不同的心理治療有同樣的效果），將會改善心理治療領域的研究現狀，不僅僅是治療實驗，而且我們能得到一些讓各方都滿意的答案，而不用再去老調重彈那些早已讓我們疲倦的爭論了。
這篇文章有兩個目標：1、讓懷疑論者確信我們的確關心心理治療研究的可重複性問題；2、提出可以用來修正這一問題的行動措施。
是的，這的確是個問題
儘管心理治療研究取得了大量一致的有用發現，但是我相信大部分的心理治療研究都無法重複（如果它還沒有被重複的話）。渡渡鳥效應就是一個無法重複的例子：任何支持一種療法優於另一種療法的重要發現，總是很容易被反駁，或者是結論無效，或者是得出完全相反的結論。
哎，等等，渡渡鳥不是已經滅絕了嗎？難道不是大衛（David Tolin）用一個元分析之類的東西把它殺了嗎（2010，2014）？
是的，有的元分析發現不同療法有不同的功效，但是另外的元分析卻發現不同療法間沒有差別（Hofmann, Asnaani, Vonk, Sawyer, & Fang, 2012）。所以，元分析本身也無法重複，最後還是導致了這種渡渡鳥狀況。
我們可以討論一下為什麼會出現我們想要的結果，因為我們會反覆考證元分析方法以及通過這些元分析得出的結論。但是拋開我們的立場，我們都會同意確實有證據表明問題存在。幾十年來，心理治療領域的研究產生了大量的文獻，但是這些文獻非常含糊，聰明人稍微從不同的角度進行解讀，就會得出不同的結論。
也許你並不關心效果比較試實驗的不可重複。事實上，如果只是效果比較的實驗，我也不會擔心，我會預期比較心理治療各個方面的實驗都產生變異的結果，下面會討論其中緣由。因此，許多研究者都認為研究機制、過程、調節變數和個人諮詢要素會更富有成效。
然而，我們有足夠的理由相信其它類型的心理治療研究也同樣不可重複。
首先，讓我們先有節操地假設心理治療研究和所有的心理學研究（包括其它領域）一樣，都存在可重複性的問題。
第二，心理治療文獻里有大量像渡渡鳥一樣無法重複的例子。就我自己曾痴迷於文獻回顧的經驗來說，缺乏可重複性不是特例而是常規。
例如，我被要求寫這篇文章是為了配合另外一篇文章，因為我和我的同事在那篇文章中得出的結論無法重複，主要探討依戀類型對認知行為療法和人際互動療法的功效所起的調節作用（人際心理治療；Bernecker等，2016）。由於寫文章的過程中注意到現存文獻很難總結歸納，於是我們對有關人際心理治療的調節因素的文獻做了一個全面回顧。我們發現的一致結論很少，就連經常被引用的結論都與其它的調查研究相矛盾。(Bernecker, Coyne, & Constantino, in preparation).
另一個例子來自於近期的一項關於認知偏差矯正（cognitive bias modification，簡稱CBM）的元分析（CBM; Cristea, Kok, & Cuijpers, 2015）。儘管我支持使用單因素檢驗作為應對這一危機的改進措施（見下文），但是元分析完美呈現了CBM的積極結果是受發表偏見和方法論問題的驅動，這表明除非我們改進發表要求和研究方法，不然就算是最嚴格限制的干預也會有可重複性的問題，正如多成分治療一樣。
如果你依然不相信心理治療研究的可重複性問題的話，我會這樣勸你，同那些懷疑氣候變化的人爭論時，我也是這樣說的：鑒於危險的嚴重性，不怕一萬，就怕萬一。我不想在這場賭局中失敗，最後以物種滅絕以及變為水下城市而告終，這樣的結果同樣會出現在科學領域。
如果想要我們的工作成果能夠影響實踐、培訓，乃至政策，那麼當我們生成一系列研究的時候，我們應該得出合理可信的結論；我們不應該得出那種經不起風吹的結果。
事實上，如果個人發表的論文足夠可靠，我們就可以放心地引用，因為它的結果是「真的」，而不是等著更多的研究來驗證同一個問題，這樣不是更好？
我們應該做些什麼？
我相信我們可以做到。
心理治療研究富有成效，但是由於實踐與文獻中的矛盾，妨礙了這一進程。現在科學界已經認識到可重複性問題這一領域，並且去尋找它的成因，我們有機會做出改變，這將會促發研究對這一問題有所回答。
在已發表的文獻中，兩種力量的結合導致了偏見的形成：一種力量是選擇可變性，一種力量是選擇更強的效應。受機構和個人壓力的影響，研究過程中，一些低效應的部分在不同程度上被過濾掉了，導致文獻中充斥著虛假的肯定。這種研究方式導致了最多的爭議，產生了最多的偏見，但是卻獲得了發表的回報與榮譽，似乎產生了最受「肯定」的結果，卻忽視了真正有效應的那部分（見上圖）。
總之，在實驗室里，文獻的狀況是可以改進的：
（1）減少有選擇性的偏見，也就是說，要保證這些效應不是按照有偏見的導向過濾到文獻中去的。
（2）減少可變性。
（3）改變系統。在系統層面，通過改變機構和個人對大效應的特殊偏好的措施，能夠使這些目標加快實現。儘管調查者們在某種程度上也是這一系統的受害者，但我們因為對這一系統的維護仍應受到指責，我們有責任永久性地改變這一局面。
1.在分析和報告的時候減少「選擇性偏好」
有問題的研究行為（QRPs; John, Loewenstein, & Prelec, 2012）包括在數據收集、分析、報告過程中刪去小的和無效的數據這類行為。出版偏好阻止了小的以及無效的結果出現在文獻之中。作為個人，我們應該負起責任來抵抗兩種類型的「過濾」。
- 避免有問題的研究行為，增加透明度，並且考慮預登記。
那些需要我們改變的行為在別的地方已經很清楚的被列舉了出來。我最喜歡的兩篇參考文獻是Gelman和Loken（2013）和Simmons，Nelson，Simonsohn（2011）。
簡而言之：在實證研究中，不要拐彎抹角，不要讓你的數據影響你的研究方法。在探索性研究中，把一切都報告出來，包括不同的分析策略得出的不同結果。
- 把一切都公布出來。
我們有責任儘力讓一切內容都公布出來。從你最喜歡的雜誌開始嘗試；你可能會很驚奇這些「無效應」居然那麼受歡迎，尤其是當你提出可重複性的原因時。如果這樣不行，試一下像是 PLoS ONE這樣的雜誌，他們依據研究方法的可靠性來選文章，而不是依據研究的結果，如果這些辦法都不行，那麼把你的文章放在網上的公共信息庫（Nosek, Spies, & Motyl, 2012），Journal of Articles in Support of the Null Hypothesis，這個網站里就是專門刊登「無效應」的文章的。
- 對你自己和周邊的人進行教育。
我相信絕大多數的科學家們都期望呈現「真實」的研究結果，而不是欺騙性的結果，當我們捲入有問題的研究行為時，是因為沒有意識到我們行為後果的嚴重性(John et al., 2012)。因此，大學老師不應該僅僅保證他們自己避免那些小的問題研究行為，他們同樣應該承諾對研究生（包括本科生）實施方法論、統計和倫理課程的培訓。許多研究生對可重複性問題只是粗略了解，他們的研究行為會有一些問題，有時候還是在導師的允許之下。如果沒有徹底深入的培訓，下一代將面臨這成為一個永久性問題的風險。
2 減少變異
- 在實驗研究中，聚焦於單因素控制。
多成分干預使臨床治療師可以靈活地對一個病人使用不同劑量的藥物（敏感性問題；Stiles, 2009）。這也許對病人有利，但是它同時也消除了效應，讓我們無法分辨是哪種治療成分導致了癥狀改善。單因素干預研究（或者只改變一個治療因素）將會極大提高精確性和可重複性。
儘管這些單因素干預方法應該持續被應用，但是在某種意義上，對於不適宜該治療方式的病人來說，不必嚴苛；更確切的說，那些在理論上符合的病人可以事先被辨認出來。確實，單因素方法的一個好的方面是，能夠靈活地將各因素結合起來以匹配不同病人的獨特表現。
- 將你自己視為高質量培訓的操作者，而不是干預因素。
實施有證據支持的訓練方法，例如行為示範訓練 (Hill & Lent, 2006; Taylor, Russ-Eft, & Chan, 2005)將會增強臨床工作者精確重複預定行為的能力。如果我們完全用更具體的材料和練習來訓練臨床工作者，之後的重複和傳播就會變得非常容易。
- 在實驗研究和觀察研究中，使用清晰可靠的測量。
我特別鍾情這樣的觀點：測量個體的目標癥狀或者中介因素而不是總體評估失調或者診斷。這樣會減少錯誤，並且可以澄清通過干預使病人的哪部分癥狀表現發生了改變。而且這更符合現代的心理疾病概念(Borsboom & Cramer, 2013)，也符合臨床實踐中病人往往更關心某個癥狀這一特點。
3 改變這個系統
作為研究的消費者和評審，我們是這個系統的一部分誘因，所以我們能夠改變這些壓力，讓研究從錯誤的肯定和有爭議的方法中發生轉變。
- 作為審稿人，依據方法而不是結果來「守住大門」
我們在推薦文章發表時，是否不應該依據研究結果或者它有可能奪人眼球，而應是研究方法的可靠性。我們也應該很清楚的告知作者，他們需要報告所有的結果和分析結論，而且他們不會因此受到不利影響(Simmons et al., 2011)。
- 作為消費者，獎勵那些促進可重複性的實踐
作為研究的消費者，我們同樣有權力。我們應該拒絕引用那些有選擇性報告跡象的文章，其它類似「為了得到想要的結果而將數據加倍」的文章，或者是研究方法製造很多噪音的文章。我們應該引用、發布、推送這樣的內容：
l 可重複的，有評論的
l 方法靠譜，出現多結果或者無效結果
l 明確採取努力盡量減少干擾的研究，儘管其結果效應較小。
這樣，從個人層面上來回報參與這項工作的研究者，並且向雜誌證明這些才是我們會引用並因此值得出版的內容。
結語
我希望我已經激勵了你採取行動。
如果是這樣的話，請你利用我這裡引用的參考文獻；我的想法得益於很多比我更睿智的人，他們寫了很多關於重複性的文章（和渡渡鳥相關的主題），他們有更全面的建議。
《心理科學觀點》雜誌上2012年11月的專題是一個很好的資源(Pashler & Wagenmakers, 2012)。
去吧，提高研究的可重複性吧！
本文最初發佈於東方明見心理，未經授權不得轉載。
版權合作：dfmjxl@126.com微信搜索公眾號dfmjxl，關注並獲取更多幫助諮詢師成長的內容與信息。往期回顧
20年當事人心理治療進展研究的10大啟示 - 知乎專欄三招提高諮詢效力 - 知乎專欄最好的督導實踐長啥樣？--美國督導新指南 - 知乎專欄我是個以人為中心的心理治療師嗎？ - 知乎專欄
當心理學用於減肥--數字化體重管理：行為和技術 - 知乎專欄熱門問答
誰詳細介紹一下心理督導？ - 東方明見心理的回答 - 知乎在心理諮詢行業中有「天賦」一說嗎，具體通常是哪些特質呢？ - 東方明見心理的回答 - 知乎高級心理諮詢師可以直接做督導師嗎？ - 東方明見心理的回答 - 知乎心理醫生自己出現了心理問題怎麼辦？ - 東方明見心理的回答 - 知乎心理諮詢師可以接受比他更年輕的諮詢師督導嗎？ - 東方明見心理的回答 - 知乎推薦閱讀：
※子非吾，安知吾不知魚之樂？——我們如何知道人類在想什麼
※感情里真的有因果報應嗎？
※家庭暴力的心理學機制初探—以李陽事件為例
※東方快車謀殺案背後的故事是怎樣的？
※你可以告知一下怎樣做好Presentation?的個人資料嗎?