認知心理學實驗的可重複性有多差，研究者是如何應對的？

01-21

2016/10/25 再來更新一發，

最近看到一個很贊的論文，業內大牛Tor Wager組裡面做的。

PLOS Biology: A Sensitive and Specific Neural Signature for Picture-Induced Negative Affect

這篇論文就是很好的例子，實驗數據，包括大腦原始的nii (4000 多個）， csv, 還有一些代碼都是公開的，很方便同行檢查。包括我最近也下載了他們的數據去學習他們的方法。他們是用machine learning algorithm去預測人們的情緒狀態，很酷，有興趣的小夥伴歡迎交流。

另外加一個技術乾貨 https://github.com/danlurie/quack/blob/master/data_management_and_reproducible_research.md

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

實驗室里每個學期都避不開的一個問題：「如何做可重複性高的研究？」新學期伊始這個問題又被拿出來著重討論。寫這篇才發現好像專業性有點強 &>.&< 但是還是想寫！因為感覺神經學/認知心理學的研究和發表方法要變化、現在這裡立個旗.

認知心理學／神經學的可重複性有多差？參見如何評價「大規模重複心理學頂級期刊上的 100 個研究，僅 39 個可以重複」的研究？ - 社會心理學

為什麼這麼差？

1 因為到了這個頭，心理學的研究不像過去那樣簡單明了了呀！現在大多數心理學實驗要結合一些神經學數據。隨著計算技術的進步，實驗數據的計算分析過程變得越來越複雜，這些複雜的過程並沒有完全出現在發表的文章中。就好比在跟著菜譜做菜的時候，菜譜只告訴你，放鹽適量，糖適量，醋適量。這樣子做出來的菜肯定不是一模一樣的味道。

2 假陽性的結果比較多。心理學的實驗項目涉及專業的人才儀器等，比較貴。一般研究人員做實驗之前是有個課題和假設的。問題是，實驗做了一年兩年，然後數據分析了半天，原來的假設不成立怎麼辦？所以現在大多數研究人員都是有用的沒用的數據先收集了，以預防以後的需要。這樣就造成了過分的數據挖掘。現在一般是，實驗結果p &< 0.05 可以說實驗結果成立。 p &< 0.05 意味著這個結果有5%的可能性是假陽性。那也就是概率上我只要做20個獨立的數據分析，就有一個是假陽性，開開心心地拿去發表了。

問題來了，可重複性這麼差，怎麼辦？

推崇可重複性實驗的大神 Russell Poldrack 最近在Neurohack week上做了一個叫 Improving the Reproducibility of Neuroimaging Research （提高神經影響研究的可重複性）的演講。我來轉述一下：

1. 提前註冊你的實驗 open science framework

近兩年，在開始做實驗之前在open science framework 提前註冊要做的實驗漸漸成為一件必須要做的工作。大概就是把你的假設，實驗過程，要招多少個被試都列出來。這樣的好處就是不能賴皮啦。做這個工作應該對文章的發表，還有文章的可信度有幫助。

這裡有些例子

OSF | Public Activity

2. 數據公開

數據公開意味著同行可以幫忙檢查一個實驗的數據分析和結果有沒有可能出錯。現在雖然很少有人公開所有的數據，但是更多的時候會公開一部分。因為有數據支持的文章可信度會更高

自然雜誌發文呼籲科學家在發表文章的同時分享實驗數據和分析過程，以增強實驗的可重複性

http://www.nature.com/news/why-scientists-must-share-their-research-code-1.20504

上課剛講到Nature的那篇文章就收到邀請

我也不知道認知心理學實驗的可重複性怎麼樣（改天去問問老師），以下就宏（紙）觀（上）分（談）析（兵）影響「可重複性」的因素以及提高「可重複性」的方法。

1. 問題分析

個人認為題主所稱的可重複性是指用於評價認知心理學實驗的一個標準。是否可以這樣認為：如果「可重複性」高，那麼無論誰做實驗，在哪裡做實驗，只要嚴格遵照原實驗的規定，就能獲得原實驗的結果，簡而言之實驗具有跨時間、跨主試、跨被試、跨BLAHBLAH的穩定性（我好像和測量的概念混淆了= =）。

那麼這種穩定性具體體現在哪裡

在心理學研究中，評價實驗研究往往會用更細化、具有操作性的定義的術語：內部效度（internal validity），外部效度（external validity）和統計功效（statistical power）。

2. 概念界定

首先是效度（validity），是指測量的有效性，因變數能不能準確地測到它所要測量的被試心理和行為的變化 [1] 。效度分為內部效度和外部效度。

內部效度用於描述一個實驗的因變數的變化單獨由自變數的變化而引起的程度，或者說一個實驗控制或消除額外變數干擾或影響的程度[2]。若一個實驗的因變數變化確實只是自變數變化引起的，則認為這個實驗的內部效度高，反之則低 [3]。也就是說一個實驗的控制條件越嚴格，越能減輕額外變數的影響，實驗結果受到額外變數的影響更小，那麼實驗的因果解釋力度也就越高。

那外部效度呢？外部效度用於一個特定的研究的結果能加以概括的程度。從被試樣本中所得的研究結果是否對其總體也適用[4]。因為心理學實驗不可能對所有適合的研究群體進行測量，所以需要進行抽樣研究，而抽樣後進行實驗所得到的結果能否從樣本推廣到整體，對一項研究的價值有重要的影響。如果一項研究的外部效度很低，那麼別說推廣到整體，就是換一批被試也會得出不一樣的結果。

至於統計功效，根於維基百科的解釋，The power or sensitivity of a binary hypothesis test is the probability that the test correctly rejects the null hypothesis (H0) when the alternative hypothesis (H1) is true. （正確否定的概率）It can be equivalently thought of as the probability of accepting the alternative hypothesis (H1) when it is true（正確拒絕的概率）— that is, the ability of a test to detect an effect, if the effect actually exists. $power=P(reject H_{0} | H_{1} true)$ .使用統計方法時可能會出現Ⅰ類錯誤和Ⅱ類錯誤。

3. 造成低可重複率的原因

首先是效度，有上述分析可知，低外部效度會造成低可重複率，那麼什麼造成了低效度呢？內部效度方面主要是額外變數（實驗室的溫度、實驗的時間、被試的情緒、疲勞程度等等）的影響，簡單地說，該控制的變數沒有控制，內部效度低，在重複實驗是，一不小心額外變數佔了上風，自然重複不出結果了；外部效度方面則是樣本的選取（實驗者常常會選擇便利抽樣測方法）、實驗的情境（實驗室環境與自然環境差別較大，難以推廣實驗）等等。

值得一提的是內部效度和外部效度不可兼得。

另外統計功效方面造成的地重複率。前面有人提到了「假陽性」，那麼是什麼造成了假陽性呢？這裡舉一個例子，統計裡面有一種作弊手段叫做data peek， Daniel Navarro 在Learning statistics with R for psychology students 一書中提及了這一問題。書中問如果統計檢驗出 $p=0.072$ 怎麼辦，很多人會繼續收集一批數據重新進行統計分析，這是 $p<0.05$ 了，於是放心地發表了論文。其實這裡「假陽性」已經悄然出現，使用傳統的統計方法，如果在收集數據的過程中多次進行統計檢驗，即使每次檢驗的 $p<0.05$ ，隨著統計檢驗（即data peek）的次數越多，犯Ⅰ類錯誤的概率蹭蹭蹭地上漲，如下圖（原因很簡單，這裡就不說了） [5]。

4. 提高可重複率的方法

首先對於效度方面，主要是控制該控制的額外變數（如消除法、隨機化法、匹配法、低消法等等，關於如何控制額外變數可以參考[1]《實驗心理學》p55-58）、設置標準的實驗情景、選擇合適的取樣方法等等。

另外對於統計功效方面，忍住啊！不要data peek啊！或者可以用貝葉斯統計的方法（詳見參考文獻[5] ）。

做到上面這些，就可以提高可重複率了嗎？too na?ve啊！心理學實驗畢竟是研究行為的實驗啊，萬一某天我去實驗室作被試，被美女學姐的溫柔一瞥打動了，還能好好做實驗嘛！呃。。。。心理學裡有一個意動效應，主試和被試會相互影響的，看到主試那麼美麗動人，一定超級緊張啊！大家可能聽過羅森塔爾效應、霍桑效應，這些都會影響實驗結果啊，別不相信。。。所以一定要端正主試和被試間的關係（滑稽臉）。

References

[1] 《實驗心理學》鄧鑄

[2] [3] [4] 《心理諮詢大百科全書》車文博

[5] Learning statistics with R for psychology students Daniel Navarro

其一，對於認知科學來說，重複性強不強，其實對研究進展沒太有影響。

我們方向上的最經典的實驗之一，Numerosity Adaptation發表在Current Biology上，是個行為實驗，只用了兩個被試，其中一個還是作者之一。然而這並不妨礙它成為經典。

這個實驗在各國都得到了可重複性。中國的發表在《心理學報》上，好像還是年度優秀論文。

我在碩士階段還重複過這個實驗。

作者還和Durgin他們進行了長達幾年的辯論，最後證明自己的東西是Numerosity Adaptation而不是其它texture based。

這個發現一直到最近已經很清晰地被行為學實驗、生物電實驗、ERP、fMRI甚至是計算模擬包括深度學習網路（最近發表在科學通訊稿上）的證明，它是存在的，這個結論可以總結為下：

人是有數量感的，人的數量感是知覺的，人加工數量的腦區在頂葉。

他們只用了兩個被試。然而他們用了極其專業的心理學實驗範式和統計指標。

這麼說吧，從縱向來看，起碼存在一些方向，認知科學和認知神經科學對於心理規律的探索，是有結果的，是越來越清晰的。

我也見過有的所謂國內大牛，提出了自己的理論。主要有兩類：

第一類是還比較專業，然後結果比較shocking，不過一般都是突破性的發現性的，不在一個綜合的理論體系里，發了影響很高的期刊，學院宣傳，地方宣傳，最後五六年後引用率個位數，不了了之。

第二類是提了一些莫名其妙的理論，不把外國的研究放在眼裡，搞的是人家幾十年前思考的問題，還不怎麼專業。偶然發現了一些現象，解釋不了的，最後給國外的人打了工。

其二，你想想，國外那些研究者也是正態分布的。統計學的方法都是有適用範圍的，但是這些人拿來就用，以為金科玉律，出錯就很容易了。

幫助老師投稿過，那些SCI刊物的審稿人糾結的還都是些標準回歸係數非標準係數的小白問題。我是第一次，我還以為裡面還有什麼別的門道，結果到最後要給他們解釋為啥用非標準係數……

包括，fMRI和PET數據處理中還有一堆問題，如果建模出來的信號不是高斯隨機場，影響的不只是顯著性檢驗，還包括建模中不能用最小二乘法，這個事情大家怎麼不說？一堆專業人事還是在談顯著檢驗……

所以我們認為，一個認知學家和認知科學家能夠做出可重複性的論文，他（她）或他（她）的團隊要能夠在心理學，神經科學，統計學等等各個方面做到專業性。並且誠實守信。沒有外界壓力。

不見得吧，有些可重複性很高的，特別是經典的研究；可重複性低，或許是實驗中各種因素混淆了，或者是實驗本身的效度不高。

非心理學的來強答

第一是心理學裡效果顯著，重複性強的實驗是有的，教科書上的都是，這些實驗都很魯棒，也就是說你隨便改改實驗參數，仍然能出效果。這些現象大量發現於發展早期，現在想再挖到這樣的礦很難了。

第二當一個心理學研究者采了一組數據但是發現陰性結果會怎麼辦呢，一般而言，首先換幾個數據處理方式，再換幾個統計方法，如果還沒有用，他會反思實驗設計，看看哪裡不合理，或者哪個步驟沒有最優化，然後改改設計再做一次，只要他堅持不懈，從期望上來說，做上20次就可以拿到（假）陽性結果了，或者平行采20種數據，總有一個數據是（假）陽性的。由於一般心理學實驗成本並不高，給點被試費就好，時間也快，就給這種策略提供了便利。從這個角度看，成本越高耗時越長的，採集數據維度越低，使用的統計和處理方法越簡單粗暴的實驗越可信。反之凡是提到他們換過實驗設計，或者用了複雜精妙的統計手段的，都基本上是垃圾。

用一句話說，心理學重複性是有的，只不過文章上的結果基本都是被篩選過的。如果文章里包含了作者做過的所有數據，那麼可重複性自然就有保障了。

可是只要作者可以選擇不公開所有數據，以上的問題永遠存在，這個時候你就需要自己花點功夫找找數據部分有沒有有問題的地方，判斷這個實驗值不值得花時間重現

另外生物學中行為學實驗和心理學實驗相當一致，也是生物學裡邊可重複性的重災區。

這個問題其實要歸咎於幾個面。

1.心理學是屬於社會科學的。社會科學和自然科學不同，在於社會科學能夠控制的變數不可能與自然科學在實驗室中做到的那樣。社會科學經常會出現看起來結果相反的實驗，不同的人群，不同的文化背景，很難說哪些因素影響到。

2.與自然科學相比，社會科學的發展還比較青澀。心理學對人，社會的了解程度還比較初級。這就導致很多社會科學的經典實驗可重複性不高。有些可能是理論錯誤，有些可能是方法錯誤。

3.對於重複程度的嚴格水平。現代的心理學研究講究定量化，對於很多研究來說古典那一套不再適用，新的研究要接受更嚴格水平的檢驗，自然會出現重複率低下這種傾向。

這是我所認識的心理學研究重複率低的解釋。

對於認知心理學實驗，甚至這個問題推廣到心理學實驗的可重複性有多差，答案是非常差。研究者如何應對？答案很可能是—— 現階段 沒有辦法應對。

首先，「可重複性」這個概念來源於實證主義思想，實證主義強調社會科學研究應向自然科學看齊，將社會現象當做純粹客觀的現象來測量分析，在研究方法上，定量分析為典型特徵。因此，這使得無論是政策制定者還是大眾, 都會以自然科學的標準來要求社會科學, 社會科學只有成為可信的、客觀的和有用的, 才能夠被接受和獲得支持。當代心理學在這種科學化的道路上一步一步向前發展著。

其次，需要說明一下「統計推斷」這個概念。之所以出現「可重複性」問題，其問題的根源就在於人類目前能力的有限性，無法測量到需要了解的總體，因而只能通過測量樣本來進行統計推斷。那麼，在這個樣本中出現的問題是否能推斷到另一個樣本中去，介於人類心理活動的複雜性與實驗操作的簡單化的矛盾，所以才導致了重複性太差的問題。

再其次，需要說明「構念」這個概念。心理學家通過構造概念來進行心理學研究。如構造「人格」「依戀」和「自尊」等等概念，然後再進一步通過一些操作化定義來對這些「構念」進行測量，例如測人格的人格問卷，測自尊的內隱實驗等等。後來學者們發現這些實驗還是太「虛」了，那什麼東西在社會科學學者看來才是最實在的呢——物理、生物、化學。因此，心理學者們開始加入神經科學的因素進入到心理學中，創造力=某腦區活動，依戀情結=某腦區活動。這樣的研究使心理學研究的「可重複性」大大提高，畢竟因變數指標從「語言」變成了「物理、生物、化學」指標。

最後，需要回答兩個問題。第一，社會現象是否是純粹客觀的，如果沒有辦法證明這一點，可重複性從何而來；第二，心理是否等同於大腦。對於這兩個問題，社會科學家（心理學家）給出了很多的答覆，很多回答都非常精闢、獨到和有見解。但是，沒有一個答覆具有絕對說服力，依然遭到了很多持其他觀點的學者的反駁。

所以，從宏觀上來說，問題「認知心理學實驗的可重複性有多差，研究者是如何應對的」。這個問題從現階段來說是沒有辦法解決的。或者換個角度說，這個問題可以在實證主義範式內，通過控制額外變數，提高內部效度等方法來進行解決。

未來，大數據時代，這個問題可以得到解決。因為當樣本直接變為總體後，這個問題就不復存在。

美國弗吉尼亞大學的Brian Nosek發表了題為《Estimating the reproducibility of psychological science》的研究文章。

文中，研究者們提到，儘管他們能夠重複出最近的100項心理學研究的原始實驗，但是其中僅有不到一半的重複實驗結果與原研究結果一致。這項研究的作者還給出了為什麼重複實驗會與原始結果不同的原因分析。

該文章發表之後，英國牛津大學的發育神經心理學教授Dorothy Bishop給出了對該研究的評論。他首先首先提到，研究者需要知道有些因素會導致「文章灌水」，以至於實驗不可重複。一般的「文章灌水」有三種原因，一種是有傾向性地發表支持猜想的數據，然後是只發表有顯著統計學意義的數據，最後是研究樣本數量不夠。

然而，對於Brian Nosek等給出的這三種原因（實驗樣品的差異、實驗設定的差異以及實驗完成的質量差異），Dorothy Bishop並不十分認同前兩種原因。對於實驗完成的質量的問題，也可能存在這樣的情況，即重複實驗在數據上和原始實驗存在顯著性差異，很可能是重複實驗時候沒有處理好或者操作正確。

然而，對於實驗樣品和實驗設置，在重複100項心理學研究的時候，研究者們在試圖重複實驗時候，與原始實驗的相關人員進行了充分的溝通，原始實驗的方法也是相對透明。因此，Bishop教授認為，可能還存在著其他沒有被提出過的因素影響了實驗，但是這些未知因素的微小差異對於實驗結果究竟有多大影響還不可知。

基於Brian Nosek的這項研究，Bishop教授認為，我們的的實驗中存在一些問題，如果得到合理解決，那麼實驗重複性會好很多。比如，可以通過一系列的改進來使得實驗更有重複性。例如，方法a，在實驗開始之前就公開實驗的步驟，明確告知自己的假設和實驗預期，並寫清楚具體如何操作。方法b，實驗中使用有統計學意義的大量樣本。或者方法c，發表那些沒有結論的研究，只要前期實驗設計完整、嚴謹、有統計學意義，那麼這樣的實驗結果雖然沒有明確結論，但是仍然是有意義的。還有比如，方法d，提供實驗的詳細步驟和具體操作，類似地還有方法e，公開實驗中使用的數據、腳本、原始數據等等。

雖然Brian Nosek的研究是針對心理學領域的重複實驗，這並不是說心理學領域的實驗重複性很差。實際上，所有的科學領域可能都會或多或少存在類似的問題，可以引申心理學領域的重複實驗的結論到其他科學領域，畢竟重複性對於所有的科學研究都是重要的。Bishop教授認為針對實驗的重複性，為了貢獻更嚴謹的科學，科學基金評審人、期刊編輯以及科學家們都需要行動起來，為未來實驗的重複性更好，拿出實際的行動。

（生物谷http://Bioon.com）

剛剛問了專業人士。答曰：純神經的實驗重複性達70-80%。社會認知的就很低了。

要做到控制額外變數呀。然而這是一門如此高深的藝術…

挺差。

我曾經當過被試，一分鐘一塊錢，彼時太窮，這外快來得又快又多，太酸爽！後來，結果就是，我的實驗結果跟所有人的相反，導致實驗相關性不強，但是只要把我的數據踢掉，相關性顯著～(￣▽￣～)~我也不想的……然後，這次實驗就失敗了，因為我……

後來，老闆又搞了個實驗，我走了個後門又去當被試……你們也猜到了……結果還是，只要沒有我，結果就是完美的～(￣▽￣～)~

從此以後我就失去了掙外快的資格(●—●)

謝邀。

傳統的經典心理學實驗可重複性是有的，不然也不會進入教科書之類。。。作為一名剛畢業的認知方向碩士，個人以為當今心理學界大部分實驗的可重複性都不高，再做一遍能夠得出相同數據和結論的研究並不多，能夠產生影響力的實證研究一般都會花費很長時間做實驗分析數據形成文章再發表到SCI或者CSSCI上，整個研究流程下來一年算少的，論文見刊也需要少則半年多則一年，因此一般不會有人無聊到把時間浪費在重複別人的某個實驗只為驗證真偽上。

多數研究者在開始自己的研究之前都會思考一個問題：我的研究怎麼跟別人的區別開來或者說怎麼創新，這也是外審專家審稿的時候最看重的一點。哪怕跟別人的研究相似度在90%仍然得出不同的結論，研究者大多也會在討論部分分析自己和別人的研究具體差別在哪兒，為什麼會得出不同的結論，沒有絕對的把握也不會去質疑別人的結果。

以上。

謝邀，抱歉回復晚了。認知領域的重複性實驗問題現在是美國討論的焦點，為了證明重複性，很多教授組團來重複已經發表過的實驗。一面得到很低的重複率，一面卻得到很高的結果。可能這個問題要歸於統計問題，不同的統計方法帶來完全不同的結果。還有一個爭議就是sample size的問題，很多試驗為了得到顯著結果而擴大sample size。綜合所述，教授們倡議雜誌應該讓作者justify sample size，還要放寬發表的標準，即使沒有得到顯著結果也可以被發表，最後統計方法要看power 而不是p value

首先我覺得經典認知心理學的重複並不差，且都是基於嚴格的實驗心理學範式完成的，通過反應式和正確率來揭示認知心理學的本質，可以說認知心理學是所有心理學中最嚴格，重複性最好的，其他的社會心理學，測量學等都差的很多！但是認知心理學現在有一個新的分支叫認知神經科學，它的重複性就沒有那麼好了，現代認知神經科學採用ERP,fMRI,TMS等來探討大腦的認知機制，這些工具現在在數據分析和處理，實驗範式等方面都不是特別成熟，基於此的實驗重複率也是比較低的，甚至有時候同一批數據不同的處理方式結果都是不一樣的！所以不能一概而論認為認知心理學重複率低！

謝邀。社會科學實驗不同於自然科學實驗，認知心理學現階段幾乎沒有可尋規律。研究者需要做的是不懈努力，不斷探究，在新科學發展階段認知心理學實驗研究領域尋找新型研發成果。

1、認知心理學實驗的可重複性有多差？

關於這個問題，我們來做個類比，回答另外幾個問題：

1.1、為什麼實驗物理的重複性相對高很多？

答：物理以物質為媒介依託，嫁接各種能量和力進行具象化測量

1.2、為什麼實驗物理的重複性高很多，還是會產生無法重複的實驗（實驗不做列舉）？

答：存在以非目前物理範圍內的物質為媒介依託，嫁接各種能量和力產生抽象化改變

1.3、高重複性的物理學實驗真的就做到完全重複了嗎？

答：就目前物理學的最新推論而言，如果引入量子糾纏，熵原理等物理學理論，這些重複皆搖搖欲墜

回答認知心理學的問題

1.1、認知心理學的重複性有多差？

答：認知心理學以非目前物理範圍內的物質為媒介依託，嫁接各種心理能量和力進行具象化測量，而能量和力是我們科學本身做的一次抽象性歸納，在超過人類目前科學認知範圍之外，進行一切能量和力的界定，是幾乎不可能產生極為精確的公式的

1.2、認知心理學的重複性低，為什麼還是會產生可重複的規律和定理？

答：規律和定理相對更為適合目前的科學領域的極限，人類文明對於科學的探索，也就隨著了解的深入由現象至規律至定理至公式，循環往複。目前認知心理學只是處在規律與定理的發展階段而已

1.3、低重複性的心理學實驗真的就做到完全沒有參考價值了嗎？

答：這個問題的答案和元認知的解釋原理基本相似

第二個問題就比較有意思了

研究者是如何應對的？

基本的規避混淆變數的方式不做累述，個人談談趨勢

我們先把問題上升到更宏觀的科學上面，所有的非心理學科學在得出偉大結論和推斷之前，都會對於該學科目前的認知進行大量的信息累積、思考、和辨認，在大腦中進行信息知識的關聯後，在串聯的同時，bing，得出推論，再圍繞這個推論進行反覆驗證和修改，無論變化多大，都不會離開初級推論的影子，這是大部分科學

好，談談心理學，我們發現一個很有意思的悖論，我們似乎也是走了這麼一條路線，但，問題來了，我們的大腦為什麼會允許用我們本身，來思考我們本身呢？我們自以為我們的大腦所做的思考，就是我們本身的思維，是正確的嗎？我的答案是，我們只是在用我們的思維，在不斷的餵養我們的思維，卻並不是在參透其本身，一切的定律也都是在一條至少在我目前看來無盡的前路上行進。心理學極有可能是顛覆和開啟下一個物理認知的新時代，這次，是心理學開拓出物理學的眼界，而不是心理學學習物理學的推論，方法。

1、PS111告訴我：認知心理學是當今主要的心理研究流派，避免了行為學和佛洛伊德學派的某些缺點，增強了與神經科學的邏輯。至少是美國的主要研究流派。用我老闆的話說：除了認知心理學其他都是不科學的。（orz，研究神經科學的是多鄙視心理學！

2、由此推論，認知心理學是比較科學的心理學。在這裡，科學定義為有強大生物學和神經學機理做依託。（但心理學是一門科學，這點不能否認）

3、回到問題，要是實驗重複率低怎麼會科學，又怎麼會有那麼多比較廣泛認同的結論。還有很多標準化實驗？

如果說實驗重複率低，可能有幾個問題：

1、如果是自己設計的實驗，可能設計有紕漏。

2、標準化實驗的話，可能樣本容量不夠大，不具有代表性，實驗中實驗者不理解實驗，實驗後數據分析的方法，噪音等等有問題。這一點是心理學的統計學和實驗設計科學的範疇。

還有最後一種可能性：恭喜你，你發現了新理論！

以上