歐美學術界通過哪些措施來保證大型社會問卷調查的數據質量？誰來監督執行過程及其數據質量、可信度？

01-26

（原來的問題，對於現有大型社會調查的數據質量提出質疑，並且提出外部監督的辦法，因為學術圈主要依賴社會調查組織者內部監督機制與學術聲譽，依靠聲譽的自我監督無疑存在太多問題。外部監督主要是指圈內其他學者，也可以指代更廣泛的外部概念）學術圈，對於中國綜合社會調查（CGSS）、世界價值觀調查（WVS）等數據的使用，都是以認可其數據質量為前提，無數人使用這些數據發表文章，也可以說這些調查養活了一大群人。但是，這些問卷調查所得出的數據真的可信嗎，沒有參與過這個調查的人是怎麼有那麼強的信心相信這個調查可以被信任、並且拿來支撐自己的研究結論？眾所周知，問卷設計的再完美，實際的問卷執行是完全不同的另外一件事情。問卷問題有20-30道，就有很多人亂答問題，何況那些動輒200-300道問題的大型社會調查。訪員真正遵守了各項調研規則了嗎？調研組織者對於調研過程的實際控制、對於受訪者後期的回訪，真正能夠保證調研質量嗎？真正做出外界可信的調查，必然要依賴外界的參與和監督。沒有外界參與監督的社會調查，只依靠學者的良心以及內部控制機制保證調查質量。這和TG不依靠社會監督、只依靠政府內部行政監督有什麼兩樣。
（補充問題）根據回答者的答案，我對於問題進行了修改，增加了「歐美學界通過哪些措施來保證大型社會問卷調查的數據質量？」這個問題。因為我不了解歐美學界在大型社會調查執行過程中的質量控制達到什麼程度，所以想要了解一下實際情況。另外，中國學界大型社會調查自身的行業建設確實還沒有非常規範，已經實行了N次大型社會調查的實際執行過程有著很多的問題，而且漏洞百出。政府不配合、好多大型社會調查組織者不切實際的追求、捉襟見肘的經費、想用小錢辦大事，導致各種不規範和投機的調研行為的出現。在調研過程中出格的問題多得很，不按照實際樣本抽樣、拉來路人、隨便作答等等，這部分執行誤差到底有多大，是個黑箱。很多問卷調查的實際執行本身就足以構成學術醜聞，而大家還是對此容忍度很高的，把這個當做行業潛規則而默默接受著。
這個問題我已經憋了很久了，一直想要吐槽一下。希望大家都能多吐槽，非常感謝！

誰出錢誰監督啊…

懷疑數據有問題，沒事啊，放開允許大家自己去做調查啊…讓調查之間互相競爭啊…現在下去搞調查，基層政府不配合啊，一副你在刺探國家機密的樣子，北大介紹信有的都不好使啊…

再有的很多數據啊文件啊政府攥在手裡不開放啊，搞的本來可以top-down做的全都要變bottom-up。比方說哪個市某年計劃生育罰款是怎麼執行的，按理說查查政府文件就行了，但現在要去村裡靠村主任回憶，數據質量當然不行啦…

你看研究個基尼係數，統計局好幾年壓著不發，西南財大CHFS搞了個大新聞，統計局就不得不出來發表說我們的數據是多少…完了之後北大的CFPS又出來把CHFS的調查設計批判了一番，然後新一輪CHFS比之前改善很多…那現在我們對基尼係數的估計比五年前要好得多了，就是競爭出來的。

最好的監督是競爭。

回答個問題順便把槽一吐。

行業還沒建設起來，就想著外部監督。問題上提到的很多問題是行業內就應該重視並解決的，比如有人亂答。做數據的都知道，80%時間是數據清理。20%時間才是數據分析。但是沒人會花大量功夫和時間去寫數據是怎麼清理的。而且數據清理其實一門很深的學問。比如如何處理missing data，現在都還在發展當中。

樓主提到了成本和數據的二次分析。這個在哪兒都一樣。比如基於國家代表樣本（national representative sample）的公眾意見調查，人家李家人有行業和協會對人口統計信息，抽樣過程（方法，回復率等）都有極高的要求。（詳情請參見APPOR https://www.aapor.org/ 或者隨便翻一本POQ （Public opinion quarterly). 一般在方法論部分都會有註腳。這個協會不是你覺得自己會做個問卷，能用用spss就能進的。。。做政傳的，你發一篇下半輩子就可以天天喝茶玩了。但也不是說李家人就做的萬無一失了，現在大家被做民調的弄煩了，恢復率都變得及其低。。。最低的我見過8%的。還不是撒大網。而且去翻一下，10-14年五年間的POQ70%以上都是數據的二次分析。絕大多數的數據來一同一個公司。

槽點就在於：人家已經把這個行業化了。人家李家人就知道這個行業從某種意義上說是保證李家人姓李的最後底線。而不是吃政治獻金全部扔給二代三代了。然後二代三代都想改別的姓了。趙家人現在似乎還沒意識到這一點。趙家這一塊最大的問題就是「聰明人」太多。還沒開始做，就覺得這個數據也不可靠那個也不可靠。

個人感覺趙地兒這個活兒還沒到依靠「外部」監督的時候。再說了，這個事兒隨便監督得了嗎？你要真的覺得監督得了，再說POQ，要是隨便是個人都能看懂。。。行業競爭也要和行業建設聯繫起來。做的人什麼都不知道，還一天都要想著做給誰看得話，玩數據的都知道怎麼玩怎麼報，怎麼讓上頭高興是一門技術也是一門藝術。

在趙家不是不能做。前段時間跟一個人大的老師聊天。人大和復旦現在也能做國家代表樣本。用的方式是face to face的隨機抽樣。他給我的成本是1後面7個零的那個多大洋。您自己看著辦吧。

趙家現在能做「大型社會問卷調查」本身就體現了很多從實際到意識形態的尷尬。不讓投票，你搞民調我估摸著也沒啥動力。

如果調查執行不到位，數據很容易不準確，次數多了，就失去了公信力。愛惜羽毛，也是一種保證質量的原動力。