在進行問卷研究時,特別是問卷中有非常多的量表題時,量表設計是否合適,量表設置有效嗎?如同信度一樣,這是非常重要的問題。如果量表設計不合理,基於此量表的數據也會受到置疑。
接下來闡述效度分析(上一篇文章闡述信度分析),以及效度分析時的操作方法,如何解決出現的問題等。本書中使用的較多內容參考於「問卷數據分析-破解SPSS的六類分析思路」一書,以及使用網頁版本在線spss軟體spssau進行操作說明等。
效度分析,簡單來說就是量表設計的有效性情況,其可分為三類,分別是:內容效度、結構效度和效標效度,建議研究人員使用內容效度和結構效度對問卷進行效度質量衡量。
(1) 內容效度。內容效度是指問卷題項對相關概念測量的適用性情況,簡單來講即題項設計合理性情況。內容效度可以從兩個方面進行說明,第一是專家判斷,專家具有權威性,因此專家對問卷進行判斷並得出肯定結論後也即說明問卷具有有效性,此處專家是指行業內專家,或者參考文獻,也或者權威來源等。第二為問卷前測結果,通過對問卷前測並結合結果進行題項的修正等工作以充分說明問卷的有效性。
在具體分析過程中,內容效度通常是指研究題項的設計是否具有參考文獻出處,是否有經過老師(專家)的認可,以及是否得到同專業相關人員比如同學的認可等。以及研究人員是否對問卷進行修正工作,比如對問卷進行前測後發現問題,並做出修正工作。內容效度是通過文字性進行描述說明,而並非統計軟體進行的統計方法,對於問卷研究來講,基本上均需要進行內容效度說明。
(2) 結構效度。結構效度指測量題項與測量維度之間的對應關係,其測量方法有兩種,一種是探索性因子分析,另外一種是驗證性因子分析。探索性因子分析是當前使用最為廣泛的結構效度測量方法,此方法可以使用SPSS客戶端或者在線網頁版SPSS SPSSAU實現。使用探索性因子分析進行效度驗證時,應該以量表為準,對變數或者量表分別進行分析。
使用探索性因子分析進行效度驗證時,首先需要對KMO值進行說明(最為簡單的效度驗證是直接對每個變數進行探索性因子分析,並且通過KMO值進行判斷,勿需判斷題項與因子對應關係情況等,此種判斷方法過於簡單,使用較少),KMO值指標的常見標準是大於0.6,接著具體說明提取的因子數量,每個因子的方差解釋率,總共方差解釋率值,並且詳細描述各個題項與因子的對應關係,如果對應關係與預期相符(專業知識預期一致),則說明有著良好的結構效度。使用探索性因子分析進行效度驗證時,很可能會涉及題項刪除,刪除掉對應關係與預期不一致的題項,或者刪除掉因子載荷係數值較低的題項等。
驗證性因子分析則需要使用AMOS或者LISREL等結構方程模型軟體進行測量,其對問卷量表質量,以及樣本量和樣本質量均有著較高的要求,如果量表質量並非特別高,以及樣本量較低(低於200)時,驗證性因子分析進行結構效度測量很難達標,驗證性因子分析不在本書討論範疇。
正常情況下,針對量表數據的效度分析,均需要使用探索性因子分析進行效度的驗證說明,並且配合內容效度進行綜合分析。而驗證性因子分析的使用,相對會非常少。
(3) 效標效度。如果以前有一份權威且標準的量表數據,現在依舊使用該量表進行研究,並且收集回來一份數據。以前權威標準數據作為標準,當前數據與前一份數據之間進行相關分析,如果說相關係數值較高,則說明效標效度良好。效標效度使用頻數非常低,通常會出現在中學考試量表研究中,本文不詳述。
關於效度分析的操作上,以網頁在線版本SPSS軟體SPSSAU為便,總共僅兩個步驟,將分析項拖拽到右側,設置維度個數,點擊開始效度分析,即生成得到結果。
點擊分析得到結果如下,包括表格和智能分析。
SPSSAU生成的結果為規範表格,表格中包括有意義指標比如:KMO值,巴特球形檢驗,特徵根,方差解釋率值,累積方差解釋率值,因子載荷係數值,共同度值。接下來一 一闡述。
接下來進行分析的詳細闡述,首先說下SPSSAU默認提供的智能文字分析:
SPSSAU中的智能分析只能對基本指標的情況進行分析,但需要特別注意的一點,效度分析最關鍵也是最實質的分析點在於:分析項與因子(維度)的對應關係情況,如果對應關係情況良好,一切都迎刃而解,如果對應關係出現偏差,需要進行題項刪除處理並且重複多次進行分析。
關於分析項與因子(維度)的對應有關係上,某分析項 對應因子載荷係數值絕對值大於0.4時,則認為該分析項 應該屬於對應的因子(維度);但會出現以下兩種情況的問題:
此兩種情況是最為常見也是最麻煩的兩種問題,在下面會逐一闡述
效度不達標的情況有很多種,概括起來大概如下幾類:
上述五類情況的解決辦法逐一說明如下:
KMO值最容易達標,巴特球形檢驗也非常容易達標。如果僅2個量表分析項,那麼KMO值一定為0.5,因而不遵從0.6以上的判斷標準。如果KMO和巴特球形檢驗這兩項均不達標,建議直接放棄結構效度,最基礎的指標都不滿足,實在太糟糕的數據,直接使用內容效度即可。
對應關係出錯,這稱作『張冠李戴』現象。出現這類情況,需要將對應關係出錯的分析項刪除掉,然後再次進行分析。而且一定需要儘早刪除,對應關係出現偏差錯誤是無法接受的。
一個分析項與多個因子(維度)有對應關係,此類情況稱作『糾纏不清』,如果此類現象不嚴重,可考慮暫不處理,在多次分析刪除項後再看情況而定。一般不處理『糾纏不清』現象也可以接受。
一個分析項與任何因子都沒有對應關係,該分析項沒有任何存在的意義直接刪除後再次進行分析。
如果1個因子僅對應1項,這是比較糟糕的,正常情況下,1個因子(維度)應該對應至少2項,出現此類情況,建議可直接將該項進行刪除,然後在分析時描述說明清楚。
有時候無論如何處理,分析項與因子(維度)對應關係均有問題,出現此類問題時,依舊是由於量表質量差所致,也有可能是樣本量太少的緣故。可考慮將量表拆分成多個維度,分別進行多次因子分析,每次設置因子個數為1。
在進行效度分析時,如果說確實是量表且有參考依據,而且數據真實。但有兩種情況是需要提前注意:
有需要的用戶,可點擊下面鏈接參與知乎Live課程"問卷質量(信度效度)分析及操作"
問卷質量(信度效度)分析及操作?www.zhihu.com 推薦閱讀:
TAG:統計 | 統計學 | SPSS數據分析 |