經典推薦 | 逐步回歸分析法及其應用

導讀:逐步回歸分析是多元回歸分析中的一種方法,在經濟研究建模中發揮著重要的作用。文章系統介紹了逐步回歸分析,並分析了逐步回歸分析在經濟研究(建模與預測)中的應用步驟與需要注意的問題。

來源 | 統計與決策

作者丨游士兵,嚴研,武漢大學經濟與管理學院

原文有刪減

01

引言

逐步回歸分析是多元回歸分析中的一種方法。回歸分析是用於研究多個變數之間相互依賴的關係,而逐步回歸分析往往用於建立最優或合適的回歸模型,從而更加深入地研究變數之間的依賴關係。目前,逐步回歸分析被廣泛應用於各個學科領域,如醫學、氣象學、人文科學、經濟學等。

經濟現象紛繁複雜並多變,經濟問題往往需要研究一個(或多個)變數(如一國的產出)與其他變數(如資本、勞動力、人口、技術等)相互間的關係,從而揭示經濟現象背後的經濟規律,用於解決現實中的經濟問題,制定經濟政策等。因此,多元回歸分析在現代經濟學,尤其是其分支學科計量經濟學中常常得到應用。隨著統計學與計量經濟學軟體的開發與應用,經濟研究者在經濟學的實證分析過程中越來越多的採用逐步回歸分析的方法來建立多元回歸模型。因此,研究逐步回歸分析及其在經濟學研究中的應用具有理論與實踐意義。

目前,國內外對於逐步回歸分析的研究主要停留在理論敘述,不少學者提出了修正逐步回歸法的新方法,如類逐步回歸法、基於單元步的逐步回歸法、「宜取回歸方程」的逐步回歸法等。趙希男(1994)提出並在理論上證明可將逐步回歸演算法從靜態系統拓廣到其他系統(動態系統、分布參數等系統)。傳統的逐步回歸法通常用於靜態系統,即自變數為非隨機變數時。當自變數為分布型變數時,基於傳統的逐步回歸法,由於統計量的分布非常複雜,基於統計量的演算法難以實現。該文運用泛函分析,按照傳統逐步回歸法一致思想和相似的步驟,加以拓廣,以有效性(剩餘相關係數)為標準剔除或是引入變數,從而使得逐步回歸法應用範圍更廣。張華嘉、舒元(1998)提出單元步的概念來修正傳統逐步回歸法,並以實例證明這種方法的優勢。逐步回歸法的自變數個數可能偏小,而向後回歸法可能納入更多的變數,同時帶來多重共線性。為了避免多重共線性並包含更多的變數,他們分析向後回歸法較逐步回歸法而多餘的變數,以一個或幾個變數為一單元步(當去掉該單元步中所有變數時其餘變數顯著,而去掉其中某一部分變數,單元步中剩餘的變數總存在不顯著變數)。確定單元步變數之後,以單元步為整體,確定是否剔除單元步。陳全潤、楊翠紅(2008)提出了基於殘差項絕對值加權和最小準則下的回歸估計,以有效性為指標來選擇剔除或是刪除變數的類逐步回歸法。

而經濟學者多直接採用這一方法研究各種經濟問題,而忽略這種方法可能存在的問題與局限性。而且在具體應用逐步回歸分析法時,不同的研究者常採用不同的演算法。

逐步回歸法作為建立最優線性回歸模型的一種方法,在經濟研究中也得到廣泛的應用,尤其是在經濟建模與預測中。因為逐步回歸法簡單易行,所得的回歸方程的變數較少,並保留了影響最顯著的重要變數,而且在實踐中這種方法也被證明較為有效,預測精確度較高;同時經濟變數之間往往存在相互關係,即經濟變數可能存在多重共線性,而逐步回歸在一定程度上可以修正多重共線性。

本文將全面、系統地闡釋逐步回歸分析,從經濟建模與預測角度進行探討,並說明逐步回歸分析在經濟研究中的具體應用、局限性以及可能存在的問題。

02

逐步回歸分析的基本思想

逐步回歸分析建立於線性回歸模型的基礎上,本文將以經典的多元線性回歸模型為例進行闡釋。在建立模型過程中,需要選擇合適的變數。如果變數過多,可能會導致預測精度下降,或者有時收集某些變數的數據成本很高,從而不得不放棄某些變數。當然如果影響顯著的變數沒有包括在模型內,也會影響預測精度。因此,需要進一步解決的問題是建立「最優」的回歸方程,這裡「最優」的回歸方程,通常是指模型中包含所有對因變數 Y 影響顯著的自變數,而不包含對因變數 Y 影響不顯著的自變數。建立「最優」的回歸方程主要有三種方法。一種是計算量很大的全子集法,以某一確定準則來確定最優回歸子集;另一種是「最優」子集的變數篩選法,該方法基於偏回歸平方和檢驗逐步引入變數或是逐步剔除變數或是兩者結合,包括向前引入法、向後剔除法與逐步回歸法(即逐步回歸分析);第三種是計算量適中的選擇法。

逐步回歸法可以認為是向前引入法與向後剔除法的綜合。逐步回歸法克服了向前引入法與向後剔除法的缺點,吸收兩種方法的優點。逐步回歸法是以向前引入為主,變數可進可出的變數選取方法。它的基本思想是,當被選入的變數在新變數引入後變得不重要時,可以將其剔除,而被剔除的變數當它在新變數引入後變得重要時,又可以重新選入方程。

03

多重共線性與逐步回歸

應用逐步回歸法修正多重共線性逐步回歸法用於多重共線性的檢驗。逐步回歸法的基本思想是逐個引入新的變數。考慮是否引入新的變數時,若偏回歸平方和變化顯著,則可以引入,否則不引入。此時,若偏回歸平方和經檢驗顯著,則表明可以認為新變數是獨立的解釋變數,而不可以由其他解釋變數(近似)線性表示,否則說明新變數不獨立。

逐步回歸分析應用中應注意的問題

建立經濟模型是分析研究經濟問題的一個有效而常用的途徑。將逐步回歸法應用於經濟建模與預測必須將其置於經濟大背景下,把研究對象作為經濟問題,而非單純的統計學問題來考察。應用逐步回歸法建立經濟模型時,應該基本遵循以下步驟,並設定理論模型為多元線性回歸模型:第一,選取合適的變數;第二,樣本數據的收集與整理;第三,模型參數估計;第四,應用逐步回歸法並結合其他的模型檢驗,確定最優的線性回歸方程;第五,根據上述模型,分析實際問題,得出結論或是提出政策建議等。

逐步回歸的基本思想是逐個引入新變數,每引入一個新變數時考慮是否剔除已選變數,直至不再引入新變數。這種方法既保障了方程能保留影響顯著的變數,又能夠剔除非顯著的變數。它以向前回歸為主,結合向後剔除法,通常可以獲得較好地擬合效果,因此,被廣泛應用於經濟建模與預測。不過,這並不代表逐步回歸法就是毫無缺陷的方法。理論上,在變數個數較少時,全子集法是能夠獲得在某一準則下的最優回歸方程,而且計算量也在可以接受的範圍,相對於逐步回歸法可能更優。而逐步回歸法則依賴於人為確定的顯著性水平,不同的顯著性水平可能得到的結果不一樣,而且也很難給出理論上證明其回歸方程的最優性。換言之,逐步回歸法只是一種實踐上較為有效的方法,理論上它沒有被證明所得到的回歸方程即為最優的回歸方程。

考察運用逐步回歸法建立最優回歸模型的經濟論文,能夠發現一些問題。歸納總結這些問題,才能更好地運用這一方法解決經濟問題。

(1)在經濟建模與預測的應用中,對逐步回歸的具體操作有很大不同。有些學者使用向前引入法,逐個將變數引入方程;而有些學者使用的本質上是向後剔除法,逐個剔除變數;還有部分學者,做了多次逐步回歸,然後以一些標準綜合比較結果以選擇最優的。這些情況都充分說明了經濟研究中本質上採納的是逐步回歸法的基本思想,而不一定與多元統計分析理論當中的逐步回歸分析完全一致,也體現了逐步回歸分析在經濟建模運用中的靈活性。但是,對於同一經濟問題建立模型,向前引入法與向後剔除法、嚴格的逐步回歸法得到的結果是否一致,結果是否最優都是值得思考的問題。

(2)在經濟建模中,逐步回歸法選取或剔除變數往往同時結合各種檢驗,包括經濟意義檢驗、統計學檢驗、計量經濟學檢驗、模型預測檢驗等。逐步回歸法雖然一定程度上避免了多重共線性,但是其他問題(如隨機干擾項的異方差性、序列相關性、隨機解釋變數問題)卻無法全部得到解決,因此逐步回歸法需要經過經濟意義檢驗、統計學檢驗、計量經濟學檢驗等多重檢驗。經濟模型一個重要的應用在於經濟預測,模型的預測精確度是考察模型優劣性的一個重要指標,所以逐步回歸法需要通過模型預測檢驗。

(3)在經濟建模的整個過程中,一定要考慮解釋變數間、解釋變數與被解釋變數間的經濟關係,或者考察經濟環境,不能忽視經濟理論與經濟行為規律,畢竟研究目的不僅是單純地處理分析樣本數據,而是想要通過揭示變數的客觀的數據關係,從而進一步揭示變數之間的規律。


推薦閱讀:

腕錶豈能不知芯 三款背透式腕錶推薦
2015年終十大暢銷表推薦|手錶|暢銷|推薦
想了解現代漢字的來源,有什麼書可以推薦?
史上最全最經典鋼琴曲推薦(總結版)
推薦 | 唐仲容先生:六祖大師法寶壇經講記(三)

TAG:推薦 | 經典 | 回歸分析 | 回歸 | 分析 | 分析法 |