處理不完美工具變數（一）

01-30

謹以兩文紀念短暫的求學時光。

第一篇關於無效工具變數問題（invalid instruments problem）或稱為違背排他性約束（violation of the exclusion restriction）問題，第二篇關於弱工具變數問題（weak instruments problem）。

一個合格的工具變數應該滿足兩個性質：一、有效性，即工具變數與內生變數間存在一定關聯，但該工具變數並不會直接影響因變數。換句話說，該工具變數無法通過內生變數以外的其他途徑影響因變數（即與誤差項不相關），因此該性質又被稱為排他性約束（exclusion restriction）；二、強工具，即工具變數與內生變數間的關聯要足夠強。

違背了第一個性質的工具變數被稱為無效工具變數（invalid instruments）或違背外生性的工具變數。違背了第二個性質的工具變數則被稱為弱工具變數。

給定： $bm{y = alpha + Xbeta + Zgamma + varepsilon} bm{X = pi_{0} + Zpi_{1} + V}$

其中 $mathbf{y}$ 為 $n times 1$ 的因變數， $mathbf{X}$ 為 $n times K$ 的內生變數矩陣， $mathbf{Z}$ 為 $n times L$ 的備選工具變數矩陣， $bm{beta}$ 是我們關注的 $K times 1$ 係數向量， $bm{pi_{0} }$ 、 $bm{pi_{1}}$ 為一階回歸的係數， $bm{varepsilon}$ 、 $mathbf{V}$ 分別獨立但之間存在相關性。傳統的工具變數模型要求我們： $bm{gamma}equivmathbf{0}$ （排他性約束）且 $bm{pi_{1}}$ 足夠大（非弱工具變數）。

事實上，無效工具問題與弱工具問題是緊密關聯的，簡單來說，弱工具變數問題會放大工具變數不夠外生所帶來的影響。以2SLS（two stage least square）的小樣本估計為例，假設 $bm{gamma = gamma_{0} ne 0}$ ：

$bm{hat{beta}}_{2SLS} =frac{Cov(mathbf{y}, mathbf{Z} ）}{Cov(mathbf{Z}, mathbf{X})} = frac{Cov( bm{alpha + Xbeta + Zgamma + varepsilon}, bm{Z}) }{Cov(mathbf{Z}, mathbf{X} )} = frac{bm{beta} Cov(mathbf{X}, mathbf{Z}) + bm{gamma_{0}}Var(mathbf{Z})}{Cov(mathbf{Z}, mathbf{X} )} = bm{beta} + bm{gamma_{0}}frac{Var(bm{Z})}{Cov(bm{Z}, bm{X})} = bm{beta} + frac{bm{gamma_{0}}}{bm{pi_{1}}}$

也可以寫一個簡單的蒙特卡洛模擬觀察大樣本性質（設n = 10000）：

參數設定上，我們使用的恰好識別（exactly-identified）的單內生變數模型（ $L=K=1$ ）為： $y = 1 + 1ast x + varepsilon x = 0.5 ast z + v$

其中 $left( begin{matrix} varepsilon nu end{matrix} right) | Z sim N left (left(begin{matrix} 0 0 end{matrix} right), left(begin{matrix} 1 & 0.8 0.8 &1 end{matrix} right) right)$ 。此時，排他性約束程度 $gamma = 0$ （工具變數完全外生）且 $pi_{1} = 0.5$ （可認為此工具變數足夠強）。之後，設定 $gamma = 0.01$ 被認為是工具變數對因變數存在略微的正向直接影響，而設定 $pi_{1} = 0.1$ 時則認為此時工具變數較弱。圖中右上、左下分別顯示了單獨上述兩種問題對2SLS估計的影響。直觀上說，無效工具變數問題使得IV估計量無法一致估計，弱工具變數問題使得IV估計量難以一致估計（n = 10000時仍然無法一致估計）。

本篇主要討論無效工具變數問題。

經濟學家會使用各種理論和實證依據去說服讀者他們所使用的工具變數是有效的，即 $Cov(Z, varepsilon) = 0$ 或排他性約束成立。然而現實當中，真實的誤差項本質上是無法觀察和推斷的，即便我們對於 $gamma = 0$ 的信念十分強烈，也不能武斷地認為該工具變數就是完美的。比如說，AJR (2001)那篇有名的「早期殖民者死亡率」就被Sachs (2003)批評過地理指標存在直接效應。

後來的學者們為了能更好的pass a rigorous peer review，使用了各式各樣的方法去test robustness。例如：

Rajan and Subramanian (2008) 使用七十多個國家1960-2000年的面板數據研究國際援助對於經濟增長的因果作用，並且以auxiliary regression （可以理解為zero-stage regression）的方式將接受援助國人口規模、援助國人口規模、殖民關係、語言特徵四個指標構造成一個工具變數。作者本身提出了兩種潛在的違背排他性約束的可能：

第一，構造工具變數中的殖民關係對經濟增長的影響不僅僅只通過國際援助，比如也可能通過干涉內政的方式影響經濟增長；

第二，殖民關係一定程度上已經反映了該國當前的制度質量，而制度因素對經濟增長的直接影響有可能使得該工具變數無效。

作者給出了多種方法試圖消除上述懷疑，其中包括在原回歸中直接加入本國對法國、西班牙、英國三個國家的殖民關係變數，而國際援助內生變數係數的不顯著改變一定程度上說明了這一直接效應對回歸結果影響可以忽略；以及還包括引入備用工具變數——對數化的受援國國土面積（對經濟增長無直接影響，對國際援助規模有影響），以便完成過度識別檢驗；除此以外，作者還將上述備用工具變數（log area）放入一階回歸當中，並將原構造工具變數放入二階回歸當中，結果仍然顯示原工具變數對於經濟增長的直接影響並不顯著。

即便如此，Rajan and Subramanian (2008) 依舊錶示自己的上述嘗試其實是極其粗糙而簡單的，正如我們所說真實的誤差項是不可觀測的，因此排他性約束是不可檢驗的，唯有通過陳述理論的方式讓讀者信服。

另一個例子節選於「陳強計量經濟學及Stata應用」微信公眾號文章：工具變數法（三）： IV真的外生嗎？

排他性約束的經典案例
Miguel et al. (2004) 使用 41 個非洲國家在 1981-1989 年的面板數據，以降雨變化（rainfall variation）作為工具變數，研究經濟增長對於內戰的因果作用，即經濟蕭條或引發內戰。
首先，由於內戰也會影響經濟增長，故存在逆向因果，導致內生性。
其次，這些非洲國家當時均為農業國，且其農業主要依靠自然降雨（rain-fed agriculture），故降雨變化與 GDP 增長相關，滿足工具變數的相關性。

在一般意義上，常識認為天氣衝擊是外生的，因為人類活動通常無法影響天氣。然而，這並不意味著，天氣在計量的意義上就一定是外生的，因為天氣依然會影響人類活動，故仍可能與擾動項相關。
具體來說，Miguel et al. (2004, p.745) 考察了以下幾種可能違反排他性約束的情形。
第一，降雨變化可能影響收入不平等或農村貧困率，進而引發內戰。儘管缺乏收入不平等與農村貧困率的數據，作者發現降雨變化與中央政府稅收沒有顯著關係（政府預算或影響收入分配與農村貧困）。
第二，水災可能會摧毀公路網，使得政府軍更難控制叛軍，從而加劇內戰。然而，在簡化式回歸中，降水越多則內戰越少，故如果存在此偏差，則只會低估經濟增長對內戰的影響，使得 IV 估計值成為真實效應的下限。
第三，降雨可能使得敵對雙方難以交戰，比如，降雨使得交通條件惡化。然而，作者發現，降雨變化對於可用的公路網並無顯著影響。
第四，降雨太少可能意味著熱浪，使得人們脾氣焦躁而易於開戰。然而，回歸結果表明，內戰與滯後一年的經濟增長及降雨關係最為密切，而一年時間已足夠讓頭腦發熱的人們冷靜下來。
最後，作者謙卑地承認，無法在根本上完全排除降雨變化通過其他渠道影響內戰，但相信其他渠道的作用可能並不大。

總而言之，應對不完美工具變數的質疑，經濟學家們採用的方式往往是首先自我懷疑，當讀者的眼光都聚焦到作者提出的疑點上時，作者再通過「講故事」並結合一些實證方法去消除讀者對多個單一問題的疑慮。殊不知，經濟學理論老樹盤根錯綜複雜，後世也總會有人講述新的故事。

那麼是否存在一些方法讓我們補救這裡的不完美外生問題？畢竟，即便不是完美外生，但只要能近乎外生，即 $gammaapprox 0$ ，從上圖模擬結果可以看出IV估計量仍然有價值，尤其是當工具變數不弱的時候。

值得注意的是，許多文獻中出現過利用過度識別約束（overidentifying restrictions）來檢驗工具變數的有效性，但是由於其建立在至少有一個有效工具變數的假設上，並且難以在恰好識別的情況下使用，因此我們說，需要有更好的計量方法幫助我們對排他性約束進行定性討論。

在這裡我們介紹的方法是基於Conley, Hansen, and Rossi (2012) 的工作以及對應的Stata程序包plausexog。這一方法的主要思想可以簡要概括為放鬆工具變數完全外生的假設轉而對排他性約束的程度及結構施加相應先驗信息（prior information）或信念(belief)，最終得到一個更為穩健的區間估計。根據信念施加的強度以及方式不同，有以下四種方法：

為 $bm{gamma}$ 設置一個可能的範圍（specifying a range of possible values for $bm{gamma}$ ）

第一種方法最為簡單，直接假定 $bm{gamma}$ 在一個範圍上等可能地出現，給定置信水平，每一個 $bm{gamma}$ 都會對應一個 $bm{beta}$ 的區間估計量（ $bm{y - Zgamma - alpha = Xbeta + varepsilon}$ ），由於其他變數已知，我們僅需要將所有的 $bm{gamma}$ 對應的區間估計量組合起來，就能得到 $bm{beta}$ 可能出現的範圍。這一方法的優點顯而易見，我們不需要提供多少關於「排他性約束」的假設。但是這也是一把雙刃劍，由於這個穩健的 $bm{beta}$ 區間是包含了所有可能的有效值因而變得非常大，使得我們難以獲得多少有用的信息。此外，如何選取 $bm{gamma}$ 的範圍本身就是一個話題，諸如你需要回答並解釋 $left[ -0.1， 0.1 right]$ 是否足夠大，再比如你想基於某些可能違背外生性的理論，採用一個非對稱的區間例如 $left[-0.05， 0.1 right]$ ，你也要考慮該如何去說服讀者。

為 $bm{gamma}$ 施加一個分布（imposing a distribution on $bm{gamma}$ ）

為了克服上述方法信息過少的缺陷，我們可以考慮對 $bm{gamma}$ 的結構加以限制，自然而然，我們會想到 $bm{gamma}$ 的概率分布。通過指定 $bm{gamma}$ 在不同值上出現的不同可能性（類似於DGP），最終我們能得到比第一個方法更為精準（範圍更小）的 $bm{beta}$ 區間估計。

$bm{gamma}$ 局部迫近為0（approximating $bm{gamma}$ local-to-zero）

方法三和方法二本質上是非常接近的，區別在於，實際上我們有不止一種方法去形成 $bm{gamma}$ 的結構，並且無論是在理論上還是實證上，我們總是相信， $bm{gamma}$ 是接近0的，且其他值出現的可能性是隨著與0距離的增大而減少的。因此為了更好地利用這一信念，我們採用如下方法：

這裡的 $N(bm{beta}, AVar(bm{beta}_{2SLS}))$ 是2SLS估計量的漸進分布，而後面一項則是控制 $bm{gamma}$ 對0的偏離對估計的影響。此時我們可以看出，這一偏離的影響不僅僅取決於 $bm{gamma}$ 本身的分布，還取決於 $bm{（X』Z（ZZ)^{-1}ZX)^{-1}(X』Z)}$ ，此項決定了工具變數的強度（分母中2個 $bm{ZX}$ 項，分子中1個 $bm{ZX}$ 項，弱工具變數問題會放大違背排他性約束的影響）。

完全貝葉斯方法（full Bayesian approach）

第四種方法需要我們使用對於整個模型的先驗信息，即增加信念至所有參數（ $bm{beta}, bm{gamma}, bm{pi_1}$ ）並且假設二階回歸中的誤差項分布（ $Omega$ ）。換句話說，我們必須利用貝葉斯分析得到全模型概率 $p(Data | bm{beta},bm{gamma}, bm{pi_1}, Omega)$ ，然後可以利用如下式子積得 $bm{gamma}$ ：

其中 $p_{bm{gamma}}(bm{gamma} | bm{beta},bm{pi_{1}}, Omega)$ 是 $bm{gamma}$ 的先驗分布， $p_left{{bm{beta},pi_{1}, Omega}right}(bm{beta}, bm{pi_{1}}, Omega)dbm{gamma}$ 是整個模型參數的先驗分布。此時， $bm{gamma}$ 的結構可取決於其他變數，而這一特性可被用到多種實證過程當中。（類似地，這一過程可以參考Krray(2012) 使用貝葉斯方法在不確定排他性約束情形下進行統計推斷。）

plausexog命令的具體使用可以在ssc install plausexog後閱讀其help文檔。

值得注意的是，上述方法對工具變數的約束條件仍然存在，只不過是從「完全外生」（perfectly exogenous）變成了「近乎外生」（plausibly exogenous），也就是說，嚴重違背排他性約束條件是不允許的，因而也不可能將一個不好的工具變數變成好的。此外，先驗信息或信念並不可以隨意施加，而必須基於可信的、有依據的經濟學理論。

說些題外話，關於處理invalid instruments的方法有很多，本文選取了一種操作性簡單、適用範圍較廣的方法。有一篇可以參考 @慧航大神的多而無效工具變數下的識別與推斷，Kolesar et al. (2014) 那篇文章是多工具變數問題（many instruments problem）和無效工具變數問題的結合，但對於direct effects的要求是需要與instruments effects正交（ $Cov(Z, varepsilon) bot Cov(Z, X)$ ），即兩種影響相互獨立，然後可以直接使用一種modified-bias-corrected-two-stage-least-squares (mbtsls) estimator獲得一致估計，這一方法在後來的文獻當中已有一定運用。不過當時和導師說起這篇文章時，他說如果你想在碩士期間用這個東西做應用計量，數據肯定很難搞定，原因在於那個多工具變數設定，即工具變數數量隨樣本容量增加而增加（Bekker (1994) 提出，在多工具變數問題下，即便工具變數是有效的，也無法獲得一致的IV估計量）。最後導師說，要不你去金融相關問題和數據中看看能找到想要的工具變數？考慮到金融「重預測不重因果」的特性，我只能歡聲笑語中打出GG~