回歸分析中，x對y回歸和y對x回歸，也就是交換順序之後，為什麼係數不是倒數的關係？

01-05

如果y=beta*x
我們估計x=gamma*y
然後用估計出來的gamma計算y=(1/gammahat)*x
為什麼這個1/gammahat不等於我們直接估計第一個式子得到的betahat？

這個問題問的很好，剛好可以解釋為什麼回歸被叫做回歸。

先看帶截距項的一般情況吧，不帶截距項可以理解為中心化之後再做的回歸

首先，模型是y=a+bx+ε，還有一個隨機誤差項ε，在最小二乘法目標下

最小化誤差平方和：

$min sumlimits_{i = 1}^n {varepsilon _i^2} = min sumlimits_{i = 1}^n {{{({y_i} - a - b{x_i})}^2}}$

求導得正則方程：

$sum {{varepsilon _i}} = sum {({y_i} - a - b{x_i})} = 0$ $sum {{x_i}{varepsilon _i}} = sum {{x_i}({y_i} - a - b{x_i})} = 0$

最後的參數和LS估計有如下形式：

$hat b = frac{{{s_{xy}}}}{{{s_{xx}}}}, quad hat a = ar y - hat bar x$

其中：

${s_{xx}} = sum {{{({x_i} - ar x)}^2}}$

以及：

${s_{xy}} = sum {({x_i} - ar x)({y_i} - ar y)}$

注意到斜率項bhat可以改寫為：

$hat b = frac{{{s_{xy}}}}{{{s_{xx}}}} = frac{{{s_{xy}}}}{{sqrt {{s_{xx}}{s_{yy}}} }} imes sqrt {frac{{{s_{yy}}}}{{{s_{xx}}}}} = {r_{xy}} imes frac{{{s_y}}}{{{s_x}}}$

其中s_x,s_y是樣本標準差：

${s_x} = sqrt {frac{{sum {{{({x_i} - ar x)}^2}} }}{{n - 1}}}$

${s_y} = sqrt {frac{{sum {{{({y_i} - ar y)}^2}} }}{{n - 1}}}$

所以，如果用x~y進行回歸，假設 $x=c+gamma y+epsilon$ ，則有

$hat gamma = frac{{{s_{xy}}}}{{{s_{yy}}}} = {r_{xy}} imes frac{{{s_x}}}{{{s_y}}}$

倒數是

$frac{1}{{hat gamma }} = frac{1}{{{r_{xy}}}} imes frac{{{s_x}}}{{{s_y}}} e {r_{xy}} imes frac{{{s_x}}}{{{s_y}}} = hat b$

發現他們的區別了嗎？

x~y 得到的回歸直線： $y - ar y = frac{{{s_{xy}}}}{{{s_{xx}}}}(x - ar x)$ ，斜率估計 $hat b_1 = frac{{{s_{xy}}}}{{{s_{xx}}}}$
x~y 得到的（逆）回歸直線： $x - ar x = hat gamma (y - ar y) Leftrightarrow y - ar y = frac{1}{{hat gamma }}(x - ar x)$ ，斜率估計 $hat b_2 = frac{{{s_{yy}}}}{{{s_{xy}}}}$

他們的關係是：

$0 le frac{{hat {b}_1}}{{hat {b}_2}} = {r^2} le 1$

或者說

${hat {b}_1} eq {hat {b}_2},quad{hat {b}_1}=r^2 {hat {b}_2}$

計算完了，然後看為什麼叫回歸

假設(x,y)，對於給定的x，y服從圖中所示的正態分布。

該正態分布的中心，E(y|x)，在對稱軸（虛線）之下

此虛線稱之為SD線：方程是 $frac{{y - {mu _y}}}{{{sigma _y}}} = frac{{x - {mu _x}}}{{{sigma _x}}}$

x變化時，f(x)=E(y|x)形成回歸直線（紅線），稱之為回歸函數：

$[frac{{y - {mu _y}}}{{{sigma _y}}} = ho imesfrac{{x - {mu _x}}}{{{sigma _x}}}]$

相比於虛線，回歸直線的斜率乘以了rho，更平緩，在兩端有向中心回歸的趨勢。這就叫回歸效應。

「回歸」是由英國著名生物學家兼統計學家高爾頓(Francis Galton,1822～1911.生物學家達爾文的表弟)在研究人類遺傳問題時提出來的。為了研究父代與子代身高的關係，高爾頓搜集了1078對父親及其兒子的身高數據。他發現這些數據的散點圖大致呈直線狀態，也就是說，總的趨勢是父親的身高增加時，兒子的身高也傾向於增加。但是，高爾頓對試驗數據進行了深入的分析，發現了一個很有趣的現象—回歸效應。因為當父親高於平均身高時，他們的兒子身高比他更高的概率要小於比他更矮的概率；父親矮於平均身高時，他們的兒子身高比他更矮的概率要小於比他更高的概率。它反映了一個規律，即這兩種身高父親的兒子的身高，有向他們父輩的平均身高回歸的趨勢。對於這個一般結論的解釋是:大自然具有一種約束力，使人類身高的分布相對穩定而不產生兩極分化，這就是所謂的回歸效應。

================================

如果說不帶截距項的過原點的回歸也一樣，推算一下：

模型：

$y=b x+varepsilon,varepsilon sim(0,sigma^2), varepsilonperp x$

最小二乘：

$min sumlimits_{i = 1}^n {varepsilon _i^2} = min sumlimits_{i = 1}^n {{{({y_i} - b{x_i})}^2}}$

求導得到正則方程：

$sum {{x_i}{varepsilon _i}} = sum {{x_i}({y_i} - b{x_i})} = 0$

解得LS估計：

$hat b = frac{sum{x_i y_i}}{sum{x_i^2}}$

所以如果用x~y，假設 $hat gamma = frac{sum{x_i y_i}}{sum{y_i^2}}$ ，則：

$hat gamma = frac{sum{x_i y_i}}{sum{y_i^2}}$

可見

$frac{1}{{hat gamma }} =frac{sum{y_i^2}}{sum{x_i y_i}} eqhat{b}$

或者說逆回歸線的斜率估計：

$hat{b}_2=frac{1}{{hat gamma }} =frac{sum{y_i^2}}{sum{x_i y_i}}$

二者相比：

$0 le frac{{hat {b}}}{{hat {b}_2}} =frac{{{{(sum {{x_i}{y_i}} )}^2}}}{{(sum {x_i^2} )(sum {y_i^2} )}} le 1$ （小於等於1的原因就不用我解釋了吧）

手機打公式不方便。

簡單的說就是回歸的優化目標，不是點到回歸曲線的距離，而是沿著y軸方向的距離(y-y』)^2. 如果沿著對角線反轉一下，不一定能繼續保證最優。

已有的三個回答里有兩個是拿帶常數項的回歸說的……怎麼說呢，和樓主問的不是一個事啊，樓主問的是不帶常數項的情況，其實比帶常數項的更簡單。

假定有一個關於x和y的樣本，把它們摞向量里分別記為X,Y。

那麼用Y對X回歸，係數是 $(X$ 。

它乘上用X對Y回歸的係數，是這玩意 $(X$

由柯西-施瓦茨不等式，這東西小於等於1。除非倆向量方向一樣，不然嚴格小。

=================

卧槽，答完發現這是第300個答案，怒馬！

學經濟的人會經常亂換 variable, 基本上不管回歸的假設。學統計的人會不厭其煩告訴你， independent variable， dependent varaible, 不能換，不能換，不能換！（重要的事說三遍）。所有回歸的數學證明的依賴於這些假設，破壞了這些假設，理論就成了假理論，預測就成了假預測。比如，用年齡，性別，參加工作時間去預測薪水比較make sense, 但隨便換，用參加工作時間去預測性別就不太靠譜了。

首先需要明確，在實際問題中，回歸分析的自變數和因變數是問題的原因和結果，是不可隨意互換的，所以這個問題在某種程度上不具有實際意義。

假設我們不考慮上述關係，問題也需要從兩方面考慮：

一：在真實的含有隨機擾動項e（隨機誤差項）的方程中，互換自變數與因變數斜率應互為倒數。