最小二乘法和相關係數公式怎麼記憶？

快要吐血了真的不理解記不住

如果兩個變數的變化趨勢一致，也就是說如果其中一個大於自身的期望值，另外一個也大於自身的期望值，那麼兩個變數之間的協方差就是正值。 如果兩個變數的變化趨勢相反，即其中一個大於自身的期望值，另外一個卻小於自身的期望值，那麼兩個變數之間的協方差就是負值。


再說最小二乘法，首先是名字的由來，二乘表示平方，最小二乘表示誤差平方和最小的意思。誤差平方和是一個關於權重係數W的函數，可用求一階偏導的方式對其關於W的最優化。
我相信題主你，包括大部分都能記住最小二乘的解題過程及解題條件。但是，是不是覺得每次都推導一次結果很煩？難道最小二乘解的公式只能靠死記硬背？
其實並不是，要我說，其實最小二乘解的結構是一個非常「自然」的表示。假設待預測的樣本個體為x"，W * x"為該個體的預測結果，X為訓練樣本，你的第一直覺中x"的預測值應該是什麼呢？對了，在訓練樣本X中，哪一些個體與x"越相似，那麼x"的預測值就應當與其越相似，而最小二乘解的意義就是這麼地直白！假設X為方陣時，利用最小二乘解對個體x"進行預測的過程為：

首先用X的逆矩陣與x"相乘，得到X中每個個體與x"的「相似度」，然後用「相似度」乘以其對應的預測結果進行綜合成為x"的預測結果。
那麼，問題來了，為什麼X的逆矩陣與x"相乘，能表示「相似度」？
請參考：矩陣求逆的幾何意義是什麼？ - 城東的回答
當X不為方陣時，最小二乘解的權重係數為：

在我的博文的第3小節中，對X不為方陣情況進行了說明。
請參考：關於線性模型你可能還不知道的二三事（二、也談民主）

LXY / LXX

上面和下面的形式是一樣的， 上面是 連加（x*y） - n*連加（x）*連加（y）
下面是 連加（x*x） - n*連加（x）*連加（x）

如果想更簡記得話，你可以想像成，上面的x和下面的x約分，最後只剩下Y/X