多元線性模型下的最小二乘法

有了「線性代數基礎概念」的打底，今天我就要來兌現前天的諾言

先來回顧一下一元線性模型：

(1.1)

式1.1中的 即為前文提到過的預測值， 為對應的實際值， 是「殘差」， 是殘差和。

現在看就很簡單了吧（前面你真的認真看了的話）。

如果使用線性模型

(1.2)

其中： , 。

就是之前一元模型中 （預測值），為什麼要把它變成一個矩陣和一個向量相乘呢？

解毒： 被稱為「設計矩陣」（也就是為了達成目的人為設定的矩陣），行表示樣本，列表示特徵，這裡可以這麼看：在學習階段（或稱訓練階段），我們要向計算機輸入一部分已知的房子的參數，每一行就表示一套房子（樣本），每一列則代表對應房子的採光、通風、面積大小等等（特徵）。

是「權重係數」，理解起來也很方便，結合昨天的矩陣乘法可知：每套房子的價格= 採光+ 通風+ 面積大小 +····（ 取 ~ ），即

那麼一元線性模型

就可以改寫為

(1.3)

解毒:一模一樣的形式 ：式1.3中的「」就是式1.1中「 」（也就是預測值），這裡的 = 是訓練輸出的 維向量（也就是對應房子的實際價格）。 是 的「 範數」（由於 的結果是一個 的向量，所以這裡求的是「向量的 範數」或稱「Euclid範數」），

， 是 的殘差，一個向量的 範數即向量元內素絕對值的平方和再開方。

以上就是線性小二的全部了（應該吧...），其實之前我還挖了一個坑：就是我講一元模型的時候提到了最小二乘法的目的就是適度的修正預測值和實際值之間的偏差，但沒提具體的修正過程，其中涉及到一些高等數學的基礎知識，所以之後會先介紹「導數」和「偏導數」的概念，接著才講擬合的細節。