機器學習入門筆記3

監督學習

Part 3.生成線性模型

8 exponential family

滿足

其中，η為參數，a(η)的作用是使右邊的式子變成1。

均屬於 exponential family。

如：Bernoulli 分布和 Gaussian 分布等等

Bernoulli 分布：

y ∈ {0, 1}

p(y = 1; φ) = φ;

p(y = 0; φ) = 1 ? φ.

其中，

Gaussian 分布（一維）：

在推導線性回歸時，σ2對參數θ的選擇沒有影響，因此我們令σ2=1.

因此有，

其中，

9 Constructing GLMs

要變成GLM模型，有以下假設：

1.屬於exponential family

2.我們的任務是根據x來估計T(y)，一般而言，T(y)=y。因此設模型h(θ)=E(y|x)，即期望值。

3.η與x是線性相關（強條件），即

exponential family：

取對數，

再利用極大似然估計進行優化。略