簡單線性回歸與機器學習基礎

02-23

什麼是機器學習？

對於機器學習我並沒有太過深刻的理解，對於這個近幾年來漸漸風靡的詞，個人也是一知半解。看了很多大神對它的定義和舉例，得到了很多淺顯有趣的回答。

首先，機器學習的本質是一種基於數據統計的方法。機器學習就好像人認知世界的過程。從方法論上來講，機器學習不是基於推理的「演繹法」，而是基於觀測的「歸納法」比如神農嘗百草就是機器學習的思想

拿挑橘子作為一個例子，普通計算機演算法是這樣子的

只有知道判斷橘子甜的所有因素，才能把規則寫得詳細，手動添加挑選的規則非常麻煩

機器學習演算法是由普通演算法演化過來的，通過自動的從提供的數據中學習，讓程序變得更聰明

還是拿上面例子，從市場的橘子里隨機抽取一個樣本，這個樣本在機器學習里稱為訓練數據；

製作一張二維表格，上面標記著每個橘子的物理屬性，如顏色、大小等，這些屬性在機器學習里稱為特徵；最後得到預測結果橘子甜或者不甜，這個結果在機器學習中稱為標籤。

只要把橘子的特徵輸入這個訓練好的模型，模型會自動輸出標籤即橘子甜不甜

把訓練數據提供給機器學習的演算法，這個演算法會建立橘子的特徵和標籤之間的一個模型，模型讀入更多的訓練數據後會變得更加準確，並且做了錯誤預測之後會自動修正，這樣隨著數據的增加，準確性就會越來越強。

機器學習的步驟

提出問題→理解數據→數據清洗→構建模型→評估模型

提出問題

一切機器學習的目標都是為了解決生活中的實際問題，只有明確要研究的問題才能提供方向

理解數據

這包括三方面：

採集數據：根據相關內容採集數據
導入數據：我們拿到的數據可能在Excel、網路、或者資料庫中，需將這些數據導入到Python數據結構中
查看數據集信息：包括描述統計信息，從整體上了解數據

數據清洗

也叫數據預處理，對數據進行篩選和其他處理，使我們可以從數據集中提取想要的特徵信息

構建模型

用訓練數據來構建模型，即將上一步提取的數據特徵放入機器學習演算法（最核心）中來構建模型

評估模型

用測試數據來評估模型的準確性，看模型預測程度有多高

簡單線性回歸

什麼是特徵，標籤？

特徵就是指數據的屬性，標籤就是我們對數據的預測結果。

以聽歌舉例，我們在聽一首歌的時候，這首歌的「節奏」「強度」「時長」等特徵會輸入到我們的大腦，再由我們大腦處理後將其判斷為「喜歡」或者「不喜歡」兩個標籤

什麼是相關性分析？

相關分析：事物的基本聯繫

相關分析

相關分析是研究現象與現象之間關係的分析方法。

回歸分析

通過一個（些）變數的變化解釋另一變數的變化。

事物的關係：現象與現象的數量關係，或者說變數與變數之間的數量關係，一般體現為函數關係或者統計關係（相關關係）

那麼，變數與變數之間的關係有哪些呢：

1.因果關係：有原因變數，有結果變數

因果關係是一個事件（即「因」）和第二個事件（即「果」）之間的關係

因果關係的種類：

單向因果：原因的產生、出現必然導致結果的產生、出現。

比如：父母的身高會決定孩子的身高

雙向因果：以變數X為出發點，研究X的變化對Y的影響。則X為因Y為果

反之，以Y出發，研究Y對X的影響，則Y為因，X為果

比如：銷售量與銷售價格之間的關係。（銷售量受價格影響，而價格也會因銷售量變化而變化）

2.相關關係：變數與變數之間的一種平均的數量關係

變數與變數之間存在一種數量關係。
某一（組）變數與另一變數間有關係，但並非如函數關係般一一對應

比如：身高和體重的關係。

身高越高體重越重，但不代表身高增加1cm體重就增加0.5kg。因為基因，飲食，睡眠等等會影響到兩者的對應關係。

相關關係的種類：

按變數的個數分類：

研究兩個變數之間的關係，為單相關

研究一個變數與N個變數之間的關係，為復相關

就多個變數測定其中兩個變數的相關程度而假定其他變數不變，為偏相關

按變數的變動方向分類：

正相關

負相關

按線性關係分類：

線性相關

非線性相關（大部分）

按相關程度分類：

完全相關：即函數關係，X與Y之間的關係是一一對應的

不相關：X、Y沒有關係，X變動Y不變，Y變動X不變

機器學習經常拿來解決相關性分析的問題，如工作壓力和患抑鬱症之間的關係，這鐘研究不同變數相關關係的一個機器學習演算法，即簡單線性回歸演算法。

舉例，

現有20名學生，研究這些學生在考前複習時間與得到的成績之間的相關關係。

這裡是通過複習時間來預測成績，所以學習時間是數據的特徵（自變數或解釋變數），成績是數據的標籤（因變數）。

由於數據框不能很直觀的看出兩個變數有什麼關係，下面用散點圖表示出來

相關分析：量化相關程度

相關分析的特點

兩個變數都是隨機變數
變數X與變數Y只能計算出一個相關係數，相關係數唯一。（X對Y的相關係數為a，Y對X也為a）
在計算相關係數時，變數X與Y獲取資料的方式相同。

注意：隨便兩組數據進行計算，都能產生相關係數。所以在進行相關係數計算時，首先要進行理論分析，確保兩個變數之間是真的相關的。否則容易出現偽相關的情況。一般來說可以看看兩個變數中間有沒有影響他們的中間變數，來判斷是否為偽相關。

兩變數相關分析：

1.相關圖

將相關表中各對數值在直角坐標繫上描出，可以看出相關點的分布狀況

2.相關表

通過實際調查取得一系列成對的變數值資料，作為相關分析的原始數據；然後，根據資料是否分組，將原始數據編織成相關表。

3.相關係數的計算

對變數間關係密切程度的度量

1）離差積的方向，與變數之間的相關方向相同。

2）變數之間的相關程度:

協方差的大小除了與變數之間的相關程度有關，也與變數的本身數值大小有關，所以除去X和Y的標準差，得到相關係數的積差法計算公式：

注意：

此公式計算的是變數之間的線性相關係數。如果變數之間屬於非線性相關，則此公式失效。（如r=0時，只能說明變數之間不存在線性關係，可能存在非線性關係。）
相關係數計算出的結果是唯一的，並且數值在±1之間。樣本資料說明總提示，要進行假設檢驗。
相關分析，其分析的是之間關係，不是間接關係。
根據數值大小判定相關的密切程度方面，一般常劃分為四級：︱r︱數值在0.3一下視為不相關，0.3～0.5屬低度相關，0.5～0.8屬顯著相關，0.8以上屬高度相關。