假設檢驗——獨立雙樣本檢驗之 AB測試案例

項目背景

原生產線上有A、B兩台機台，由於訂單量的減少，現在需要選出最優那一台繼續生產，另一台需要整體改造，另作他用。該如何選出最優的機台？

首先，我們需要設置目標，用來衡量兩台機台的優劣。已知兩台機台都需要檢測產品上端子平面度尺寸，端子平面度為0~0.05mm，在這範圍內端子平面度越小，則機台精度越高，越平穩。

有了衡量標準後，下一步就是採集數據。接下來給這兩台機台分別試跑20個產品，然後記錄機台檢測產品端子平面度的尺寸。

我們將數據記錄在Excel中，A列是使用A機台檢測產品端子平面度的尺寸，B列是使用B機台檢測產品端子平面度的尺寸。

現在我們開始A/B測試

一、描述統計分析

讀取文件：

轉換數據格式：

求取樣本平均值和標準差：

二、推論統計分析

1、問題是什麼？

零假設和備選假設

要研究的問題是：哪台機台生產產品更優？

根據這個問題我提出來下面兩個互為相反的假設。

零假設H0：A機台和B機台沒有差別，也就是A機台端子平面度平均值等於B機台端子平面度平均值。

備選假設H1：A機台和B機台有差別，也就是A機台端子平面度平均值不等於B機台端子平面度平均值。

檢驗類型

因為這裡有2組樣本，是不同的機台，所以選擇雙獨立樣本檢驗。

抽樣分布類型

我們還要判斷抽樣分布是哪種？因為抽樣分布的類型，決定了後面計算p值的不同。

在我們這個A/B測試案例中，樣本大小是20（小於30），屬於小樣本。那小樣本的抽樣分布是否滿足t分布呢？因為t分布還要求總體分布近似正態分布，但是總體分布我們是不知道的，我們可以通過樣本數據集的分布來推斷總體分布。

描繪數據集分布：

通過觀察上面A、B機台數據集分布圖，數據集近似正態分布，所以滿足t分布的使用條件，我們可以使用獨立雙樣本t檢驗。

檢驗方向

單尾檢驗（左尾，右尾），還是雙尾檢驗？

因為備選假設是：A機台和B機台有差別，也就是A機台端子平面度平均值不等於B機台端子平面度平均值，所以我們採用雙尾檢驗。

總結

綜合以上分析，本次檢驗使用獨立雙樣本t檢驗，雙尾檢驗。

2、證據是什麼？

在零假設成立前提下，得到樣本平均值的概率p是多少？

Scipy的雙獨立樣本t檢驗不能返回自由度，對於後面計算置信區間不方便。所以我們使用另一個統計包（statsmodels）

需要在conda中當前notebook文件所在的python環境下安裝統計包（statsmodels），安裝命令：conda install statsmodels

雙獨立（independent）樣本t檢驗（ttest_ind）

statsmodels.stats.weightstats.ttest_ind

官網使用文檔http://www.statsmodels.org/dev/generated/statsmodels.stats.weightstats.ttest_ind.html

導入數據包statsmodels，計算t值、概率p_twoTail和自由度df:

3、判斷標準是什麼？

4、做出結論

5、計算置信區間

1）置信水平對應的t值（t_ci）

查t表格可以得到，95%的置信水平，由上面的結果可知自由度是25

2）計算上下限,

置信區間上限a=樣本平均值 - t_ci ×標準誤差

置信區間下限b=樣本平均值 - t_ci ×標準誤差

查找t表格獲取t_ci=2.06

計算置信區間過程：

6、效應量

計算效應量：差異指標Cohens d：

三、數據分析報告

1.描述統計分析

A機台端子平面度平均值是0.032mm，標準差是0.010mm

B機台端子平面度平均值是0.028mm，標準差是0.004mm

2.推論統計分析

1）假設檢驗

獨立雙樣本t(25)=1.77,p=0.09(α=5%)，雙尾檢驗

接受零假設，沒有統計顯著

即A機台和B機台沒有顯著差別，可以任意選擇一台進行整體改造

2）置信區間

兩個平均值差值的置信區間，95% CI=[0.00,0.01]

3）效應量

d=0.43，效果不顯著

推薦閱讀：