對於有自動更新機制的軟體（或網頁），相比灰度發布，Insider 測試會不會對測試結果引入 bias？

01-07

Insider 測試指的就是那種用戶必須手工簽訂「協議」才能拿到早期版本的測試方法

我相信是會的。insider都是比較geek的人，分布本身是bias的。

但另一方面，對於需要安裝的軟體，而不是網站那樣直接使用的系統來說，普通人傾向於不裝，結果就是得到的信息更少。這麼一來，可以認為即便是bias的結果，也比沒有結果要好。

Insider其實就是一種preview機制，和原來發布beta版那種差不多。灰度發布更多的是在發布正式版本的時候的一種推送過程，使得新版本可以分批推送給全體用戶，用灰度發布可以降低風險，萬一有嚴重bug可以立刻停止這個過程並回滾。另外一種是A/B測試，這個更多用在測試某個特定的設計選擇所帶來的用戶反應，比如兩種UI設計哪個更易用等等。

個人理解這幾種手段並不是互相衝突的，它們其實是作用在開發發布周期的不同階段。Insider/preview更長效更早期，主要用來儘早收集用戶反饋，特別是對於周期長的的新版本。灰度發布更短效，主要目的是規避風險。A/B測試則是針對某個特定的設計選擇而做的實驗。

回到問題，insider有沒有bias，肯定是有的，因為受眾人群特定。那麼灰度發布有沒有bias？一般不會討論這個，因為灰度發布周期一般比較短，沒時間去收集用戶反饋，或者說主要通過自動化手段來收集使用效果。而且因為一般用戶沒有選擇權，灰度發布的版本本身質量就是正式發布的質量。A/B測試一般會隨機採樣，所以基本沒有bias，不然結果也沒法比較。

謝邀

－－－－－－－

個人贊同上面可可蘇瑪同學的回答，請參考他的答覆。

採用Insider眾測方案後， Bias現象非常的明顯，體現在很多具體事例和bug里：

首先，Insider大多採用滾動升級，導致對跨版本build的升級過程測試力度不足。比如14390升14393往往很順利，10586升14393就會爆一片。這還是rtm升rtm呢。

1. 由於滾動更新比普通通道更頻繁，所以有時候會比普通通道更新更平順。往往從10586走insider通道慢慢升級不會出太多bug，可是從10586直升14393反而會爆一片。

2.語言歧視太嚴重，或者說，中文的bugreport不管怎樣都會比英文的慢一步解決。儘管微軟已經在專門解決這個問題，可是還是會在流程上比別人多走好幾步，多花好多天。等於說要是你在14390發現了個bug而且你是天朝人，那你恐怕在14393是看不到fix了。

3.Insider的寬容度太高，經常會對一些「小問題」熟視無睹導致這些問題可能會一直存在到RTM。可是其實很多「小問題」細究起來根源上是非常深的，那這種看起來不是特別顯眼然而又錯綜複雜的bug你報了和沒報基本上優先順序都是一樣的低，除非你會拉票。

4.Insider的水平不夠，資源也不夠，沒法很好地描述複雜bug、沒法很好地找到穩定復現bug的辦法、沒法自己找到bug根源並提供解決方案、沒法看到代碼…… 你也可以說這是Windows不開源造成的問題。