A/B 測試不是尋找更優質產品設計的捷徑？
疑問來自於 Instagram 聯合創始人 Kevin Systrom 的專訪
「Early on, we were very hunch-driven,」 he said. 「As we』ve scaled, we』ve started to make data-driven decisions. That is one transition we』re making slowly. But you can』t start a great product with an A/B test.」 via Despite Complaints, Instagram Ads Are Working, Says CEO Kevin Systrom
A/B Test 是為了驗證已有產品想法、指導產品改進的手段。只有帶著明確目標所進行的 A/B Test 才是有效的，它是一個滯後行為。當然不能成為「捷徑」。
一定程度上，A/B Test 和數據分析一樣屬於手段，手段當然不能反過來替代目標。數據化驅動設計已經是Google、amazon、Facebook的常態，經過無數次驗證，並且證明是正確的，但是在國內很少有這個意識，首先大家都不太明白什麼是基於A/B測試的數據化驅動
什麼是 A/B 測試？ - Mil Max 的回答
接下來怎麼用還是有一定的難度
我是數據派，我更相信每一點確定的提升比拼天賦更重要
並不保證一定能夠找到更優質的產品設計，但是一般可以獲得你想要的數據，判斷出用戶需要的設計。很多優秀的設計單獨看起來是藝術，放到特定產品中可能並不理想。
PS：→_→這不算是條捷徑吧，說起來，整個A/B test很麻煩。捷徑應該是有個好爹，比如微信直接從QQ導入用戶那種……A/B測試並不是一個時髦詞，如今越來越多的有經驗的營銷和產品人員用它來驗證不同營銷策略或者產品的優化方案。A/B測試已經被多次證明是一種有效的優化方式，並且由於各種分析工具的發展，開展A/B測試的成本也越來越低。
但大部分人對A/B測試只有一個基本的認知，我們該如何將它的效應發揮到最大？近日九枝蘭邀請到了前谷歌核心成員、現吆喝科技創始人王曄，談談如何通過A/B測試驅動營銷優化。
九枝蘭：A/B 測試在營銷領域有哪些具體應用？
王曄：在20世紀六七十年代，A/B測試就成為了廣告大師大衛·奧格威最喜歡的一種營銷手段。奧格威的A/B測試細化到文案、創意、營銷方式（比如郵件營銷），A/B測試獲得的結果對他接下來的營銷決策極為有用。
隨著數字營銷的發展，訪客在線上的一切行為幾乎都可以被監測，讓A/B測試實施起來更科學、精準。無論是一個營銷著陸頁、微信公眾號里的文章，亦或是在第三方平台的發布內容、舉辦的線上活動，都可以通過A/B測試不斷優化營銷策略、文案、創意、設計等任何元素。
A/B測試幫助營銷人節約營銷預算、提高轉化率、增加收入。
九枝蘭：對於流量或受眾，控制在一個什麼樣的範圍才能有科學的測試結果？
王曄： 簡單來說，A/B測試是只能改變一個條件的對比實驗，此外還有一個前提條件：做A/B測試的試驗組與對照組所對應的流量/受眾需具有非常相似的特徵，並保證有很強的用戶代表性。
假如A/B測試只有100個受眾，其中 50人作為試驗組、另外50人作為對照組，這個實驗從統計學來講是非常不科學的。因為如果你去計算一下隨機事件的兩個隨機變數轉化率，經過對比，就會發現95%的置信區間過寬，或者說實驗結果不具備決定性。
在進行A/B測試時，我建議至少要用1000個以上的受眾在實驗中作為對照組，才能產生範圍相對比較窄的置信區間。另外，如果實驗時間比較長，比如持續一個星期，測試結果會更可信。如果日均流量達到10000以上，結果就會相當可信。
所以，對於一些C端企業主來說，因為日均流量非常大，做A/B測試往往會得到一個可信的結果。
九枝蘭：為了確保A/B測試結果的科學性，試驗組與對照組的用戶必須具有相似特徵，但每個用戶作為獨立的個體，又有很大差異。所以，如何才能保證用戶的相似度？
王曄：方法很簡單：將用戶進行合理地分類，在分類的基礎上進行用戶採樣，這樣可以保證採樣得出的對照組和試驗組的用戶特性具有代表性，也就是說，我們的後台演算法會將其他的用戶篩選出來，分到各個試驗組和對照組裡去，也會把普通的用戶分到不同的組裡去。這樣每個組的實驗結果、實驗數據都會具有很強的代表性。
九枝蘭：A/B測試在數字營銷當中可以為企業帶來怎樣的價值？是不是所有企業都要做A/B測試？
王曄：並不是所有企業都需要做A/B測試，但做A/B測試一定可以為企業帶來好處。好處主要有以下幾個：
第一，A/B測試可以不斷地幫助企業提升營銷的效果。
可以通過A/B測試的方法，不斷地去找到更好的執行方案，包括創意、文案、圖片、動畫、與用戶溝通形式，甚至細化到表單的欄位順序、填寫方法、展現形態等等一系列因素。你都可以通過A/B測試的方法去不斷提升效果。
其次，更重要的目的是A/B測試可以讓我們更好地理解我們的用戶。
通過A/B測試我們可以挖掘出來潛在用戶更喜歡什麼、更希望得到什麼。通過A/B測試，企業才會更了解自己的用戶，這是我覺得對企業很有用的地方。
這裡有一個案例：歐洲的一個教育網站，它們會在學生註冊頁面上，把課程介紹分類列舉出來，比如辦公室相關課程、外語相關的課程、設計相關的課程等等，我們通過A/B測試發現，這種課程分類的展示形式有非常大的優化空間。優化完後，學生的註冊率提高40%。
到底如何優化的？
優化前，課程是直接列舉出來，比如依次是CAD、PPT、Photoshop等，優化後，我們按照課程的熱門程度進行排序，比如我們發現Photoshop是學生點擊量最多的課程就會排到第一位，其他的按照熱度依次排序。
這裡的A/B測試扮演的角色是幫助企業更好地理解和服務自己的用戶。
讓企業明白原來學生到我這兒來並不是十分在意我的課是怎麼組織、有些什麼課可以上，他們更關注的是其他的同學都在學些什麼課程，而我不能讓自己在找工作時吃虧，所以也要學。
九枝蘭：什麼樣的企業才能享受到A/B測試帶來的福利？
王曄：有些企業確實不適合做A/B測試，一方面是因為他們不具備在線甚至離線A/B測試的能力，另一方面，是因為企業的用戶群體非常狹窄，用戶量非常小。
比如，衛星發射中心這樣的企業並不能享受到A/B測試的福利，我甚至覺得這樣的企業不太適合使用傳統的營銷方案。
另外，一些中小企業，比如線下的小門面、水果攤，做A/B測試的能力也很弱。但我們仍然鼓勵這樣的小微企業去嘗試微測試，也許他們的測試沒有那麼科學和強大，但依然會有幫助。
但總體來說，大企業尤其是業務量特別大的企業，從A/B測試中獲得的價值會更高一些。
九枝蘭：大型企業和中小企業所擁有的資源不一樣，營銷發展的水平也不一樣。如果不同規模的企業想進行A/B測試，在執行中會有什麼樣的差異？
王曄：大型企業進行A/B測試的場景更多、解決方案更多樣。另外，我覺得大型企業最大的測試點不一定只在外部營銷，可能也包括內部營銷。比如說自己網站、APP產品、商品的展示方式、定價策略等等方面，可以用到A/B測試的場景更多。
另外，大型企業不僅可以自己動手實施A/B測試，也可以依靠服務商，比如說吆喝科技這樣的企業幫助它執行。
中小企業要實現A/B測試，企業自己參與的部分可能要更多一些。需要自己去撰寫A/B測試的實施方案，然後找第三方平台落地，最後直接通過數據分析不斷地去優化營銷效果。
九枝蘭：做一個標準的A/B測試需要具備什麼樣的資源，需要什麼樣的崗位參與，流程是什麼樣的？
王曄：A/B測試在很多知名企業，比如Google、優步、百度、知乎這樣的企業，已經滲透到整個企業決策流程當中。
首先，它的決策者、CEO會關注各個部門最近在做哪些A/B測試，獲得了怎樣驚人的成果。
然後，公司的產品負責人、市場負責人會關注目前每個項目組都在進行哪些A/B測試實驗，以及各個項目組的表現如何。
最後，是A/B測試的實際執行。如果用專業的A/B測試工具，企業內部只需要一個對技術略懂的程序員以及一個營銷人員配合，其他工作都可以通過軟體來完成。
如果沒有A/B測試工具配合，企業在執行A/B測試會比較困難。
首先要策劃兩套不同的方案，工程師開發兩套不同的頁面、流程，這個需要佔用昂貴的技術資源；
然後要實現測試組、對照組同時上線，並進行的流量分隔和實驗，這個實現起來也很複雜；
接著要進行數據採集、數據分析，又是一個非常麻煩的事情；
最後，要把數據分析結果生成可視化的報表，幫助企業決策。
對於普通公司而言，要完成整套的A/B測試需要非常強大的IT團隊經過長期的開發測試,同時也需要一直維護。所以，我建議採用專業的A/B測試工具結合客戶成功服務來完成。
九枝蘭:如果初級的營銷人員想進行A/B測試，如何才能儘快上手？
王曄:很簡單，使用強大的A/B測試工具。使用工具最大的好處在於：把所有複雜的事情都通過軟體化的方法實現，留給人工操作的流程非常簡單，就像剛剛我們所提到的，你只需要一個技術人員的幫助就能快速實現。
工具可以幫助你創建表單、H5頁面，可以可視化的編輯頁面生成不同的測試方案，可以科學的分配流量到不同的版本，可以獲得測試數據，數據能夠詳細的告訴你實驗結果的好壞、是否可信，以此幫助你決策。
九枝蘭:有沒有一些通過A/B測試獲得了營銷效果提升的具體案例分享？
王曄:我們有一家客戶：斗山機械公司，作為傳統企業，他們以前很忽視互聯網營銷。因為他們覺得有多少人會在網上買挖掘機呢？但是通過我們的平台和建議，它在微信、H5、小遊戲等各個渠道、方法去推廣挖掘機，並使用A/B測試不斷優化營銷的各個環節，最後通過在線營銷獲得了幾千個銷售線索，並成功銷售了近三十台挖掘機。
九枝蘭：使用 GA、CNZZ等工具是否也能進行A/B測試？
王曄：GA的A/B測試完成的還不錯，但測試的科學性不能夠保證。因為GA是通用的數據分析產品，適用於小站長進行A/B測試，但當你的體量變大，決策風險相應提高，這時你需要更專業、細緻的產品。
所以，我覺得GA是一個很好的數據分析工具，但當你需要更細、更複雜的試驗環境的時候，你需要更強大的A/B測試工具來完成。
九枝蘭:是什麼原因驅使你放棄Google這麼好的機會回國創業？
王曄：這個問題分開來談：一個是我為什麼要創業，一個是我為什麼要回國。
我為什麼放棄Google的崗位選擇創業？
我雖然在Google的核心部門任職，但我依然認為Google並不是這個時代真正的引領者。在移動互聯網時代，新一代的企業像Facebook、uber、airbnb才是互聯網的弄潮兒，它們更創新、更積極的推進新型的業務和產品。
所以我覺得待在一個已經開始有點傳統化甚至有點落後於時代的公司，還不如自己出來創業。
我為什麼要回國？
這和我們是中國人有很大關係。無論是在北美還是歐洲，中國人受到的局限性比較大，你需要解決身份認同、文化衝突等一系列問題。
但在中國，我如魚得水。
另外，我覺得中國市場的體量遠超北美，甚至遠遠超過歐洲、日韓。所以在國內創業，發揮的空間非常大。而且國內對A/B測試越來越認可。
於我而言，回國創業是一個契機。
九枝蘭:吆喝科技目前發展現狀如何以及未來是怎麼規劃的？
王曄:吆喝科技雖然還處於創業初期，但卻有近500家企業已經在用我們的A/B測試工具。 其中包括很多非常知名的企業成為了我們的付費用戶。
我們的服務已經深入到金融、電子商務、遊戲、健康、教育等等各種行業。
另外，除了服務好國內的市場，我們還會考慮擴張到海外，比如日韓、東南亞以及歐美市場。
註：若轉載本文請加上九枝蘭微信ID：jiuzhilan或二維碼。對於不署名者，九枝蘭將保留追究的權利。
記得之前聽過這麼一句話，是扎克伯克說的：
Facebook不看臉，看數。在用戶數500萬以下聽他的，500萬以上挺聽數據和測試的。（原話忘了，大概是這個意思。）
A/B測試是不是尋找更優質產品設計的捷徑？
答案是：肯定是啊，不過視你產品的不同階段，A/B測試發揮的作用不一樣，但事實上，A/B測試確實是尋找更優質產品設計的捷徑。
君不見，Google每天運行數千次A/B測試，你現在用的搜索結果頁的10條結果就是A/B測試驗證過的，它用的藍色也是A/B測試驗證過的，甚至Google的知名設計師的離職也要歸咎於A/B測試。（當時是這麼個情況，Google的這個設計師在業界特別有名氣，大牛啊畢竟，大牛都是有脾氣的，但因為他覺得Google做的A/B測試過多，多到UI設計里精確到幾個像素都要用A/B測試來驗證。所以這個設計師就不幹了，離職了，還在博客上寫了這麼一句話：tmd，再也忍不了比我還牛逼的A/B測試了。至於這個設計師是誰，可以自行百度。）
君不見，Airbnb在還不是「哎，倍兒牛逼」之前，也是通過A/B測試來發現產品爆發增長的秘訣的。Airbnb是雙邊市場，要搞定租客和房主，房主在Airbnb的生意越好，它也就越牛逼。當時Airbnb就提出了這麼一個假設：房間的照片拍的越性感，房子的出租率越高。接下來就做了A/B測試，結果是驚人的。
君不見，阿里、騰訊、百度、滴滴、攜程、去哪兒……國內的各大互聯網公司都在用A/B測試來優化產品和轉化率。
可能你想說，舉的栗子都是大公司呀，有沒有小公司的栗子：
栗子一籮筐啊親：
1. 把Bra賣出Geek范兒，這家公司給Bra建了一套數學模型，銷售額3年漲了39倍 這家叫Adore Me的公司，美國創業賣胸罩的，用A/B測試的方法，愣是在三年里讓銷售額漲了39倍。
2.Airbnb也是呀，在那之前也算是名不見經傳的小公司。
……
國內還有那些公司在做A/B測試：墨跡、樂動力、虎撲、小恩愛、銀天下、跟誰學、MAX+……乃至挖掘機大亨斗山挖掘機也在用A/B測試優化產品和營銷。這些案例可以在這裡看到：一些A/B測試及灰度發布案例
。
------------------------------------------
下面是理論環節：如何用A/B測試來為更好的產品設計服務？（這部分出自吆喝科技博客）
A/B測試是一個非常有用的工具，不止能用來優化著陸頁，還能用於更好的產品設計。
經典的A/B測試中，你是指標驅動的，你會想著測試多種變數來優化數據指標。這種情況下A/B測試非常有效，但也局限於轉化明顯的註冊等流程。這篇文章里會提出一些不一樣的策略，把指標作為指示，最終輔助產品設計過程，而不是驅動它。
我將描述的策略包括：
- 在不降低用戶數據的情況下更新產品
- 通過測量和刪除沒用功能來簡化產品
- 做出用戶喜愛的設計
我們開始吧…
在不降低用戶數據的情況下更新產品
產品團隊會不斷推出小的版本更新來應對客戶需求和市場變化。當更新影響產品的關鍵部分，特別是主要註冊流程或核心演算法時，確保不會降低用戶數據通常很重要。
比如，你正在做一個新的社交網站，需要添加集成 Facebook 的「查找朋友」功能。如果你構建和測試它，你很可能發現，因為沒有經過優化，新功能讓用戶數據變得很糟糕。經典的A/B測試通常會捨棄表現糟糕的新設計，但與其過早的殺死它，你可以使用A/B測試來迭代完善新設計，每次提升幾個百分點，知道它能替換原有的設計。
如果你知道集成 Facebook 的這個功能在產品設計中很重要，你要做的就是把它留下，但只要10%的用戶看到它。然後持續對設計進行小優化，在 CTA 和其它點上進行調優，直至新設計和原始設計變現的一樣出色。
這樣，你可以更新產品而不會對產品數字造成負面影響。不同於經典的A/B測試，只是為了選出最優解，你同樣可以用A/B測試作為衡量新設計的標準，持續優化，直至可以替換現有版本。這樣，你是設計主導的，因為你知道你想以特定方式來優化產品，但你用A/B測試來做安全保障，以確保把沒準備好的東西推給全部用戶。
通過測量功能使用來簡化你的產品
有一個重要的設計原則，「Do less，but better.」我會詳細解釋我的產品功能哲學，包括許多產品團隊努力刪除功能，甚至量化未使用的功能。
例如，你可能有一個建議用戶關注你的網站的舊版功能，然後想用 Facebook 的「好友搜索」替換。有時候這種功能的替換是很難決策的，因為不清楚有多少人真正使用它，以及如何影響他們的整體行為，特別是對新用戶。
使用A / B測試來處理這個問題的一個好方法是運行A / B測試來刪除該功能，並返回以下信息：
- 有多少人看到這個功能？（根據測試時間段內試驗中添加的人數與活躍用戶的百分比）
- 已經刪除這個功能的用戶那些指標受了影響？（只要得到中性或正面的指示，就能安全刪除）
- 如果一些指標不好，你能通過添加一些新設計來抵消嗎？
與產品更新過程類似，這裡的重要概念是，你需要你需要在設計層面（簡化 UX）執行特定操作，並使用A/B測試作為輔助設計目標的工具。這種情況下，不是為了得到更好的指標，目標是為了更好的設計，只要指標是中立或更好的。
做出用戶喜愛的產品設計
在為產品建立關鍵指標時，通常需要做出重要的假設，比如你的用戶中有多少人邀請他們的朋友，或邀請了多少朋友等。通常，整個產品策略都依賴於確保某些類型的指標能起作用——這可能意味著吸引眼球的病毒式商業與基於終身價值和廣告業務之間的區別。
從產品的角度來看，這表現為試圖找出「邀請朋友」或「導入通訊錄」或「訂閱 Pro 版本」有多突出。要構建一個偉大的 UX ，你經常想做一些儘可能低的突出，同時要確保它易於被用戶訪問。
A/B測試可以在這上面大顯身手，因為你可以測試多個版本，來看採用哪個版本。如果你想證明一個模型是可能的（例如，在最好的情況下，我們能讓20%的用戶邀請他們的朋友？）然後你可以做一個彈窗，要求用戶邀請朋友，看看是否和你的猜測接近。這裡的關鍵不是你真的會用令人討厭的彈窗來關閉試驗，而是幫你做一個敏感分析是否可能，看看你的模型的現實價值。
你可以與上面列出的其它方法一起使用這個技巧，以便最終採用高度突出的版本來進行迭代，直到被100%的用戶所接受。
最後的想法
所有這些想法都分享的是，你使用A / B測試作為一個工具，以幫助一個更廣泛和更強大的設計POV，而不是隨從任何更好的指標結果。正如其他人之前討論的，數據指示與數據驅動的區別。您在產品中想要做的許多功能具有很多定性價值，即使短期的定量收益很難測量或根本不存在 – 使用這些先進的策略，您可以繼續推齣戲劇性的新設計，但沒有損害您的業務所依賴的指標。
最後還是得說一句：A/B測試確實是尋找更優質產品設計的捷徑。
要實現一個好的產品開發，應該是分很多個階段的。人家kevin是說你不能用A/B測試的方法來開始做一個新的產品。感覺題主理解錯了kevin的意思，要麼就是我斷章取義了。
產品的最初策劃是從大的模式框架進行的，比如說你要面向女人，還是兒童來開發產品。A/B測試是在尋找細部設計更優解的方法。當然，這是有前題的——你知道A和B分別是什麼（它們可以是同一個維度的，也可以是幾個維度的組合，比如A是紅色head,B是藍色head; A是紅色head+冬青字體，B是藍色head+雅黑字體）。所以，A/B測試是一種尋找優質設計的比較簡單的方法，也是比較容易拿數據的，比如轉化率之類的，但它是指導A與B某種具體細節之間的選擇。相對來說，當然也是目的最直接的方法，即題主說的捷徑之一。但是每條捷徑都會有弊端，那就是排除了一些其他可能更好的方案。
不同的階段，有不一樣的方法，不能「一桶」而論。很贊北北風的那個例子！最近研讀一個理論：分層升級理論。-------緣起於羅輯思維 2013-你的女神你不懂。
···搭訕：女神願意和你友好的談話，馬上就可以要電話，升級
···認識階段：如果她不拒絕和你溝通，分三次跟她發簡訊，如果她都是很正常的跟你回應，你就可以抓住時機，升級。
···朋友：約出來吃飯，如果在吃飯的時候，或是幾次約會的時候，你們雙方都能捕捉到一種信號——就是雙方不是在談什麼大道理，比如人家女孩正在考雅思，你口若懸河跟人家講三小時怎麼學英語。如果雙方能夠達到互相交流感受的時候，升級
···好朋友：還不是男女朋友。好朋友捕捉的信號是不僅想你傾訴自己的感受，而且關注、詢問、探尋你的感受的時候，那麼恭喜你，最後的信號你已經拿到手了。升級
···男女朋友：這個時候你已經不是一個供對方，傾訴自己心裡的一個垃圾桶，而是變成潛在男友了，這個時候抓住機會去升級吧 很可能就水到渠成。----TD《劇終》
---------------------------------------我是分割線我怕誰-------------------------------------------------
那產品的迭代升級是不是這樣呢？&<我陷入了深深的思考&>
到底有沒有捷徑呢？A/B測試是不是尋找更優質產品設計的捷徑呢？
鑒於互聯網思維的女性化特質，套用上面泡妞學理論--
關於捷徑---了解現在產品在大環境中的層次，一下子從1到5，用戶覺得你耍流氓。每次從1到1.5，用戶覺得你不夠爺們。當然，也可以像去哪兒傍個乾爹，迷路的時候就問：爸爸，去哪兒？
關於更好的產品設計---好的產品設計是在滿足功能的前提下，有良好用戶體驗。但更好的產品設計應該是觸及人的內心世界--喜怒哀樂--悲歡離合啥的。
EX：相機---照片---回憶
蛋糕---快樂---party
麗江---古鎮風情---YP聖地
··········（歡迎補充）
A/B 測試，數據分析都可以在某一個或幾個維度，確實讓產品進步。但太執著於術，反而會迷失自己。
總之，產品更性感。謝邀。
1. 很多優秀的產品都是來源於一時的靈感。產品的靈感可以來自很多方面，可能是用戶不經意的一句牢騷，可能是市場、客服等的經驗總結，可能是產品、技術的天馬行空的突發奇想...這是優質產品概念的形成初期。
2. A/B測試本身就是要結合數據分析等，更多的偏向於用戶和市場的反應。它本身並不能產生優秀的產品概念，但優中選優，確實可以算非常實用和便捷的一種手段。早期的雅虎被廣泛接受，但谷歌的誕生，卻驗證了在網站爆髮式增長的環境下用戶更傾向於全文索引。這可以看成一個大範圍的A/B測試。
所以對題主的問題，我是持肯定答案的。目標相同的產品可以有很多迥異的概念，甚至同一個產品概念可以採用多種邏輯，同樣的邏輯可以採用多種的交互形式...如果有條件，A/B測試結合優秀的數據分析，能讓大家更快的挑選出更優秀的的產品，無論是針對用戶目標還是商業目標。
題外話：除了產品，很多工作都可以用上A/B測試，比如營銷。但某些時候，A/B測試的成本過於高昂，所以也不必過於迷信。如果無法保證最後的測試結果和分析結論的正確性，就免了吧。A/B測試屬於先驗測試，也就是預測結論，然後對其進行測試。相比於後驗測試的話，當你對於產品設計，比較有靈感，想出來的東西很有可能是有效的，那麼A/B測試相對來說可以算作一個捷徑。
但是如果你並沒有一個更好的假設，而需要根據客戶反饋（客戶屬性）來尋找一個相對優質的設計，那麼AB測試這種先驗測試就會顯得很笨重……
所以並不是A/B測試能算作捷徑……而是A/B測試作為輔助，你的靈感才是是尋找更優質產品設計的捷徑。不是，要達成＂更優質的產品設計＂這個結果，需通過一個持續不斷的設計優化過程，AB測試只是這個流程中的節點斷面及一種手段而已。
尋找更優質的產品？看看騰訊怎麼做的就知道啦。
A/B只是一個數據分析的工具。
舉個真實發生過的事情： 在一張網頁上放入口，用 ABC 好呢？還是用abc好呢？
A/B test工具可以用真實的數據告訴你哪個更好些。個人認為 A/B 測試 只是為了達到某個數據目標驗證方法，如：網站購物，廣告的點擊率等等；但對於滿足消費者核心的需求來講 要消費者使用時的情感因素，如：微信是否添加已讀功能，如果以溝通效率為目標，那麼添加已讀 溝通的數據 肯定會很多，且最後還要加個886。所以，A/B 測試還是要看目的，如果目的是提高 數據效率，肯定非常好，如果是滿足消費者需求，反而起到反的效果。
從最終商業目標角度：
- be better resonance with your audience
- Boost conversion rate
- Increase ROI
從線上營銷活動粘膩度以及商業執行角度：
- content personalisation, increase website visitation
- optimise Email marketing result, improve communication effectiveness
- improve marketing automation, further nurture lead and customer journey
－－－－－
題外話，連Obama當年也用A/B testing做大選campaign，preliminarily就募集資金60 million～
How Obama Raised $60 Million by Running a Simple Experiment
只是個流程中的節點斷面及一種手段而已。
贊成黃海均所言「A/B Test 和數據分析一樣屬於手段，手段當然不能反過來替代目標。」
A/B 測試是一種產品測試的手段。在大數據的時代，產品對應的用戶群體只能盡量精準，樣本的不一致直接影響最終的測試結果。更核心的產品人員在設計上，有一定的指導性，很難說兩種導引只通過簡單的通過AB測試就能定義好壞。
謝謝題主的邀請，坦誠的回答下，我對A/B測試不是很了解，看了前輩們的回答，我比較贊同
黃海均的回答，這個偏理論了，啊kay的西瓜回答有助於理解，大家的回答都各有千秋，題主可以提煉下
哇哈哈，好激動，第一次被邀，處女答，認真點哈，雖然這個A/B測試完全不懂，不過就個人設計流程的東西說說吧。現學現賣 
首先請提出認真閱讀以下wikipedia對於A/B testing的定義，其中第一句話就定義了其本質：
「A/B testing is a methodology in advertising of using randomized experiments with two variants, A and B, which are the control and treatment in the controlled experiment. Such experiments are commonly used inweb development and marketing, as well as in more traditional forms of advertising.」 所以A/B testing的初衷是什麼？對，是銷售業績的提升，是"gain in sales"，好現在我們回到題主的問題，「優質產品設計」，既然提到了設計，那題主我要跟你談談人生了:) 不鬧，個人認為設計的初衷是以現有資源為基礎上去優化現有的生活（注意 不是發明創造），讓他更接近於人的本能，人潛在的意識，以及表面之下的需求，關於這一點個人推薦一下深澤直人的《意識的核心》，好的產品設計是人內在需求的一種體現，是一種意識上的物理表述，所以有些東西你覺得很棒用著也順手，有些設計看起來很棒卻只能當個擺設。不過，也必須得承認，互聯網或者軟體產品、服務流程的設計跟傳統的設計有所不同，本人身在義大利，戰後義大利的設計從傢具廚具設計普遍偏向於一種意識形態化和實驗性的突破，而軟體產品方面的設計，立於當代似乎還不需要達到這樣一種境地。好，繼續回答好的設計，好的產品設計是什麼，我覺得最重要包含在裡面的元素是「需求」，交互產品也好，工業產品也好，只有準確把握到用戶的「需求」才能真正成為一個「優質產品」而跟後期的市場，銷售，宣傳沒有半毛錢關係。那你又大可以說了，為什麼喬布斯上台第一個ipod就那麼成功，但是他並不是第一個生產硬碟式播放器，他為什麼是偉大的工業產品，那是因為他考慮到「大容量播放器」需求的同時也考慮到「便攜性」，才成為如此收歡迎的產品，至於在這個環節如果硬要說A/B testing的部分，比如說操作界面，是傳統的按鍵還是圓盤滑動，對這很創新，提高銷售，但對一個偉大的產品來說這絕對不是最根本的部分。
轉回題主的行業互聯網，我就外行人談談吧，舉個例子，facebook，是一個優質產品吧，但facebook是什麼？它的本質是一個社交網站，是建立或者劃清關係網的手段，是窺探他人生活的器具，是對外自我塑造的途徑，是一種無形的監督體系，是一種搜集數據的有效工具等等，A/B測試無論如何不管怎麼樣無法改變以上這個龐大「需求」體系任何一項初衷，他所提供的是一種尋找優化方案的捷徑，而非尋找產品本身的捷徑。如果沒有產品本身這個根基在裡面，也就無法得到A或者B兩種參照的分支。
另外，再強調一遍，這個工具是在市場，營銷，的時候用，以達到盈利作為純粹目的的，它只是指明了消費動機的一個參照標準，而比僅僅基於理論的宣傳，推廣模式有所突破，他基於的是測試者的具體的體驗，所以有很大參考價值，但是這絕對不是一個衡量產品好壞的一個工具。
最後的最後，表示維基百科拯救白痴。。。。。A/B測試可以得出當前的最優設計方案，當然這是在有兩套設計方案的時候才可能去做的。
這應該不算捷徑，就像樓上說的，是一個產品設計的方法、手段。
首先 測試的是功能層級的想法但不能決定產品方向
其次 AB一般用於彌合衝突
最後 AB需要提前擬定規則達到什麼指標則使用A否則使用B
AB測試就像數據統計一樣 都是產品研發完成後驗證想法的過程 而非決定產品走向的過程。
A/B Testing 只能針對特別領域有效果，另外單次策略也是 1%-5% 優化的空間。創業團隊可以先不考慮。
A/B測試的目標是什麼？肯定不是驗證產品的AB觀點，那樣成本太高；
我想說的是，A/B測試的前提是產品的核心思路已經定了，在具體的交互，或者營銷定位人群，或者產品新功能反饋上做的一種數據分析手段
推薦閱讀：
※產品設計怎麼練手繪？
※蘋果給你最大的啟發是什麼？
※知乎為什麼好玩？
※Braun 為什麼沒有把 Dieter Rams 的設計風格延續下去？