來自多鄰國增長VP的A/B測試經驗分享
利用周末的閑暇時間，翻譯了一篇A/B增長的實戰經驗文章，希望對大家在產品迭代過程中，完成增長目標有一些啟發~
多鄰國（Duolingo）是一個語言學習平台，Gina Gotthilf是該公司負責增長的VP。她當然不願意將其最滿意的A/B測試實驗分享給大眾，然而這些實驗實在是太好了。「你認為App上的一個小紅點是代表新的功能，還是一些沒有解決的問題?對我們來說，這意味著DAU的6個百分點提升」。這隻有6行代碼，花費了大約二十分鐘。接著，我們又對這個紅點進行了第二個版本的優化，繼續帶來了1.6%的DAU增長。」
在增長領域，我們經常聽到有這樣一些觀點：你無法預測觸發改變的事情是哪一個。產品優化總是來自於宏觀層面和微觀層面的混合結果。但Gotthilf手上的統計結果告訴我們了另一個事實。作為一個增長專家，她知道最重要的一點是什麼：你向用戶傳遞的任何一個信息——甚至是一個標點——都是有價值的數據。因此，窮盡所有試驗，消化每個數字的意義，並且用結果來對下一步的工作進行指示。
常態下，Gotthilf的團隊至少有5個以上的A/B測試實驗在同時進行，通過不斷努力的對每一次通知、App的前端展示以及文案進行測試，Gotthilf見證了多鄰國的用戶數從3百萬增長到20億的量級。
在這次獨家訪問中，Gotthilf與我們討論促進多鄰國增長最關鍵的4次A/B試驗。她與我們一同分享在A/B測試試驗中所學到的教訓、警示案例，以及一些原則理念。讓我們開始吧。
4個A/B測試試驗
在Gotthilf的團隊成員以及產品經理Kai Loh的幫助下，我們讓Gotthilf和我們聊了一下多鄰國做過的最典型的4個A/B測試試驗。以下便是她與我們分享的每個實驗背景以及具體的演算過程，即便最精簡的市場團隊，都能夠立刻開始執行同樣的策略。
A/B試驗#1：延遲註冊
問題：幾年前，多鄰國開始解決一個對於初創App最為生死攸關的問題：是什麼引起了多鄰國的漏斗模型中最上層的流失，他們該如何阻止這一情況？
「我們發現，下載、訪問多鄰國App的用戶中，成為註冊用戶的數量大幅下降。很明顯，用戶的註冊是很重要的行為——這說明他們將會再次回訪App，而且這個動作也表明我們有機會將一次訪問轉化成持續的、有價值的體驗，」Gotthilf說到。「這意味著我們可以向他們發送通知和郵件。所以，我們開始思考做些什麼可以提升註冊轉化率」。
他們假設解決措施可能是反直覺的：表面看起來你應該讓用戶立刻完成註冊，然而當你擁有大量對產品感興趣的用戶並且能夠吸引他們的注意時，讓用戶先體驗你的產品也許是最有效的方式。
試驗：「我們設計了一個簡單的引導課程，讓用戶可以看到自己的基礎技能如何，這樣有些用戶無需註冊就可以先體驗多鄰國的產品，我們的註冊指標獲得了顯著提升。」 Gotthilf說，「只是簡單的將註冊頁面延後了幾步，就讓DAU提升了20%。雖然對延遲註冊功能進行首次出擊時我還沒有加入到公司，但我們都看到這一結果帶來了正面影響。」
迭代優化是Gotthilf的增長組織中最重要的因素，所以他們並沒有到此為止。首次試驗即帶來了顯著影響，現在應該去優化這一實驗。他們自己提出了幾個問題：用戶應該在什麼時間註冊？是在一個引導流程的中間還是結束？用戶應該怎麼完成註冊？
他們也在觀察頁面本身的設計。「在某一刻我們想過，『好吧，除了拿著這個界面走來走去，我們還能做些什麼？』」。Gotthilf說「在屏幕的底部有一個大大的紅色按鈕，文案寫著『放棄我的進度（Discard my progress）』」——基本意思就是不要註冊。』」』他們假設很多用戶具有一種行為習慣：毫不思考的點擊頁面中最顯著的按鈕，在這種假設下，多鄰國正在失去很多本來對產品有興趣的用戶。果然如此，通過一個更小的按鈕設計作替換，並將文案修改為「稍後（Later）」之後，改變發生了。
這一變化帶來了「軟牆（soft walls）」頁面——這些頁面會讓用戶完成註冊，同時也允許用戶繼續瀏覽，點擊「Later」按鈕後，稍後再註冊——此時，會打開一個新的頁面或者區域，讓用戶繼續體驗。「現在，我們有3個軟牆」，Gotthilf說，「最終，在幾個連續的引導流程之後，用戶會抵達硬牆（hard wall）頁面，在硬牆頁面，如果你想繼續使用產品，必須完成註冊才可以」。這裡有一個關鍵點：如果沒有這些軟牆，而只有硬牆，最終的數據表現會明顯更差。」
通過優化軟牆和硬牆來延遲註冊，這些細微的改變一起將DAU提升了8.2%。「第一個試驗是大約三年前開始的，現在我們的用戶基礎比之前更大。這一數字結果也已經是非常顯著的」。
經驗總結：對早期用戶的註冊決定進行測試，看數據是在使用產品之前更好，還是體驗產品之後更好。如果是使用產品之後更好，形成如下假設：在哪個時刻用戶將發現你的產品價值？在你的註冊轉化漏斗中對這一位置進行評估，並試著在其後設置一個軟牆頁面。（Gotthil 建議越早越好，因為每多一步操作，你都可能流失用戶。）然後，當用戶完成一些操作步驟之後，再設置另一個軟牆。最後，開始設置一個硬牆頁面，並分析每一個牆的流失情況。根據分析結果，將這些牆向前，或者向後移動位置。
將軟牆頁面想像成一副多米諾骨牌。當將它們準確排列時，只需要開始推動一下，就創造了一個導向註冊成功的時刻。
A/B試驗#2 ： Streak（連續勝利）
問題：與其他的App一樣，多鄰國也要激勵用戶形成一個有規律的行為，比如每天完成一個外語學習課程。事實上，除非有用戶規律的訪問，否則我們認為這個產品基本上是無用的。「我學習過四門外語，可以講五門外語。我的經驗之一就是，沒有人能夠僅僅依靠周末時間就能學好外語。」Gotthilf說，「我們需要讓用戶每一天都去學習外語。」
但是說起來容易，做起來難。「現在，我們可以在線通過MOOC課程，或者一些教育平台學習很多非常棒的東西，」Gotthilf說。「人們興奮無比的完成了註冊，然而這些服務的留存率慘不忍睹。因為讓用戶再次回訪是很難的事情」。
這就是為什麼多鄰國團隊要在教育領域之外尋找靈感：遊戲世界。「為了將多鄰國變成一個遊戲，我們發現了五個方法讓事情變得更好玩，」Gotthilf說。「我們在自己真正喜歡的遊戲中尋找案例，我們認為『如果能夠把他們轉換到多鄰國之中，應該會是什麼樣子呢？』」
對多鄰國來說，Streak改變了遊戲規則，這是記錄一個用戶連續多少天使用產品的功能，也是Gotthilf和她的團隊持續關注的度量單位。「這像是在一個電視遊戲中，你必須每天都要做點什麼，否則你會讓排名下降」，她說。
Streak獎勵——遊戲化——持續進行
試驗：Streak功能的出現是一個重要轉折，既改變了用戶與多鄰國的互動方式，也改變了Gotthilf與她的團隊如何對此做出響應。
一開始，用戶需要先對streak設置一個目標，因此，多鄰國團隊在註冊流程中增加了設置目標的步驟。「你來決定每天使用多鄰國多長時間，」 Gotthilf說，「如果你沒有達到你的目標，你將不能保持你的Streak記錄。這當然不只是每天打開App一下而已。」
相應地，這些目標帶給增長團隊一個全新的用戶通知方式。「現在，我們有了一個實際的理由讓用戶回來。並不是簡單的說『回來多鄰國吧，』這樣的信息既無聊又垃圾。」我們可以說，『你設置了一個目標。今天來達到你的目標吧。』或者『到了完成你每天功課的時間了。』這樣的提醒方式是很好的。因為，你可以站在幫助用戶達到他自己設定的目標的角度。」
他們有多種因素需要考慮，最開始嘗試的是用戶收到通知提示音的時間和頻度。時機很重要，既可以成功製造一個通知，也能毀掉一個通知。如果你因為沒有任何依據而隨便選擇了通知時間點，你很有可能錯過一個有效通知的機會，更糟的是，你可能惹惱你的用戶。「如果你在工作時，或者說，你即將上床睡覺的時候，收到了一個有趣的App通知，那麼你很可能會忽略它。」 Gotthilf說「每天有一些特定的時刻適合接收某些特定的通知，這取決於你的App是哪一種。」
當然，並沒有一個適合所有情況的時間點，多鄰國的用戶遍布全世界各個地方。他們對此做了一系列試驗，最終採用了23.5小時作為通知的時間間隔。「我們做了這樣一個假設，你正在使用我們App的時間就是一個好時機。所以，我們認為第二天的這個時間，同樣是你使用App的一個好時間。我們想要幫助用戶建立一個習慣，像刷牙一樣。」
需要測試的通知內容也準備就緒。「為了選擇最優文案，我們既有有趣的風格，也有命令的語氣。我們試著使用你將要學習的新單詞來提醒。我們試過用Duo（我們的貓頭鷹吉祥物）來提醒，並讓它可愛而且擬人化。我們嘗試在通知中給出一個你必須回答的小謎題。」順便說一下，獲勝的方案是最擬人化的版本—「你好，我是Duo」這個信息。
為了選擇最優化的文案，需要進行多次試驗比較，而且會花費大量時間來完成多種不同的方法，然而，這一切都是值得的。「像這樣的方式去優化相關的因素真的是有價值的，這些因素可以影響很大部分用戶」 Gotthilf說。
確實值得——勝出的版本帶來5%DAU提升
雖然帶來了增長，但streak被證明是一把雙刃劍。用戶對此投入很多精力，這導致失去一個streak是令人十分沮喪的，甚至會導致一些用戶完全退出使用。然而，面對這個計劃之外的結果，Gotthilf和她的團隊看到了更多的實驗空間。多鄰國發展出了一種內部貨幣——用戶通過完成課程來獲取該貨幣——因此，現在他們能夠用新的方式使用它。
「我們首先嘗試的貨幣是周末護身符，你只能在周五購買。當你在星期五完成一節課之後，我們會讓你看到它，如果你周六和周日不想繼續練習，這個護身符可以保護你的streak。」 Gotthilf說。「由於一些用戶對周末時間利用率極低，他們可能會因此降低streak，甚至再也不回來了。所以，這個功能在周末到來之前可以對他們進行提醒和保護，這樣便可以幫助他們學習。因為有時他們周末沒有來是想要放棄學習，而其他情況下，他們只是周末暫時休息一下而已。」
護身符功能取得了成功，7日留存率提升了2.1%，14日留存率提升了14%，然而試驗並沒有因此結束。對於A/B測試來說，試驗結果並不應該局限於單一的指標提升，而要看有沒有對其他競爭性指標造成下降。在這個例子中，多鄰國進行了一個試驗來判斷留存率的提升是否與收入指標相違背。
「雖然周末護身符提升了DAU數據，但是我們認為這可能對付費指標造成傷害，因為我們還有一個被叫做streak修復的功能，需要人們付費購買」，Gotthilf說。「於是我們開啟了一個試驗，發現DAU增長帶來的價值超過任何streak修復功能帶來的收入損失。將DAU的增長與收入指標和留存率放在一起進行比較，一直是必要的。」
經驗總結：大多數App都應該嘗試對用戶灌輸一種習慣。如果可以，一開始就讓你的用戶自己設置一個目標，比如寫作的頻次，睡覺的頻次，或者與朋友之間聯絡的頻次。換句話說，從一開始就幫助他們定義自己的產品使用預期。這樣會幫助你打開一扇大門，更加巧妙的通知用戶。同時，你還可以從他們最後使用產品時間的24小時內進行提醒。
最後，你會發現你需要開始一系列的試驗，每一個試驗之間又環環相扣。繼續進行這些衍生出來的試驗，它們可能將某個單項指標高度放大。但是要記住，在進行重大決策時，你不能只看一個指標數據而拋開自己的個人判斷。「在面臨決策時：當你發現對一個指標的妥協可以幫助另一個指標，比如在剛才周末護身符功能的例子中；或者涉及到道德決定和品牌認知的矛盾——你要繼續做一些試驗來收集數據，」Gotthilf說「但最終你會發現，有時你不得不去做一個超出數據之外的個人決定。」
A/B試驗#3：獎章
問題：雖然最初並沒有受到重視，但如今獎章功能已經成為Gotthilf最喜歡的項目之一。她本想要為此進行數年的測試，但是由於該項目需要昂貴的投資，所以她依然對項目回報持謹慎態度。但她的團隊擁護這個方案，後來也證明他們賭贏了。他們為什麼會有這樣的直覺？如果用戶因為有意義的成就獲得獎勵，他們會更頻繁的完成更多課程。
獎章功能取得了大規模的成功。僅僅因為獎章V1版本推出，他們就看到DAU增長了2.4%。」「用戶開始課程的會話數據增長了4.1%，用戶完成課程的會話數據增長了4.5%。」她說，「因此，用戶並非只是開始學習更多的課程，他們也會完成那些本來想要放棄的課程，因為他們想要獲得一個獎章。」
還有一些意料之外的增長。比如，多鄰國商店的物品購買率提高了13%。增加好友數據提升了116%。「人們突然開始這樣想，『我想要和朋友們競爭，看誰的獎章更多。』於是，他們開始添加好友，這些事情他們之前並不會去做。』現在，我們開始考慮社交與推薦功能，這對我們來說真的非常有價值，」Gotthilf說道。
現在看來，獎章功能取得了全面勝利。然而，你也許會感到驚訝，這個實驗曾經因為一次失敗的嘗試，而差一點沒有開始。「我們最開始想要嘗試通過獎章來鼓勵成就的功能是在一年前。我們想通過MVP（最小化可行產品）模式來測試，當用戶註冊成功後，我們給用戶一個『完成註冊』的獎章。」但這並沒有帶來任何影響，所以我們斃掉了這個方案。」
實驗之後我們進行了復盤，團隊成員完整的經歷了一遍該流程，直到這時，我們才發現一個註冊獎章並沒有捕捉到成就激勵的精髓。這裡有一些重要教訓：
- 註冊並不是一項帶有驕傲感的成就。
- 取得一個獎章沒有意義，重要的是有很多獎章。
- 人們想要看到的是他們收集到了很多個獎章。
A/B測試的一條核心原則：
有效實現一個想法的最簡方式，事實上可能並不是實現那個想法的最簡方法。「最小化（Minimum）」一詞來自「MVP」，但是「可行（viable）」才是其最核心因素。
試驗：在下一次試驗中，增長團隊鞏固了之前的經驗。「我們花時間設計了許多獎章，並且想要在App中為這些獎章選擇一個展示的地方。我們在思考多鄰國最有獎勵價值的部分是什麼，在哪裡用戶有最積極的感受。」
將過去的經驗放在一邊，現在依然是一個新實驗的V1版，增長團隊需要對實驗規模進行限制（他們已經推出了V2版本，這一版本帶來更多的複雜性，比如獎章等級）。對於重要的創新型實驗來說，突然被打斷是常有的事情。隨著團隊的熱情高漲，實驗規模在不斷擴大。「檯面上一共有70多個關於獎章實驗的方案。有些人想要建設二級、三級，四級等等的獎章等級。其他人想要創造一個系統，用戶能夠通過這個系統看到他們朋友的獎章，」Gotthilf說，「我不得不成為喊停的那個人，『這樣太過複雜，我們需要將規模縮小回去。』我們發現一個能夠讓我們保持在限制內的方法，那就是讓產品經理或者團隊負責人坐在實驗設計者的旁邊，一起完成設計。這是我們近期的一大進步，而且很重要。」
產品經理是非常關心指標數據的。他們明白你想要嘗試完成什麼，並且他們也知道設計者和工程師的時間預算。「當你將這些關鍵人物聚在一起時，他們可以坐下來，並且保持平級溝通。通常，交談的內容大致如下：『好的，這些我們可以完成，除了……。那些我們可以完成，除非……。』」
這是一個對等協商的過程，而不是一系列自上而下的命令。「我發現這是讓事情完成並且保持人們積极參与的最有效的方法。這樣可以帶給你想要的最佳結果，當你將讓人們聚在一起時，他們可以得出你希望的結論。而且，更好的一點是，這是他們討論出來的想法，他們會為此而戰鬥。儘管這個想法與你的類似。」
經驗總結：
成功的試驗需要平衡：最小化可行性產品既不是一次試水，也不是全部投入：這既不能將一個想法粗略的繪製出來，也不能將其最完整的實現。在多鄰國的獎章實驗中，由於第一次實驗帶來的希望與熱情，團隊開始嘗試大規模的二次進攻，因此在設計實驗的早期，將產品經理或者團隊負責人與設計者配對工作。兩個功能互相平衡，能夠幫助團隊將狂熱的熱情與實際的執行維持在正確的水平。如果實驗失敗，要繼續將注意力放在失敗的原因上，對實驗進行復盤。因為，下一個成功實驗的立足之處都在這裡。
A/B試驗#4：App 內置教練
問題：有時，靈感來自於外部資源。團隊里有些人一直在閱讀行為心理學著作，這些著作表明對人們有能力提高技能進行鼓勵，獲得的效果遠遠強於對他們的天賦進行表揚。
「將這一理念運用到教育孩子身上，你應該對他說『你在考試中做的很好，因為你學習非常努力』，而不是『你考試非常好，因為你是個天才』」Gotthilf說。增長團隊決定追尋這一理念，然而難點在於如何對用戶進行激勵，他們決定在App內創造一個可以鼓勵大家的教練角色。
試驗：多（Duo）是多鄰國的貓頭鷹吉祥物，現在它又擁有了教練的雙重身份。「有時，你可能正在學習一個非常難學的外語。比如，我剛開始學習日語的時候，會犯很多的錯誤，」Gotthilf說。「當你犯了許多錯誤的時候，你感覺糟糕透了。你感到你很失敗。你傾向於放棄學習。因此，我們讓這個友好的角色及時出現，並且告訴你『即使你在犯錯誤，你也是正處於學習的過程之中。』」
當用戶做的很棒的時候，他也會出現。「我們用『哇，你真是太棒了！』的感情鼓勵文案與成長心態文案做了比較。兩者都有好的效果，但是總的來說，成長心態文案更好。所以，我們最終採納如下信息：『哇哦，你的努力值得真正的回報。』」
多（Duo）教練的鼓勵措施在團隊中多少有些爭議。「有些人不喜歡他，並且感到很厭煩，」Gotthilf說。一如既往，數據結果替他們說話：他們看到了14天活躍度提升了7.2%。「所以，因為在課程中增加了這個外語貓頭鷹鼓勵師，14天之後，他們獲得了額外7.2%的用戶再次回到多鄰國。這讓人感到異常驚訝。所以，我將保留這一教練。」
經驗總結：有時，你需要將你的個人口味先放到一邊，尤其是你自己的假設性觀點。在本案例中，App的內置教練做的非常幫，幾乎達到了與長期激勵的獎章項目一樣有效的結果。「其他時候，你可能真的對一個想法非常有熱情，並且認為它會改變世界。那麼，你用A/B試驗去驗證你的想法，你要知道如果你認為一件事情會發生，但實際上並沒有發生，那麼就繼續前進。」
測試原則
這裡分享的僅僅是Gotthilf團隊進行過的70多種類型試驗的4種。在多年職業生涯之中，一些寶貴的原則一直對Gotthilf很有幫助：無論是每次試驗需要6行代碼，還是單次試驗需要進行六個星期爭分奪秒的緊張推進。
做好優先順序排序，快速推進，並且持續進行
如果你認為有無數個試驗要去進行，那麼你是對的。這也是你最需要限制自己的時刻。「這是A/B測試最困難的部分，」Gotthilf說。「每個人對於我們應該做哪個試驗都有著不同的看法，所以設定優先順序對於我們團隊節省時間和減少悲傷是真的非常關鍵。」
然而，他們不會在頭腦風暴的階段就校對想法。任何一個有關試驗的想法，無論在公司的什麼地方提出的，都會被記錄到JIRA系統中的Master列表。「我們的清單中有著數量龐大的各種想法。其中大概有75%都是廢話，」Gotthilf說。「但是任何時候，有人進入會議室，有一次有啟迪的對話，或者我們開始進行一次頭腦風暴會議，我們會持續將這些想法加入到列表中。」
然後，大約按照每個季度兩次的頻度（「並不是非常頻繁！」），Gotthilf 與她的團隊會梳理一下這個列表，為新的試驗尋找養料。當一個試驗被選定時，他們會使用每個市場工作者都會使用的工具：ROI。僅需要搞清楚兩個問題，你就能猜測出任何試驗的回報率：
1. 這次試驗帶來的改變會影響多少人？
換句話說，這次改變會發生在轉化漏斗的什麼位置？比如在多鄰國的例子中，註冊頁面的改變會比某個更深層的外語課程頁面的改變影響的人更多，因為有更多的用戶會訪問註冊頁。他們同時也會考慮到哪些語言的用戶、哪些操作系統的用戶會被影響。
「考慮到這些領域，你會大概知道這次改變會影響多少人。接著你要問自己，『如果試驗是成功的，我們會提升目標轉化人數幾個百分點？』」Gotthilf說。「我們的指導原則是至少1個百分點。如果一次改變可以提升至少1個百分點的轉化人數，我們則考慮上線新的版本。否則不會。」
當然，多鄰國是一個發展成熟的產品，有200多萬的用戶分布在世界各地，它的1%與某個早期初創產品的1%不可等價相比。Gotthilf很少去以純粹硬性數字指標作為參考，但是她的經驗告訴她最小的硬性數字是100,000用戶。
「統計性顯著的結果是關鍵。粗略來看，為了統計顯著，你應該至少有10W DAU來進行A/B測試。」
只要達到統計顯著性之後，她所關心的全部問題就是百分比數字。「對於新App來說，你應該在相應規模下專註於通過A/B測試帶來20%-30%的指標提升，」Gotthilf說。隨著時間，這個數字會變化，你會注意到即便是你最成功的試驗提升率也只有20%、接下來是15%，10%。這樣子是沒問題的；隨著產品的發展，你也需要調整你的基準目標。「設定一個基準線是要點，這可以讓你避免不加選擇就推出任何新版本。」
這不是一個精確的科學。你需要決定什麼指標能夠最好的衡量成功（多鄰國的指標是日活用戶數DAU），並且學會你自己的使用模式。「隨著你不斷檢查轉化漏斗中的每個階段，你會開始有一些感覺：你正在面對多少用戶，哪裡可能會產生流失。你也會學習某些行業基準，並且發展自己的直覺經驗。」
2. A/B試驗需要投入多長時間？
接下來，你需要評估你自己的團隊需要投入多少時間，以及你需要哪些資源來落地一個試驗。你是否認為，第二個試驗比第一個減少一半的工程投入，兩個試驗會得相同回報？那好，這很可能就是你的制勝點。
改進並且不斷重複
「每一個大試驗都會擠出很多果汁」Gotthilf說。在多鄰國考慮增加額外的成就獎章時：增加額外獎章導致DAU大幅下滑，於是增長團隊將注意力放在將獎章功能做的更好上。「現在我們可以說：哪些額外獎章是我們想要的？它們會如何與多鄰國的其他部分相互影響？這為我們打開了一扇大門，有更多的試驗和方法來度量用戶行為。」
人們總是激動於一些「大的想法」，一次產品外觀的翻新或者某個顛覆性的功能可以為公司的核心指標帶來火箭增長。然而現實並非如此，只有將那些更小的，甚至無法察覺的想法合併在一起，改變才會真正發生。
「你不得不控制大家進行無聊的微迭代工作，這樣可能會獲得1-2個百分點的指標提升，」Gotthilf說。「與此同時，為了達到你的目標，既需要階段的跳躍增長，也需要持續的長期增長。關鍵點在於你需要有一個廣泛的實驗組合，這裡既有風險大、回報大的賭注，也有很多萬無一失的小賭注。」
如何磨練A/B測試策略保持自己的前進方向？
克制。在一次試驗中，想要執行所有可能的想法是再正常不過的。「你可以對首頁設計一個有70個版本的試驗，並且運行。但是當你這麼做的時候，你很難得到統計學的顯著結果，而且容易在分析時候犯錯，」Gotthilf說。「因此，每個實驗不要超過3個版本：一個原始版本，兩個實驗版本。如果我們認識到自己想要一些其他的東西，我們會在這次實驗結束之後再進行。」
立場堅定。有些試驗是不應該進行的。並非這些試驗不成功，而是說它們的成功需要你捨棄公司的原則或者犧牲品牌來滿足。「在多鄰國，實驗設計是神聖的。我召回了一次App註冊頁面的實驗方案。勝出的版本有一個帶著笑容的卡通女孩。問題是，這個角色我們在公司任何地方都沒有見過，我們的市場團隊從設計團隊中獲悉這是一個沒有商標的品牌」Gotthilf說，這種情況在之前公司的正式審核流程之中從沒有出現過。「最後，我們放棄使用這個卡通形象，但是仍然繼續進行其他試驗來達到設計的要求標準，並且獲得了同樣數量的用戶。我要承認，花費更多時間在這類設計問題上是令人沮喪的，然而保持原則在一個實驗驅動組織中是重要的。」
我們一次會同時進行5-8個實驗，但是在公司的其他地方我們會同時開始20，30或者80個試驗。對於每個試驗來說，很容易不知不覺的犯下類似的小錯誤。但是，你必須要堅持有些原則是不能妥協的。
整合在一起
A/B測試的價值我們眾所周知。為了獲得優勢，最好的科技公司一直在持續不斷的對他們產品的方方面面進行試驗。當有人提到想要進行A/B測試時，不需要任何遲疑。在註冊前，依次按照順序設置軟牆頁面和硬牆頁面的實驗。給用戶提供額外的機會保持使用習慣——無論是通過遊戲化的streaks ，或者是通過用戶自己設置目標的提醒。在進行試驗時，小心使用MVP方式帶來的失敗，因為其中的「M（最小化）」是通過一部分「V（可行性）」的損失而達成的。擁抱行為心理學，掌握成長心態如何激勵用戶的信息。這些要領與 Gotthilf辛苦獲得的原則一起，能夠幫助任何增長負責人在試驗之路一往無前。
「我們幾乎用A/B測試來測試任何事情，並聚焦於產生結果的那些試驗。沒有結果的，則忽略。這是一種非常直接的看待事情的方式。作為依賴經驗、個人主義，身份背景來做決策的替代，我們通過數據進行大量決策，」Gotthilf說。「但是，這裡有一個重大例外。即便你是A/B測試的狂熱粉絲，有一件事情也會超越數據的指引：使命。我們的願景是將免費的外語教育帶向全世界。我們為此是非常嚴肅的，並且為此每天都在進行試驗。有一些想法我們永遠不會嘗試，比如設立付費課程，這與我們的信念背道而馳。但是任何其他符合使命的事情，我們都會嘗試。這是我們抵達終點的最好賭注。」
如果您想體驗中國最好的A/B測試服務，可隨時與我聯繫~
推薦閱讀：