狗熊會精品案例 | 基於生存分析的新產品在架時長研究

原創 狗熊會 CluBear 靜靜

在眾多的統計分析方法中，生存回歸分析彷彿一直都披著一層神秘的面紗，該方法起初用於醫學領域，例如分析癌症病人的存活概率。近年來，生存回歸分析被廣泛應用到諸如市場營銷、人力資源等管理學領域。例如它可以幫助企業人事人員分析員工的離職情況，在客戶關係管理中分析影響客戶流失的因素等等。

生存分析數據的一個最大特點就是截斷，即在某個觀測期內，有的個體可以觀測到確切的「死亡」時間，而有的個體則觀測不到（觀測期末仍然存活）。在管理學領域，有很多有趣的問題適合用生存回歸分析，本案例就以某超市在售的全品類洗髮水數據為例，研究新產品在架時長的影響因素。

不知道狗熊會的各位熊粉是否有這樣的經歷，明明上周去超市看到的某個牌子的產品，這周再去買，發現就從貨架消失了，或者很長時間不去超市，再一去發現貨架擺放的產品會大變樣。說起超市中貨架產品的擺放可是一門大學問，筆者並不是這方面的專家，不敢班門弄斧，但是有一個問題筆者一直很好奇，就是超市的貨架空間有限，對於新上架的產品，他的在架時間會受到哪些因素的影響？合理安排每種產品的在架時間不僅可以有效利用貨架空間，而且可以極大的促進超市的整體銷售。

本案例所用數據來自國內某大型連鎖超市所有在售的洗髮水數據，共記錄了從2010年7月到2013年12月29295條觀測。我們對該數據進行了一定的脫敏處理。原始數據是一個非常典型的記錄數據，所以在進行生存分析之前，我們面臨的第一個挑戰就是如何從記錄數據到生存分析數據的轉換。

本案例我們要研究的是新產品的在架時長，那麼如何定義新產品呢？為此我們可以人為的將2010年7、8、9三個月作為新產品識別期，這三個月在售的洗髮水並不是我們的研究對象，所以可以看到，根據本案例的研究問題，我們的觀測時間段並不是從2010年7月開始，而是從2010年10月開始。當數據清理成適合做生存分析的結構後，我們接下來面臨的第二個挑戰是如何尋找有解釋力的因素去解釋新產品的在架時長？由於原始數據中只提供了銷量、銷售額和銷售成本這三個指標，所以我們要發揮自己的聰明才智，看看還可以衍生出哪些可能的指標？

這裡舉個例子，一條產品名稱可以告訴我們什麼？可以告訴我們洗髮水的品牌、規格、功能等等，每一個都可以分離出來作為一個解釋變數。此外，對於新產品來說，上架前期的表現往往決定該產品未來在架時間的長短，因此我們還可以考慮上架前期（比如前三個月）的平均銷量等指標，這就構成了我們的衍生數據。當然除了這些指標還有很多其他指標可以解釋產品在架時長，只不過目前的數據暫時還無法獲取這些。

以上就是本案例的數據說明。接下來我們希望估計一下生存函數曲線。從結果中可以看到有超過40%的產品在架時間都在30個月以上，接下來我們選取幾個自變數來進行分組的描述性分析。

首先來看一下洗髮水的功能，從圖中可以看到焗油功能的洗髮水的生存概率較其他三種功能洗髮水的生存概率要大（生存曲線越靠上說明生存概率越大）。

接下來我們再來看一看不同公司之間洗髮水的生存概率是否有差異，從圖中可以看到Unilever公司的洗髮水生存概率要低於其餘兩個公司（更為詳細的描述性分析可以點擊閱讀原文）。最後我們採用加速死亡模型和Cox等比例風險模型來對數據建模。結果如下：

其中加速死亡模型假設為Weibull分布，從兩個模型估計的結果來看只有所屬公司這個變數是顯著的，Cox模型是對「風險」進行建模，所以細心的讀者會發現Cox模型係數估計的方向和加速死亡模型係數估計的方向是完全相反的，以所屬公司這個變數為例，在加速死亡模型中，解讀為：相對於【其他】公司的洗髮水，Unilever公司的洗髮水生存時間更短；在Cox模型中的解讀為：相比於【其他】公司的洗髮水，Unilever洗髮水的生存風險較高（換言之，生存時間較短，與加速死亡模型的解讀一致）。

最後想說的是本案例具有一定的研究局限性，本案例中的截斷數據較多（約為64%），導致生存函數置信區間的上限無法估計，因此未來的改進方向可以是：1、擴大觀測時間段；2、考慮邏輯回歸。具有解釋力的自變數個數太少（只有所屬公司），有可能是對自變數的定義過於粗糙，比如【功能】這個變數目前只分離了四個，可以考慮更加細緻的劃分；除此之外連續型變數也可以考慮前三個月平均利潤、成本等。

更多精彩敬請關注「狗熊會」公眾號！

狗熊會簡介：

致力於數據產業的高端智庫。狗熊會幫助合作夥伴制定數據戰略，培養數據人才，研究數據業務，發現數據價值，推動產業進步！

狗熊會使命：

聚數據英才，助產業振興！

狗熊會關注數據科學基礎教育，希望通過生產優質的數據科學教育內容，提供卓越的研究、實踐、就業機會，幫助相關專業 的老師、同學、從業者充分享受數據分析的快樂，促進個人職業的終身幸福與成長。