知乎Live整理稿:通過數據分析驅動用戶增長
本文是作者撰寫的知乎Live整理稿,主要和大家分享一下如何通過數據分析驅動用戶增長。
根據經驗以如下幾個問題展開:
- 互聯網用戶增長特點
- 數據分析在其中的作用
- 實驗對產品開發的作用
- A/B 測試的作用和難點
- 數據驅動用戶增長的局限性
- 彩蛋:以知乎為例,一些數據分析的機會
下面就是全文字分享:
行業特點
說到互聯網產品的用戶增長,可能大家都有所耳聞。與傳統行業相比,互聯網相關的產品有幾個不一樣的特點。
一是由于網絡效應,由于互聯網相關產品更容易擴展,更有可能出現爆炸性增長的局面。
二是互聯網行業更容易出現贏者通吃的局面,比如優酷和土豆的合并,攜程和去哪的合并,立馬形成行業壟斷。
三是在行業發展前期一旦有一個好的產品領先,后來者就很難翻盤了,所以互聯網行業會出現前期大量燒錢搶占市場和用戶的局面,比如 Uber 是一個特別典型的例子。
Retention / 用戶留存
對用戶增長來說,什么是最重要的呢?有人說是用戶最重要,有人說是 Acquisition 也就是新用戶獲取最重要。在 Facebook 內部來說,以及很多熱門 Startup 來說,最重要的是 retention,也就是用戶留存。這也是為什么十幾年前,Facebook 剛創立的時候,大家通常用的指標都是注冊用戶。Mark Zuckerberg 從一開始就很明確,注冊用戶并不是最重要的,最重要的應該是活躍用戶。
用戶留存曲線
好的產品和不好的產品用戶留存是什么樣子的呢?有這里就需要提到一個概念 J 曲線。
如下圖所示,橫軸是從注冊開始到現在的天數,縱軸是活躍用戶的比例。這里用的例子是月活用戶,也就是說如果過去一個月之內你用過這個產品,那么你就算是一個 active user。很顯然,注冊開始第一天,大家都是月活,第二天第三天直到30天都是如此,從第31天開始,有一部分人不是月活了,因為他們只在第一天用了,之后就再也沒用過,以此類推第32天33天等等。
一個好的產品,應該是像黑色曲線這樣,隨著時間的推移會有下降,但是到一定程度之后會趨于跟 x 軸平行。如果你看到一條紅線這樣的用戶留存曲線,那就你就需要好好研究一下你的產品了,因為這意味著隨著時間的推移,所有注冊用戶都會放棄你的產品。那么即使你把全世界的人都抓來注冊了,終究月活用戶數也會變成0。
用戶留存 vs. 新產品
推出新產品的時候,用戶留存曲線是非常重要的,以確保有一個足夠好的產品,接下來才是把這個產品推向更多用戶的時候。其它互聯網公司比如 Airbnb 也有類似的策略。當然不同的產品,關注的指標很有可能是不一樣的。比如說微信,假如你看月活的話,那可能意義就不是很大了。一個月用一次微信的用戶,說有不了什么問題,更應該關注的可能是日活,或者發了多少條信息這種。那么對于 Airbnb 來說,月活則是一個比較適用的指標,其它比如每個月有多少房間預訂之類,也是應該關注的指標。
神奇時刻 — magic moment / Ahhhaa moment
假設現在你有一個很好的產品,用戶注冊之后過一了段時間也還是有很多人留下來繼續使用。那么接下來怎么做用戶增長?
很多社交網絡產品都提到一個概念叫 magic moment,直譯過來的話就是神奇時刻。什么算 magic moment 呢?比如對于 Facebook 來說,你注冊之后,在上面看到你現實生活中認識的好友,看到他們的照片,狀態等等。這個時候對新用戶來說,心里想的是啊!原來 Facebook 是干這個用的。比如對于知乎來說,可能是在答了一個題之后,看到小紅點顯示有人點贊,或者是感謝,或者是關注等等。同樣,對于LinkedIn,Twitter,微信,微博也是類似,新用戶或者是找到他們想要聯系的好友,或者是找到他們想要粉的人,這一時刻讓用戶有繼續使用下去的動力。
例子 — 用戶留存率 vs. 好友數
對于很多社交網絡產品 比如說 LinkedIn 來說,一個很簡單便是很有效的分析方法,就是看用戶留存率跟好友數的關系。當你的好友數低于某一個值的時候,用戶留存率會非常的低。當好友數量達到一定數量的時候,再增加好友數對留存率的影響就很小了。那么確定下來這個值之后,工程師們要做的就是以這個為目標進行各種產品改進、優化、新產品開發等等。
有人可能會問了,這里面有個很顯然的問題,就是你只能說明這是相關性,而不是因果性。但是最終解決辦法其實很簡單,不管 Facebook 也好,微信也好,如果你沒有好友的話,肯定是沒有人會繼續用的。所以這里面肯定有因果性在里面。同時肯定也有相關性,很大程度上二者肯定是相互影響的,通常來說好友越多,更有使用產品的動力。產品使用的更好,好友也更多。
A/B 測試
上面一段提到在設定某一個目標之后,工程師們接下來就要通過各種產品改進、優化、新產品開發等,互聯網公司基本上都是通過 A/B 測試來確定是否發布產品,是公司產品開發非常重要的一環。在灣區這邊有一個 meetup 小組就是專門講 A/B 測試的,像 Uber, LinkedIn, Netflix 等等都在這個小組介紹過各個公司是怎么做 A/B 測試的。
接下來就以 Airbnb 為例子來說明 A/B 測試為什么重要,如何做 A/B 測試,以及中間可能遇到的問題。
例子來源:http://nerds.airbnb.com/experiments-at-airbnb/
為什么要做實驗
實驗是最有效的證明因果關系而非相關性的工具。以 NBA 為例,數據顯示,當科比出手10-19次時,湖人的勝率是71.5%;當科比出手20-29次時,湖人的勝率驟降到60.8%;而當科比出手30次或者更多時,湖人的勝率只有41.7%。
根據這組數據,為了贏球,科比應該少出手?并不一定如此。有可能科比出手少的時候是因為隊友狀態好,并不需要他出手太多。也有可能是因為球隊早早領先,垃圾時間太多。而出手太多的比賽是因為比賽艱難或者隊友狀態不好,需要他挺身而出。當然,以上也只是可能之一,具體是什么情況光靠這組數據并不能得出任何結論。
A/B 測試的用處
對 Airbnb 來說,很多時候一個新產品的發布,是很難說明結果到底是新產品的呢,還是別的因素。
如下圖所示,紅色部分是新產品發布和撤回的時間段,這期間的變化到底是因為產品呢,還是別的因素?有可能用戶受到時間的影響,比如周中和周末的區別,是否假期,天氣等等。對于 Airbnb 這種旅行相關的公司來說,這些外在影響尤其大。通過實驗則可以把產品的影響跟別的外在因素的影響區分開,產品做一個小的改變,跟對照組進行對比,這就是 A/B 測試。
實驗需要跑多久?
A/B 測試的老大難問題:實驗跑多久最合適?結束太早可能產品的真正效果還沒有足夠時間體現出來,實驗拖太長會影響產品迭代改進的效率,這對諸如 Airbnb 這樣的初創公司還是 Facebook 這樣講究 move fast 的公司來說,都是很麻煩的事情。
例子 — 搜索價格范圍
Airbnb 曾經測試過把價格選擇范圍從最高的$300改成$1000。一周之后,根據下圖的紅線顯示,實驗效果顯著 (p<0.05),也就是說改成$1000之后預訂會增加。但是事實上實驗繼續進行下去的話,你就發現這個改變其實是沒有效果的,最終也沒有統計顯著 (p>0.05)。
不過雖然這個測試的結果是中性的,考慮到有一部分用戶的確需有查找高端房源的需要,Airbnb 還是決定把最高搜索價格從$300改成了$1000。那么到底實驗應該進行多久呢?通過各種復雜的統計分析,Airbnb 總結出了一套動態決定邊界(Dynamic decision boundary),綜合考慮p值和實驗進行的天數。
全面理解實驗結果
通常來說,選定一個或幾個指標(metrics)來分析實驗結果,以免主觀挑選實驗結果(cherry picking)。但是僅僅看一個指標也是不行的,很容易就錯過全局,一葉瞕目。比如 Airbnb 做過一個非常大的改動,在用戶搜索的結果顯示里,更加強調房源的照片和在地圖上顯示的地點。項目非常大,大家都認為結果會很好,用戶調研顯示也是如此。
盡管如此,Airbnb 還是決定如常做一下 A/B 測試,然后發現了問題:結果基本是中性的。幸好 Airbnb 的數據科學家們并沒有就此結束,相反,他們看了看不同的方面,包括在不同瀏覽器的效果,發現 IE 是最大問題所在。很快進一步發現,新產品在某些老版本的 IE 上會有 bug,以至于預訂率了超過3%。修復了在 IE 上的 bug之后,立馬預訂率就變成提高超過2%,與其它瀏覽器上效果類似了。這是一個非常典型的例子。很多時候看到中性的實驗效果,不妨根據不同的維度進行細分,比如瀏覽器、同家、用戶類型等等。
問題: Twitter 2015 年用戶增長為 11%,這是否存在增長的危機?為什么?
結果 too good to be true
不管是自己打造的 A/B 測試系統,還是使用第三方的系統,都是有可能出問題的。
如果默認系統都是有效的話,有時候麻煩就來了。有時候可能是使用過程中出了問題,有時候可能是系統本身的問題。最簡單的辦法是跑個 A/A 測試,也就是實驗組和對照組都是一樣的產品,然后看系統結果怎么說。
Airbnb 做過一系列 A/A 測試,發現在實驗組和對照組的用戶數量基本一致的時候,系統是正常工作的,顯示中性的結果。但是當對照組的用戶遠超實驗組(75% vs. 25%)的時候,結果顯示高達-15%的偏差。最后發現原因在于對用戶的追蹤問題,很大一部分用戶沒有正常的記錄到實驗組里去。未必每一個公司都會碰到完全一樣的問題,不過適當的進行 A/A 測試,確保系統正常工作是非常重要的。
據驅動用戶增長的前提
首先需要有一個好的產品。其次在創業初期,所有人都需要有這個概念。最后需要要 infrastructure 的支持,諸如 logging,dashboard,A/B 測試系統等的建立。例如:Uber 的 A/B 測試系統
作者:鄒昕,07 年從清華生物系本科畢業,之后又學了五年生物,之后轉行念了數據分析專業的碩士,畢業之后在 Discover 做信用卡風險控制,包括模型和數據分析方面的工作,今年年初跳槽到 Facebook 做數據分析。
來源:http://www.36dsj.com/archives/55758
本文來源于人人都是產品經理合作媒體@36大數據,作者@鄒昕
- 目前還沒評論,等你發揮!