日本免费最新高清不卡视频,欧洲av无码放荡人妇网站

搜索

APP

起點課堂會員權益

職業(yè)體系課特權

線下行業(yè)大會特權

個人IP打造特權

30+門專項技能課

1300+專題課程

12場職場軟技能直播

12場求職輔導直播

12場專業(yè)技能直播

會員專屬社群

榮耀標識

發(fā)布

注冊 | 登錄

互聯(lián)網(wǎng)未來方向：數(shù)據(jù)驅動產品運營創(chuàng)新

人人都是產品經(jīng)理

2018-11-19

2 評論 7529 瀏覽 82 收藏

25 分鐘

10月27、28日，由人人都是產品經(jīng)理重磅打造的「2018中國運營增長大會 · 北京站」完美落幕。來自吆喝科技聯(lián)合創(chuàng)始人&COO 張毅飛老師，他帶來的分享是《數(shù)據(jù)驅動產品運營創(chuàng)新》的精彩內容，本文為現(xiàn)場總結。

分享嘉賓：吆喝科技聯(lián)合創(chuàng)始人&COO @張毅飛老師

本文為現(xiàn)場分享總結整理內容，由人人都是產品經(jīng)理媒體部@Hatter 整理，編輯有修改，以下為正文：

一、數(shù)據(jù)的價值：A/B測試驗證

1. 數(shù)據(jù)帶來的價值

貝利波斯沃斯說：

從現(xiàn)在開始的十年以內，當我們回顧大數(shù)據(jù)的時代是如何發(fā)展的時候，我們會震驚于以往做出決策時候信息的匱乏。

從兩個層面來解讀這句話：

第一，數(shù)據(jù)爆炸。實際上從2000年人類正式進入互聯(lián)網(wǎng)時代以后，每一年產生的數(shù)據(jù)都是以前所有年份產生數(shù)據(jù)的總和，這是個數(shù)據(jù)爆炸的時代。

第二，無數(shù)據(jù)不決策。數(shù)據(jù)正在改變眾多的行業(yè)。

1682年，一位天文學家觀測到了一顆巨大的彗星。根據(jù)歷史數(shù)據(jù)記載，在1531和1607年這棵樹都有過類似的天文的現(xiàn)象。于是他分析數(shù)據(jù)做數(shù)據(jù)挖掘，發(fā)現(xiàn)并預言76年以后，這顆彗星還會出現(xiàn)。

這顆彗星就是哈雷彗星，一個用數(shù)據(jù)發(fā)現(xiàn)的特別的天體。

另一個行業(yè)是醫(yī)療產業(yè)——醫(yī)療產業(yè)最早使用臨床AB測試來判定新藥藥效，而科學性是現(xiàn)代醫(yī)學的基礎（現(xiàn)代的醫(yī)學，科學性和數(shù)據(jù)是基礎，所以臨床三期藥檢都是依靠A/B測試來驗證和實現(xiàn)的）。

將100位患者分為A組B組（注意患者自己并不知道自己被分組），A組患者將會得到試驗新藥，B組患者將會得到長的和新藥幾乎一模一樣的安慰劑，試驗結果以患者康復狀況的數(shù)據(jù)為形式和目標。通過對比試驗的結論來看這個藥品是不是真的能夠幫助患者，是不是真的能對癥狀有效果；以決策數(shù)據(jù)的決定來看這個藥品是不是真的能夠上市，是不是真的能夠通過藥檢。

所以現(xiàn)代醫(yī)學的發(fā)展是絕對離不開數(shù)據(jù)，也絕對離不開AB測試。

2. 互聯(lián)網(wǎng)流量發(fā)展趨勢

數(shù)據(jù)是怎么樣改變互聯(lián)網(wǎng)行業(yè)的？

圖一

2005至2015年這十年，流量成本變化的曲線漲幅跟房價差不多一致的：流量的獲取越來越難，流量的成本也越來越高，而且這個趨勢不可逆。

這還不是最痛苦的，最痛苦的是應用和分發(fā)的趨勢。

現(xiàn)在在M studio大概有超過100萬款的應用，其中 Top 1000 只占大概0.1%，但已經(jīng)占所有APP下載量的55%，其余的99.9%的應用，占剩下的45%。

——運營和產品也越來越難了，因為巨量的APP的時間黑洞，這個效應越來越強。

圖二是16年的數(shù)據(jù)。一些高頻次的巨型APP，比如微信、抖音、今日頭條，它們大概占據(jù)了用戶使用時長的80%以上，而且沒有緩解的跡象。

圖二

二、產品運營的方向：向數(shù)據(jù)驅動創(chuàng)新轉型

當互聯(lián)網(wǎng)紅利消失以后，這個趨勢是不可逆轉的；也就是說我們從市場需求驅動，一定要向數(shù)據(jù)驅動創(chuàng)新轉型。

1. A/B測試的驅動創(chuàng)新

圖三

圖三是Airbnb的創(chuàng)始人早期給一線產品經(jīng)理展示的一張圖。紅色的區(qū)域Airbnb是上線了一個新的產品功能后核心數(shù)據(jù)的變化。

當新功能上線，產品迭代做完之后，產品的數(shù)據(jù)是波動的，再加上運營活動的影響，上線的新功能是不是真的有效很難衡量。

Airbnb也有同樣的問題，所以創(chuàng)始人問了產品團隊三個問題：

第一個問題，這個功能是不是真的有用？如果沒用，對于我們的核心數(shù)據(jù)沒有正向的影響，我們浪費時間做它干什么？

第二個問題，如果功能上線之后幫我們增加了營收，提升了訂房率和GMV，那么我們核心的產品團隊是不是因此應該受到獎勵？

第三個問題，如果新的功能上線之后，反倒讓我們的訂單下降了，我們難道要背著損失幾千萬美元的風險嗎？

這三個問題怎么來解決的？通過A/B測試不斷迭代優(yōu)化來解決。

重要頁面的修改和流程上的調優(yōu)，通過灰度發(fā)布到1%或者5%的用戶，看其實際對用戶的數(shù)據(jù)造成了什么樣的影響：是訪問時間增加，還是留存提高？下單率提升還是降低？以此來決定新功能是被廢棄或者是做修改——是要放給百分之百的用戶，還是被回滾？

圖四

圖四中第一個界面就是其中一個例子。

所有的產品在下載之后的激活和注冊界面流失率是最高的，一般來講都會在50%以上——當然也有可能更高。當有加亮的時候，界面的優(yōu)化非常重要，可以有效降低我們的C端用戶獲取成本。

第一個和第二個界面是拿第三方登錄Facebook和Google賬號來調整登錄順序，看轉化率是否有提升。第三張圖是他們在西班牙地區(qū)做了這樣一個嘗試：先展示用戶房源，之后看是不是會提升用戶注冊率。比如說類似這樣的測試項，“重視房間的照片”、“周末推薦的房間”等產品功能，都是通過這樣的試驗發(fā)現(xiàn)成功創(chuàng)新。

這是通過AB測試，由數(shù)據(jù)來驅動的產品運營的創(chuàng)新。

A/B測試本質上是個分離式組間試驗，屬于預測型結論，與“后驗”的歸納性結論差別巨大。目的在于通過科學的試驗設計、采樣樣本代表性、流量分割與小流量測試等方式來獲得具有代表性的試驗結論，并確信該結論在推廣到全部流量可信。

——最后一句話最重要，就是必須確信這個結論，確信全部流量是可信的。

假如說Airbnb的實驗的流量是5%，怎么知道5%的流量得到的實驗結論在100%的時候依然是有效的？

利用以下三種方法：

第一種方法，比如說，這個星期上線一個版本的產品，下個星期上線另外一個產品或者說不上廢棄，看一下這個星期和下個星期的數(shù)據(jù)的變化，由此來決定這個產品功能是不是真的有效？
第二個方法，比如說通過這樣一個測試，投放上一個安卓的小渠道，然后看一下小渠道的數(shù)據(jù)轉化是不是達到要求？
第三個方法就是開發(fā)能力比較強之后，比如說把用戶分組打標簽，0123456，把零的用戶分一組，一的用戶分一組，二的用戶分一組，看一下數(shù)據(jù)的變化比較大小，看看哪一個用戶組表現(xiàn)得更好從而得出決定。

這些方法都是按照AB測試的定義來看，都是偽AB測試，為什么？因為它的采樣既不具有代表性，實驗設計也不科學，流量分割和小流量的測試都不對。

這個結論推廣到全部用戶，有可能獲得的結果是完全顛倒的。

2. 為什么A/B測試可以驅動創(chuàng)新？

?小流量測試新版本，極大降低試錯風險，降低迭代成本；
?多方案同時在線試驗，最快找出最好方案；
?從試驗中獲得最優(yōu)產品經(jīng)驗，極大促進產品升級。

再來看一個海外的例子：Google。

Google是互聯(lián)網(wǎng)企業(yè)中第一個把AB測試應用在實際的產品優(yōu)化迭代中的，起源于2000年他們做過的一個項目。

那時Google團隊內部有個爭議：搜索結果首頁應該展示幾個結果？5個，10個，15個，還是20個？這樣的單變量多版本實驗最后失敗了，原因是實驗的數(shù)據(jù)不科學，沒法說服決策人……

這個結論沒有辦法得到，也沒辦法上線。

Google因此花了很多年的時間，成立了專門的團隊打磨自己的試驗系統(tǒng)，優(yōu)化了自己的產品迭代優(yōu)化流程，就有了下面這樣一個案例——“圖片廣告”試驗項目。

Sales和PM發(fā)現(xiàn)Pinterest的圖片廣告特別受歡迎（ Pinterest 是一個圖片社交的一個軟件），于是他們提出假設：“推出圖片廣告產品，會增加廣告主投放預算，提升廣告點擊率和總營收”。如果搜索結果是圖片廣告，是不是可以增加廣告主的投放？從而是不是可以提升廣告點擊率和總營收？

圖五

經(jīng)過一個季度的研發(fā)，試驗版本上線，推銷給部分廣告主，最多觸達10%的搜索流量。結果試驗結果顯示：廣告營收會下降0.X%（“誤差”0.0Y%）。最后上層開會決定，這個項目必須下線。

所以現(xiàn)在Google任何產品的改動都是要經(jīng)過A/B測試才能上線——無數(shù)據(jù)，不決策。

圖六

圖六是2007年到2010年Google試驗數(shù)量的增長曲線，與流量成本的增長曲線是一樣的，這標志著Google產品優(yōu)化迭代的進化。

3. 產品運營AARRR模型

獲取用戶（Acquisition）：曝光數(shù)、點擊數(shù)、打開率、下載量、安裝量、用戶獲取成本；
活躍度（Activation）：設備激活量、新注冊用戶數(shù)、訂閱數(shù)、瀏覽數(shù)、日活躍數(shù)；
留存率（Retention）：次日留存率、7日留存率、DAU / MAU；
收入（Revenue）：付費率、付費頻次、客單價、用戶價值；
自傳播（Referral）：轉發(fā)數(shù)、邀請數(shù)。

可以說是全部產品運營的工作，幾乎都是在不斷優(yōu)化AARRR模型的細節(jié)。

拉新：優(yōu)化渠道、廣告、內容、電子郵件；
激活：優(yōu)化第一次轉化；
留存：優(yōu)化第二次、第三次、第四次……轉化；
變現(xiàn)：優(yōu)化付費、下單、結賬等一切關于錢的環(huán)節(jié)；
推薦：優(yōu)化現(xiàn)有客戶如何向他的朋友來口碑推廣你的產品。

從運營的角度出發(fā)，這也是先從理解用戶本身，理解用戶的心理，給用戶做分級，然后最后提出運營設計的建議。

圖九

圖九是NETFLIX的一個提升留存的例子。NETFLIX是一個美劇的網(wǎng)站，非常受歡迎的紙牌屋就是他們的作品。這樣的視頻網(wǎng)站有一個非常重要的指標——每一個用戶單次的觀看時長。所以后端推薦算法對他們非常重要：如果你每次給用戶推薦他很感興趣的視頻或者是節(jié)目的話，每次單次的瀏覽時長肯定會變長。

他們做了很多推薦算法的實驗，后來發(fā)現(xiàn)：方案推算法二是最好的，就是方案Plan B最好地提升了大約2%的瀏覽時長。

圖十

圖十是一個電商的例子。僅僅更換折扣與價格的展示方式，會不會帶來更高的轉化？什么樣的折扣區(qū)間內更容易獲得用戶歡心？可能有些人對價格敏感，有些人對折扣率敏感。

右邊界面是當?shù)卣故緝r格區(qū)間的時候，就是用戶對價格區(qū)間的反應是怎么樣的？是當你從900打折到400，還是從500打到400，相同的價格，怎么樣才可以讓用戶買得更多？GMV更高？這些經(jīng)常遇到的例子，都是通過數(shù)據(jù)來驅動優(yōu)化的。

4. 以AB測試為基礎的產品迭代流程

以AB測試為基礎的產品優(yōu)優(yōu)化的迭代流程是這樣的：

首先要進行用戶行為分析，提出不同的假設；然后做計劃排期去上線，運行試驗；再進行研究調查，進行數(shù)據(jù)分析，最后再決定是上線或者是不上線——這樣大家的工作才有意義，才能真正實現(xiàn)產品核心數(shù)據(jù)的增長。

AB測試能夠幫助產品優(yōu)化什么呢？

以下這些UI功能的流程的文案的布局的推薦，算法的運用來講，活動補貼的內容傳播的PR的分享的Saas。幾乎你能想到所有和數(shù)據(jù)和用戶相關的地方，都可以通過X來優(yōu)化。

圖十一

5. 體現(xiàn)產品核心價值的數(shù)據(jù)指標

核心指標（Core Action）對于產品運營來說至關重要。它是你的產品提供給用戶最本質和最為核心的操作，也是最能體現(xiàn)用戶參與度的操作指標——Magic number，另外一個稱呼叫北極星指標。

這個指標非常重要，因為它代表了產品迭代的方向。

可能有點抽象，舉幾個例子來說明：

對于Facebook來說這個數(shù)字是10：一周以內添加十個用戶的人大概率成為活躍用戶，把自己的社交關系鏈留在Facebook。
對Twitter來說這個數(shù)字是30：如果一個用戶關注超過30個人，那么它就有很大的概率繼續(xù)使用。
對于Slack來說這個數(shù)字是2000：如果一個用戶通過Slack發(fā)送超過2000條消息，那么他就會養(yǎng)成使用習慣，從而持續(xù)使用下去。
知乎的核心指標是回答問題：如果一個用戶回答三個以上的問題，他有大概率留下來成為活躍用戶。

為什么這個指標特別重要？

因為根據(jù)核心指標確立了產品運營優(yōu)化方向，產生各種各樣的提升假設，持續(xù)進行A/B測試，從而才能提升指標，實現(xiàn)增長。

比如說當Facebook發(fā)現(xiàn)如果每個用戶一周之內關注十個人，會讓它的留存大幅提升，就做了一個功能people you may know——添加認識的人。通過上線這樣一個功能從而提升核心的業(yè)務指標。

國內的一些相關產品抄襲過這個做法，但其實他們并不知道為什么要做這件事。

這里一個比較有趣的案例跟大家分享：

圖十二

上圖左邊是Facebook最開始和現(xiàn)在的樣子，右邊這張圖大概是在2013年至14年的時候，當時正在流行設計扁平化，所以Facebook內部有一個設計師主導的團隊提出了這樣一個想法：如果我們把Facebook的主頁扁平化，有更多的圖片大圖，是不是可以提升我們核心業(yè)務指標？是不是能夠提升用戶留存？像Google一樣提升廣告的產品轉化，營收增長？

然后Facebook在一個VP的帶領下，建立了50人的team花了大概六個月的時間做了右邊這個版本。最開始上線右邊這個版本用了60%流量，結果發(fā)現(xiàn)所有的業(yè)務指標都在降，核心指標也在降。

他們覺得這可能是因為首因效應：

首因效應指的是當用戶習慣一個操作界面的時候，突然把界面做了大幅的修改后改變了用戶原有的操作習慣，這個時候反映出來產品的數(shù)據(jù)和實際用戶習慣之后的產品數(shù)據(jù)是不一樣的。

為了避免首因效應，F(xiàn)acebook做了這樣一件事情：他們增加了流量，把流量調到12%，同時增加了測試時長，原來測兩個月，現(xiàn)在測四個月。但結果他們發(fā)現(xiàn)業(yè)務指標還在降，于是又將流量調到24%，發(fā)現(xiàn)還在降……沒辦法，測試歷經(jīng)十個月，核心指標持續(xù)在下降，產品只好下線，最終這個團隊被裁，VP離職。

這款產品的產品經(jīng)理不知道是幸運還是不幸，剛好成為了24%流量其中的一員。

總結下來：做產品、做運營，如果沒有數(shù)據(jù)，不用數(shù)據(jù)做決策，就像蒙著眼睛射箭，做了很久也不知道自己做的是對還是不對。

為什么呢？

因為一個用戶群體的喜好，只能通過數(shù)據(jù)來衡量，沒有產品經(jīng)理能夠做到可以衡量一個群體的喜好，特別是在數(shù)據(jù)爆炸的今天。如果不用數(shù)據(jù)做決策，就會產生像上一個例子一樣的結果。

所以對于新時代的產品經(jīng)理運營人員來說，數(shù)據(jù)是基本功，并且只會越來越重要。

《硅谷增長黑客》作者Sean Ellis(CEO and founder ,GrowthHacker.com)說過這樣一句話：

“If you’re not running experiments, you’re probably not growing.”如果你不做任何的實驗，你無法知道自己是不是在增長。

以下是來自硅谷的8條高效產品運營增長策略：

在沒有達到 Product/Market Fit 前，不要貿然開始增長；
想搞大事情，但從小處開始；
如果你不做A/B測試，那就輸定了；
用80％的時間對有效果的事加倍投入，用20％測試新方法；
以數(shù)據(jù)為驅動，而不僅僅是數(shù)據(jù)信息；
建立一個試驗文化；
如果數(shù)據(jù)是增長的燃料，那么試驗就是它的引擎；
你的第一個“hack”是你的產品，做出人們想要的東西。

一個具體的互聯(lián)網(wǎng)金融項目案例：Acorns案例分析

Acorns設定了一個目標——提升用戶的留存。他們發(fā)現(xiàn)用戶如果使用了定期投資功能，新用戶開通定投比例會提升50%。因此他們產生了一些想法，比如說增加一個“定期投資”的確認框，如果有這個框了之后，用戶回收到提醒，從而提升轉化率變。

圖十四

如上圖，Acorns做了子設計，左邊一個，右邊一個。

最后得出的結論是：右邊比左邊提升轉化率高58%，他們成功地達到自己之前設計的目標。

Acorns發(fā)現(xiàn)這個方法非常有用之后，做了第二個實驗：

圖十五

把定期投資對話框往前提到了首頁，然后發(fā)現(xiàn)這樣非常有效——轉化率又提升了一倍。只花了一個月的時間做實驗，耗費了工程師和產品人員差不多十個小時，結果“新用戶的定投投資率”達到了原來的數(shù)倍之多。

小事情大成果，這是大家最愿意見到的情況；所以改版并不能解決問題，應該從數(shù)據(jù)和結論中找到答案。

通過這次試驗，Acorns公司發(fā)現(xiàn)：把極少成多的結果展示給用戶，能夠說服他們開始定期投資。不光產品團隊發(fā)現(xiàn)了這件事情，他們運營團隊付費增長團隊也發(fā)現(xiàn)了這件事情，對用戶的理解提升了一個層次，依此發(fā)現(xiàn)Acorns去更改了自己應用商店的文案。改變用戶來源就是Facebook的用戶著陸頁，同時增加了一個功能增長——定投的增長計算器，幫助用戶計算投資回報，從而影響用戶的實際的留存和轉化。

新的機會是這么來的，通過不停的數(shù)據(jù)挖掘實驗，更加理解用戶的想法。

以上為本次大會分享內容。