構建產品經理的技能樹:數據和產品經理到底是什么關系(四)
數據產品經理、懂數據的產品經理、可以利用好數據的產品經理,完全是三類人。
這幾天總統大選又把各種民調和預測推成了熱點,大家都說機器學習或者大數據完敗,人心不可捉摸。這一仗證明了數據和機器總是勘不破人性這種玄學,這些永遠都是無法預測好的云云。
實際上并非如此,數據并不是客觀的,數據帶有強烈的主觀色彩,人本身在挖掘數據、分析數據和總結數據三個環節,都起到了至關重要的作用。
首先,收集數據的渠道,都是人操作的、人判斷的,用街頭的問卷還是電話?用 Google 的搜索歷史還是 Facebook 的語義分析?這都是可選的、可變的。
其次,分析數據的算法里,沒有任何一個是機器自己研制的。每個算法的每個公式和策略,都是人制定的,人去決定這些數據代表著什么意義,在大選中又會起到什么作用。
最后,得到結論的過程,也是人做決策。這樣的分析結果代表什么含義?這樣的結論準確程度有多少?
比如,許多我們知道的民調和大數據預測慘敗,但也有很多成功預測的,他們使用的是完全不同的方法。不代表他們的能力多強、多有錢或者有多少人力,而是他們選擇的方式不同。
像 Bing 通過搜索結果、社交媒體數據及第三方的預測結果,在 8 月得到的預測是希拉里有 77% 可能當選(之后的預測數字甚至更高):
而另外有人通過各州的收入來分析,準確率就大不一樣:
因此并不能單純地說,大數據、民調的數據分析方法有問題,人心永遠無法捉摸。
不過今天我想說的是衍生出來的另外一個問題:數據跟我們做產品有什么關系?我們做產品時到底應該怎么看待數據?
1. 數據在產品演化中是必要的,它提供的是信息
我在 產品是演化出的,不是規劃出的 中提過,產品一定是演化出來的,不是規劃出來的。
互聯網產品的特殊性在于,不像傳統的商品,設計、制造和銷售完全割裂。對互聯網產品來說,能夠一邊改進一邊接觸到用戶,這就提供了很好的途徑,讓我們對用戶的反饋做出改變。這也是慣常所說的「互聯網思維」。
所謂接觸用戶、了解用戶,無非就是幾種方法(在之前文章里也有提過):
- 觀察,或者親自體驗
- 調查問卷、街頭調查
- 訪談、焦點小組
- 獲得用戶使用數據
使用這些方法,我們得到的是各種各樣的信息,其中有定性的也有定量的。這些就是我們每次迭代的核心基礎,沒有這些,我們根本不知道該如何改。
對于定性的信息,更多是考驗產品經理的觀察力、對用戶的敏感程度。所謂一個人到底有沒有「產品感」,跟用戶聊了幾句能不能得到有效信息,去現實場景中體驗了下產品能不能有新的發現,等等,都是這個范疇的。
而所謂數據,就是這些信息當中,屬于定量部分的。
定量部分的信息,不依賴于產品經理的「產品感」,很多時候是依賴于產品經理對數據的敏感程度和分析能力。從錯綜復雜的數據里還原真相,推理出現場,是這時所需要的能力。
對于不管是調查問卷還是從產品后臺得到的這些數據,看似都沒什么問題,數字變大就是增長,數字減少就是下跌,明明是板上釘釘的事兒,其實卻暗藏陷阱。對產品經理來說,數據的陷阱,比其它定性信息的陷阱,更加危險——因為你很相信這是客觀的、無從質疑的。
(定量和定性信息的區別,定量信息即是數據)
2. 陷阱一:數據獲取有誤
美國總統大選是數據獲取天然的試驗場,怎么得到最真實的數據、怎么選擇調查對象樣本都是老生常談的話題。1936 年美國總統大選中脫穎而出的民調公司蓋洛普,就是依靠更準備的獲取方法,用 5 萬樣本打敗了當年的《文學文摘》 230 萬份的樣本數據。
有趣的是,靠總統大選聲名鵲起的蓋洛普,今年沒有預測總統大選。(First Gallup, Then Pew:http://www.imediaethics.org/first-gallup-then-pew-afraid-of-election-polls/)
數據獲取在總統大選中非常難操作,在于美國作為移民國家、又奉行自由主義,國內的政治派系、種族、性別、年齡、教育背景、社會階層等等,千差萬別,無法找到準確的分層統計樣本(分層抽樣指依據特征區分樣本,再隨機抽樣)。
這么來看,對不同的產品,數據獲取的難度自然也不一樣。
如果產品所面向的用戶群體非常集中,比如是做初高中教育的,那么用戶就是初高中的學生,調研的人群不會特別分散;但如果是大規模的平臺,像淘寶京東這種,用戶群體從巨富到還沒有收入的學生各不相同,那么要區分調研他們的狀況,自然就難上加難。
除了區分用戶群體,確保獲取信息的準確性也會是件麻煩事。
我之前有個朋友是做情趣用品的,他們做了一系列調研,然后發現平時使用情趣用品的男女比例,大概是 8:2 的樣子(具體數字我記不清了)。這不是他們的猜想,也不是根據其他間接的數據做的推論,這可都是實實在在的調研結果。
但想來想去,他們總覺得哪里不對。這跟他們平時的感知是相悖的。于是他們又重新做了一些調研,不過這次他們使用了匿名的方式,并且沒有綁定用戶任何的賬號,這次使用情趣用品女性的比例驟然增大。
顯而易見:原來的調研是在微博上做的公開調研,很多女性用戶比較靦腆,不愿填寫自己的真實情況。
再說回今年的總統大選,為什么大量的民調和預測都失敗了?因為有很多選民言行不一,也有很多選民大家稱之為「沉默的大多數」,這樣的結果就是獲取到的數據,本身就是有問題的、不真實的。即便是它們沒有經過任何潤色處理。
(像微博上常見的公開投票,大家會更在意「表現出來的」觀點,而不是自己「真實的」觀點)
3. 陷阱二:數據是客觀的,但信息和知識是有主觀成分的
不過好在前面說的都是傳統的調研方式,新的獲取數據方式,也就是所謂大數據,其實是根據用戶實際行為獲得的。對剛才提到的淘寶京東來說,根據該用戶的消費記錄,基本就能夠知道他們大致屬于什么收入階層,根據他們的購物記錄,也能還原出大致的人的性格、喜好和生活環境。
既然是通過用戶的行為得到的數據來做判斷,不是拿調查問卷或者訪談作為根據,那總不會出問題了吧?
當然也不是。這就涉及到數據分析環節中的陷阱了。同樣的數據,不同的人會有不同的看法,不同的算法也會得到截然不同的結論。
數據(Data)是客觀存在的,但是信息(information)則是我們分析出的。而知識(knowledge)是從信息中提煉出的、歸納總結出的(原騰訊副總裁吳軍老師和臺積電張忠謀都提過這樣的概念)。
它們分屬三種層次,我們應當時刻清楚當前面對的,究竟是哪一個?
舉個我真正遇到的例子。
我目前所在的即時物流平臺,做的是配送的業務。一方的用戶是不同的渠道商,像餓了么、鮮花店等;另一方的用戶則是眾包配送員。可以理解為我們是做雙方的撮合平臺。
有段時間我們就遇到一個問題:A 渠道商的訂單總是配送不出去,或者超時,或者干脆時間太久被取消。這個渠道的訂單取消率和超時率都居高不下,同時配送這些訂單的配送員數量一直很少。
我們對這些數據初步的判斷就是:這是 A 渠道商的配送員不夠。由于我們對 A 渠道商的配送服務有一定要求,所以對應的配送員要經過培訓。我們的結論就是:讓更多的配送員接受培訓,增加對應配送員。
看起來邏輯沒什么問題,但我們在即將行動時發現了另一份數據:A 渠道商的訂單轉單率特別高。所謂轉單,就是配送員認為自己某種原因無法完成配送,于是把自己手中的訂單轉出去。
這下真實的原因露出水面。并非是配送員不夠,而是配送員對接 A 渠道商的訂單積極性不高,甚至有些反感。被轉出的單子自然就容易超時乃至取消。
問題的本質也就是,我們應當提高 A 渠道商訂單在配送員方面的滿意度和收入。而不是冒然增多配送員。
「看似是這樣的」和「真的是這樣的」中間的差別可能非常巨大。
再比如,看這兩張圖,用戶活躍量幾乎一樣(彩色圖塊的外邊線),應該都是比較樂觀的增長。
(圖片來自 GrowingIO)
但仔細看,就會知道,雖然第一張圖里的用戶活躍量也不低,但是用戶的周留存劇烈下降,甚至為 0,而圖二中每天的活躍用戶,在一定時間后就逐步穩定了下來。也就是說,在后期的日活中,有大量的是留存老用戶,不像圖一基本都是新用戶。
這是一種很好地通過數據分析活躍用戶與留存用戶關系的方式。而如果只看到了活躍用戶的數據,就不會得到正確的結論。
還有個經典例子就是沃爾德對美國空軍戰機的分析,這里就不做贅述了,參考:百度百科「幸存者偏差」中關于二戰飛機的例子,前后解釋有些矛盾,是怎么回事?
同樣的數據,都能得出完全不同的判斷。
(沃爾德的論文中計算概率的方法)
4. 陷阱三:唯數據導向
你可能會問:不是說數據來指導我們迭代嗎?那數據導向有什么問題嗎?
確實,隨著數據獲取渠道的豐富、硬件上有了存儲和計算大規模數據的可能性,數據在產品設計中在起著越來越重要的作用。Growth Hacker 的方式基本是現在互聯網產品的共識了。
但是唯數據導向卻是錯的。
我們先看一個虛構的例子。
小 C 和小 D 來到一家公司做運營方向的產品,他們都在努力想讓產品吸引更多用戶。小 C 想到的是,打好基礎,把產品的方方面面做好,慢慢推進,用戶遲早會買賬;而小 D 覺得這是落伍的方法,他認為,應該快速用各種營銷方式先吸引人過來,剩下的在迭代中考慮。
如果是唯數據導向的公司,會怎么樣?肯定會選擇小 D 的方案,因為他們的兩種方式里,小 D 的顯然數據會更好看。
好了,小 C 只好也接受了小 D 的觀點,兩個人都在想如何做好營銷的功能,老板建議他們用新手紅包的方式。
所以小 C 想的是給每個用戶發 10 元新人紅包,把更多主要的補貼用在后續有黏性的用戶身上。
而小 D 認為現在拉新、造勢最重要,應該每個人發 50 元的新人紅包,但是呢,錢要花在刀刃上,這 50 元的新人紅包想要拿到,還得邀請 10 個好友才行,邀請完也不行,邀請完才告訴你這是抽獎紅包,你只有 10% 的概率拿到——剛開始不告訴你,你下載了 APP、注冊完了、打開紅包頁面,我再告訴你。
小 C 說你這不是欺詐嗎?用戶會反感的。小 D 說這有什么啊,反感的用戶自然就會走,但是這樣新用戶的數據會暴漲的啊。
于是爭執不下的兩人,各自做了一套功能,上線后一周,老板看了看數據,就把小 C 開除了。
想必你明白我的意思了。這種舍遠求近、撿了芝麻丟了西瓜的事情,其實普遍發生在如今的產品經理的設計里。在各種領導的壓力下、KPI 的壓力下、公司融資的壓力下,往往都是追求一時的數據好看,而不在意長期的可持續發展。
這點在運營和業務導向的電商行業、O2O 行業非常顯著。尤其是大公司,職級體系復雜,每個人只關心自己手頭這塊利益,就沒有人在意公司長期的利益了(BAT 里誰做得最差有目共睹)。
微信是在節制方面做得最好的。張小龍多次提到,微信的核心價值觀就是要以用戶優先,而不是以 KPI 或者數據優先。比如他說道:
關于用戶的價值,這里可以舉很多例子,比如說很多的公眾號可能把拉粉作為他最大的一個訴求,但你會看到其實微信里面幾乎沒有地方可以提供你可以很輕易的獲取粉絲。這里要考慮一點,你吸引到了非常多的粉絲,這些粉絲真的是愿意被你吸引才過來的,這個區分很重要,如果是被你用各種手段牽過來的粉絲,這是沒有意義的,也違背了我們以用戶第一為價值觀點的考量。假設一個公眾號有1000萬粉絲,可是這是在用戶不太知情的情況底下獲得的,可能很危險。
唯數據導向的產品設計方法,不僅會追求數據不斷的增長,還會很擔心數據的短暫下滑。
之前就跟朋友討論一個問題:有很多成熟的、規模不小的平臺和產品,為什么體驗爛到這種地步了,還是不改版呢?
了解過他們一些產品經理的想法后,除了技術實現的問他,我還知道了一種可能。改版這種事情,是牽一發動全身的,要協調各種資源,很容易在協作中出問題;更麻煩的是,改版對用戶來說,肯定是短期內難以接受的,很可能各項數據指標會有劇烈下滑,用戶也由于不習慣新版而怨聲載道。這兩個麻煩,尤其后一個,是沒人愿意站出來承擔的。
長期來看會帶來更多好處、未來用戶會有更多的增長,這都不是幾天就看得出來的,也許做改版的產品經理沒有等到那一天,就會因為看似辦事不利被開除了。所以維持現狀也就是最好的選擇了。
所以總結下來,怎樣才是正確對待數據的方法呢?
首先,我們要確保數據的真實性、獲取數據的準確性;其次,我們要清楚,每種數據都只是從一個側面反映了事實,要還原數據是要多維去看的;最后,我們還要知道數據是客觀的,但怎樣合理利用數據則是很主觀的,應當把它放在合適的位置上,而不是唯數據是從。
5. 小結
最后想說的是,說到跟數據有關系的產品經理,數據產品經理、懂數據的產品經理、可以利用好數據的產品經理,完全是三類人。數據產品經理是負責呈現數據和分析數據的功能產品的,數據就是他的產品;懂數據的產品經理是可以對數據有清晰認知的、能夠知道數據背后真相的,他們能夠讓數據來指導自己的產品。
不過懂數據的產品經理,未必是可以利用好數據的產品經理。后者會更在意數據反映出的問題本質,以及對產品和用戶來說,這個本質意味著什么,而不只是單純追求數據。
希望大家都能成為最后一種產品經理。
相關閱讀:
#專欄作家#
劉飛,微信公眾號:劉言飛語,人人都是產品經理專欄作家?;ヂ摼W產品經理,先后在錘子科技、嘟嘟美甲和點我吧任產品經理,知乎產品經理領域最佳回答者之一。豆瓣閱讀《最好的時代》作者。
本文原創發布于人人都是產品經理,未經許可,不得轉載。
大家期待已久的《數據產品經理實戰訓練營》終于在起點學院(人人都是產品經理旗下教育機構)上線啦!
本課程非常適合新手數據產品經理,或者想要轉崗的產品經理、數據分析師、研發、產品運營等人群。
課程會從基礎概念,到核心技能,再通過典型數據分析平臺的實戰,幫助大家構建完整的知識體系,掌握數據產品經理的基本功。
學完后你會掌握怎么建指標體系、指標字典,如何設計數據埋點、保證數據質量,規劃大數據分析平臺等實際工作技能~
現在就添加空空老師(微信id:anne012520),咨詢課程詳情并領取福利優惠吧!
老師好,謝謝老師的文章~想請教一個比較初級的問題,周活的堆積圖是怎么做的呢?
非常贊同。用戶需求研究中,一手資料的優先級高于二手資料,特別對一些極端或者特殊案例案例進行分析解釋,也許普通案例和特殊案例中的共同點則是突破點。用戶訪談中,觀察獲得的資料或需求高于訪談中獲得的需求,二者都需要盡可能剔除被數據蒙蔽的地方。
?? 其實數據的真實性還是和獲取途徑有關系的。今年去了上海一趟,有家做室內VR體驗的公司找了老太太做問卷發放,還有錄音。人老太太直接說我指哪個答案姑娘你念哪個答案就好了……工作時間不久但是對數據真實性什么的也是無力吐槽。數據分以下幾類:自己看了都辣眼的真實數據,給老板看的部分數據,給客戶看的漂亮數據,給投資人看的自己都看不懂的數據…… ?
我想知道到底是小C被開了,還是小D被開了?
小C啊