你的“土著思維”,正在抹殺評估的科學性

1 評論 5078 瀏覽 8 收藏 12 分鐘

企業(yè)在數(shù)據(jù)驅(qū)動分析過程中,不要做土著,警惕看似正確的事情,堅持科學思維,隨時準備被現(xiàn)實打臉,勇于承認“我錯了”。

在二戰(zhàn)期間,美軍在南太平洋的一個小島上造了一座空軍基地,當?shù)赝林鴱臎]見過這種高科技,只知道有很多只“大鳥”飛過天空,并空投玉米等糧食。戰(zhàn)爭結(jié)束后,飛機隨著軍隊的離開被遺棄了。因為土著們再也沒有見到空投的貨物,為吸引“大鳥”回來,他們就按照族群里的先知所理解的,用木頭、樹葉搭了一個假機場,甚至做了高塔、木頭對講機等,即使機場擬真度很高,但大鳥并沒有回來……

數(shù)據(jù)驅(qū)動大行其道,在數(shù)據(jù)驅(qū)動的踐行道路上,許多公司也像土著群體一樣,跟著牛X公司學習。為此構(gòu)建了復雜的數(shù)據(jù)系統(tǒng)、五花八門的指標、成百上千的自動報表。千方百計地朝著看似十分“正確”的事,卻始終無法“吸引大鳥”——實現(xiàn)數(shù)據(jù)驅(qū)動。

在踐行數(shù)據(jù)驅(qū)動的過程中,應(yīng)進行反思,如“定義指標有指導意義嗎?”、“報表有人看嗎?他們是如何使數(shù)據(jù)的?”等等。在實現(xiàn)數(shù)據(jù)驅(qū)動的過程中,一切數(shù)據(jù)分析莫忘目標是“吸引‘大鳥’,要糧食”。企業(yè)在追求“糧食”的過程中,“評估”是重要工作,是數(shù)據(jù)驅(qū)動的聚焦點。

土著思維與科學思維下,如何吸引“大鳥”?

什么是評估?簡言之,做了什么,結(jié)果如何?詳細地說,即針對業(yè)務(wù)的每個假設(shè)和決策,給予高效、客觀、全面的數(shù)據(jù)反饋,從而實現(xiàn)數(shù)據(jù)驅(qū)動??茖W評估分為選定指標、方案實施、歸因分析三個步驟,數(shù)據(jù)分析師要了解每個步驟的產(chǎn)出物是什么。

土著思維在企業(yè)數(shù)據(jù)分析比比皆是。下面重點對比下土著思維與科學思維在選定指標、歸因分析中的差異。

1、不同思維下的選定指標

土著思維下的評估關(guān)注了繁雜的大量指標,做了很多事情,但是缺乏一致性。

這是一個典型的土著思維下的指標選定:我們簡化了注冊流程,因此增加了注冊轉(zhuǎn)化率;我們增加列表頁入口,因此提升了列表詳情頁的訪問量……隨著產(chǎn)品的不斷優(yōu)化與迭代,如此不停地進行評估。

然而,每次產(chǎn)品迭代選擇的指標都是不一致的,換句話,我們一直在討論樹枝搭建地多么像一座“機場”,然而并沒有討論‘糧食’這一核心問題?因此,這并不科學。

那么,科學思維下,如何選定指標?

只有保證指標的一致性,才能知道“糧食在哪”。如何選擇一致性的指標?按照客戶的選購流程的漏斗,不妨將指標直接設(shè)定為漏斗的最底端,每次評估都拿這個指標來衡量。

如圖所見,我們后來將一致性指標定為了“周支付人數(shù)”,同時將優(yōu)化行為對增長效果進行分級,未增長是0級,若實現(xiàn)2位數(shù)的增長即“二級”,若實現(xiàn)3位數(shù)的增長即“三級”……如此,一個季度下來,企業(yè)就能夠科學評估增長的程度。

2、不同指標下的歸因分析

2017年2月,杏樹林進行了一場糖尿病患者招募,患者可以免費用藥。在這個活動中,杏樹林重要用戶群——醫(yī)生可以推薦患者,即填寫推薦表格,杏樹林核實患者入組后,將醫(yī)生獎勵金打到醫(yī)生病歷夾賬戶。

面對“招募的患者人數(shù)提升”的結(jié)果,土著思維與科學思維有較大差異。

土著思維式是這樣的:單純認為醫(yī)生錄入患者信息是很麻煩的事兒,所以要盡力減少醫(yī)生的工作量。為了方便醫(yī)生錄入,運營人員對此做了改進。經(jīng)過改進后,招募人數(shù)果然變多。因此產(chǎn)品同學認為,之前的假設(shè)與優(yōu)化都是正確的。

然而,真的是這樣的嗎?

科學思維下的歸因分析則有顯著不同:通過對醫(yī)生轉(zhuǎn)化全流程(列表頁→詳情頁→錄入患者)的精細化分析,我們發(fā)現(xiàn):

  • 實際上錄入率其實并未發(fā)生改變;
  • 列表頁到詳情頁的轉(zhuǎn)化率提升。

那么,為什么錄入率并未改變,招募患者的數(shù)量變多了呢?經(jīng)過深入了解,原來是前端的同學對列表頁UI進行了優(yōu)化,我們可以判定,之前分析邏輯并不成立——醫(yī)生錄入麻煩并不會影響招募患者人數(shù)(經(jīng)過一系列優(yōu)化后,醫(yī)生錄入率未發(fā)生改變,且由于醫(yī)生錄入患者信息會有一定的折扣,這對醫(yī)生也有一定吸引力),而極可能是因為醫(yī)生身邊沒有合適的患者。因此,我們下一步引導醫(yī)生在線轉(zhuǎn)發(fā)給患者。

三項原則保證評估科學性

進行科學評估,要有“預(yù)期”和“結(jié)果”、“局部指標”和“整體指標”、“離散”和“連續(xù)”的對比,這是產(chǎn)品進行評估的三原則,而不是籠統(tǒng)的說“我們本季度要完成30份分析報告,要分析各種維度,要對業(yè)務(wù)有價值?!毕旅嫱ㄟ^舉例來解釋這三項原則。

1、預(yù)期 VS.結(jié)果:先有預(yù)期,再談結(jié)果

無預(yù)期,就如同“拍腦袋”做決定。以不同科室的模板上線為例。

土著思維下是這樣的:團隊沒有任何預(yù)期,單純認為“不同科室不同醫(yī)生所記錄的內(nèi)容有一定差異”。產(chǎn)品優(yōu)化后,的確留存率會變高。

科學思維是這樣的:上線前,新模板以提升醫(yī)生體驗為目標,預(yù)計留存率會3%-5%的漲幅。上線后,留存率的確漲了,通過進一步觀察發(fā)現(xiàn),只是老用戶變了,而新用戶未變。因此,下一步重點進行新用戶引導。

總之,一定要事先有預(yù)期。在杏樹林內(nèi)部,為了促進大家對每次優(yōu)化與改進都有所預(yù)期,舉辦了“數(shù)據(jù)猜猜猜”的活動——每次產(chǎn)品在線之前,公司內(nèi)部都會進行大規(guī)模的競猜,產(chǎn)品和運營等團隊都參與進來,現(xiàn)在各團隊對產(chǎn)品上線的最終效果都充滿期待。

2、局部 VS.整體:聚焦關(guān)鍵指標,避免一葉障目

土著思維將聚焦點放在產(chǎn)品功能點的改進所帶來增長上;科學的數(shù)據(jù)評估,不應(yīng)局限于單一的結(jié)果指標,避免一葉障目,緊盯關(guān)鍵目標,以此為核心衡量你的工作是否有效。

3、離散VS.連續(xù):保證評估連續(xù)性,避免打一槍換一地

許多企業(yè)有大量的評估報告,目標零散的評估報告是數(shù)據(jù)分析的大忌,每一份分析報告都應(yīng)該指向企業(yè)發(fā)展當前階段最關(guān)鍵指標,具有一定連續(xù)性、統(tǒng)一性的數(shù)據(jù)分析報告,才能具有可比性,才能為企業(yè)提供指導作用。

3個技巧提升評估效率

以下三個技巧可以提高評估效率。

1、要做好埋點工作

埋點方案設(shè)計要與產(chǎn)品設(shè)計同步。避免上線后再談需求、重新埋點造成效率低下;要防止過度設(shè)計,也要防止遺漏?;貧w測試保障歷史埋點——有些企業(yè)沒有回歸測試能力,杏樹林通過定期監(jiān)控神策分析的“埋點管理”解決了這一問題。

2、構(gòu)建指標工具箱

每一家企業(yè)根據(jù)業(yè)務(wù)不同、發(fā)展階段不同,構(gòu)建的指標工具箱應(yīng)該有所差異,這點非常重要。關(guān)于指標的選擇,有兩點說明:

  1. 不能啟發(fā)我們采取行動的指標,都是錯誤指標(虛榮指標);
  2. 好的指標具有及時性、易理解等特點。

用好分析工具

杏樹林將市面上所有的數(shù)據(jù)分析產(chǎn)品經(jīng)過了比較與測試,神策數(shù)據(jù)被證明是實時性最強的,杏樹林在產(chǎn)品上線前,就根據(jù)數(shù)據(jù)指標提前設(shè)好看板(數(shù)據(jù)概覽),上線1秒即可獲得全面的反饋,時時提醒你“飛機來了嗎,糧食來了嗎?”評估效率非常高。

評估的終極形態(tài):平臺化、基礎(chǔ)化

Facebook廣告系統(tǒng)做的非常贊,與國內(nèi)的許多平臺的不同之處在于,他要先了解企業(yè)的“目的是什么”——“你的飛機是什么”,F(xiàn)acebook會根據(jù)不同目標設(shè)定不同指標與不同方案。Facebook廣告系統(tǒng)具有實時、全面評估的效果,甚至在投放廣告三四個小時內(nèi),企業(yè)能夠進行20次~30次優(yōu)化,將投資回報率達到最高。

Facebook對內(nèi)的增長平臺能夠方便、快捷的科學實驗,同時在線超過1000個版本進行測試,大約每個月一萬次實驗,正如Facebook創(chuàng)始人兼首席執(zhí)行官馬克·扎克伯格(Mark Elliot Zuckerberg)說:“把運營公司當作一場科學實驗?!?/p>

綜上所述,企業(yè)在數(shù)據(jù)驅(qū)動分析過程中,不要做土著,警惕看似正確的事情,堅持科學思維,隨時準備被現(xiàn)實打臉,勇于承認“我錯了”。

 

本文根據(jù)杏樹林醫(yī)療負責人孫文亮的“數(shù)據(jù)分析如何應(yīng)用于產(chǎn)品和業(yè)務(wù)流程的優(yōu)化”在北京沙龍主題演講整理。

本文由 @喬一鴨 整理發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Pixabay,基于 CC0 協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!