優(yōu)秀產(chǎn)品人必懂的增長(zhǎng)實(shí)驗(yàn)流程

1 評(píng)論 14952 瀏覽 51 收藏 17 分鐘

增長(zhǎng)實(shí)驗(yàn)是非常重要的驅(qū)動(dòng)增長(zhǎng)的方式。它的作用是驗(yàn)證產(chǎn)品、運(yùn)營(yíng)動(dòng)作與增長(zhǎng)數(shù)據(jù)之間的因果性。當(dāng)提出一個(gè)方案后,可以通過A/B測(cè)試的方法來(lái)驗(yàn)證這個(gè)方案是否能夠真的驅(qū)動(dòng)產(chǎn)品增長(zhǎng)。

一、增長(zhǎng)實(shí)驗(yàn)全流程

當(dāng)你想通過增長(zhǎng)實(shí)驗(yàn)尋找增長(zhǎng)爆發(fā)點(diǎn)時(shí),往往會(huì)出現(xiàn)以下三種情況:

情況一:團(tuán)隊(duì)缺乏快速實(shí)驗(yàn)、快速迭代的思維。通常做項(xiàng)目時(shí),決策全憑經(jīng)驗(yàn)及主觀判斷,一旦決策就直接實(shí)施。這會(huì)導(dǎo)致團(tuán)隊(duì)盲目執(zhí)行,很容易出現(xiàn)做項(xiàng)目時(shí),消耗大量時(shí)間成本,但最終效果沒有達(dá)到預(yù)期,甚至出現(xiàn)業(yè)務(wù)數(shù)據(jù)下滑的情況。

  • 解決方案:自己先開始做一些增長(zhǎng)方案的A/B測(cè)試,取得積極成果后再逐步推廣到團(tuán)隊(duì),從而逐漸營(yíng)造公司的增長(zhǎng)實(shí)驗(yàn)底蘊(yùn)。當(dāng)公司的實(shí)驗(yàn)文化氛圍和技術(shù)基礎(chǔ)足夠堅(jiān)實(shí)后,公司內(nèi)部可能會(huì)由任何一個(gè)人發(fā)起想法,主導(dǎo)實(shí)驗(yàn)的是產(chǎn)品經(jīng)理。把設(shè)計(jì)具體化,落到實(shí)處。

情況二:團(tuán)隊(duì)有實(shí)驗(yàn)的思維,但是缺少做A/B測(cè)試的正確方法。雖然團(tuán)隊(duì)大力推行增長(zhǎng)實(shí)驗(yàn)-A/B測(cè)試,但很快會(huì)發(fā)現(xiàn),從0到1推行A/B測(cè)試需投入大量人力和時(shí)間成本,還易出錯(cuò)。實(shí)驗(yàn)如何設(shè)計(jì)?如何配置樣本?如何正確看待實(shí)驗(yàn)結(jié)論?如果沒有正確掌握這些方法,就會(huì)發(fā)現(xiàn)自己推行的A/B測(cè)試并沒有提升公司的效率,最終演變成了走形式。

  • 解決方案:你需要重點(diǎn)修正和優(yōu)化自己的A/B測(cè)試方法論、掌握A/B測(cè)試在每一步需要解決的關(guān)鍵知識(shí),并思考如何快速搭建一個(gè)測(cè)試環(huán)境。

情況三:已經(jīng)掌握了做A/B測(cè)試的正確方法論,但是效率低。很多公司或部門一年做的測(cè)試實(shí)驗(yàn)甚至還不到10個(gè),試錯(cuò)速度太低,就使A/B測(cè)試的效果大打折扣。

  • 解決方案:你的目標(biāo)應(yīng)該是將實(shí)驗(yàn)數(shù)量提高10倍、20倍等,通過人才培養(yǎng)、采用更好的A/B測(cè)試基礎(chǔ)設(shè)施,來(lái)鼓勵(lì)高頻高效的實(shí)驗(yàn),從而真正通過實(shí)驗(yàn)來(lái)驅(qū)動(dòng)增長(zhǎng)。

1. 增長(zhǎng)方法論的核心思維

利用經(jīng)濟(jì)杠桿原理推測(cè)和假設(shè)出適合產(chǎn)品增長(zhǎng)的爆發(fā)平衡點(diǎn),通過不斷的實(shí)驗(yàn)驗(yàn)證,得出準(zhǔn)確的爆發(fā)點(diǎn)并加以放大,最終達(dá)到產(chǎn)品增長(zhǎng)的效果。在之前的幾篇文章里小編已分別分享了用戶生命周期各個(gè)環(huán)節(jié)的增長(zhǎng)方法論。在本篇小編將著重分享如何通過增長(zhǎng)實(shí)驗(yàn)來(lái)驗(yàn)證增長(zhǎng)假設(shè)。

通過制定北極星指標(biāo)構(gòu)建增長(zhǎng)模型,找到現(xiàn)階段關(guān)于增長(zhǎng)的聚集領(lǐng)域,對(duì)這個(gè)聚集領(lǐng)域進(jìn)行中長(zhǎng)期(30~120天)的增長(zhǎng)驗(yàn)證。找到增長(zhǎng)聚焦領(lǐng)域是增長(zhǎng)實(shí)驗(yàn)效果最大化的第一步。因?yàn)楫?dāng)你集中火力攻破產(chǎn)品中一個(gè)聚集的切入點(diǎn)時(shí),會(huì)對(duì)這個(gè)點(diǎn)的洞察進(jìn)一步的剝絲抽繭,無(wú)形當(dāng)中會(huì)有更深一層次的認(rèn)知。

2. 增長(zhǎng)實(shí)驗(yàn)流程

第一步:產(chǎn)生實(shí)驗(yàn)想法。

從聚集領(lǐng)域出發(fā),產(chǎn)生高質(zhì)量的實(shí)驗(yàn)想法。通過從數(shù)據(jù)中通過洞察的方式,來(lái)幫助提高實(shí)驗(yàn)的成功率。從而形成一個(gè)比較清晰的實(shí)驗(yàn)假設(shè)。以及形成一個(gè)實(shí)驗(yàn)想法庫(kù)。

第二步:確定優(yōu)先級(jí)排序。

針對(duì)實(shí)驗(yàn)想法庫(kù)中各種想法,通過排序模型進(jìn)行實(shí)驗(yàn)優(yōu)先級(jí)排序。

第三步:設(shè)計(jì)增長(zhǎng)實(shí)驗(yàn)。

有了具體進(jìn)行實(shí)驗(yàn)的想法后,進(jìn)行細(xì)化變成一個(gè)可落地的實(shí)驗(yàn)方案(開發(fā)PRD)。這一步主要是講述制定實(shí)驗(yàn)指標(biāo),確定實(shí)驗(yàn)受眾以及設(shè)計(jì)實(shí)驗(yàn)版本,避免遺漏影響實(shí)驗(yàn)結(jié)果的重要方面。

第四步:實(shí)驗(yàn)開發(fā)上線。

制定數(shù)據(jù)埋點(diǎn)后,開發(fā)實(shí)驗(yàn)并上線后可根據(jù)埋點(diǎn)數(shù)據(jù)清晰衡量實(shí)驗(yàn)結(jié)果。

第五步:分析實(shí)驗(yàn)結(jié)果。

得到結(jié)果后,如何通過系統(tǒng)性方法分析實(shí)驗(yàn)結(jié)果,評(píng)估實(shí)驗(yàn)結(jié)果的可信性并得出可信結(jié)論,并放大該結(jié)論的實(shí)驗(yàn)影響。

二、產(chǎn)生實(shí)驗(yàn)想法:明確實(shí)驗(yàn)?zāi)繕?biāo)

從聚集領(lǐng)域和用戶業(yè)務(wù)問題本身出發(fā)確定實(shí)驗(yàn)?zāi)繕?biāo),并通過多種數(shù)據(jù)分析方法從數(shù)據(jù)中尋找可以形成合理實(shí)驗(yàn)假設(shè)的依據(jù)。從而產(chǎn)生高質(zhì)量的實(shí)驗(yàn)想法。

第一步:明確實(shí)驗(yàn)?zāi)繕?biāo)

大多數(shù)人可能在增長(zhǎng)實(shí)驗(yàn)剛開始時(shí)就找錯(cuò)了出發(fā)點(diǎn),往往會(huì)以自身想法出發(fā)考慮產(chǎn)品的可能存在的問題,比如某個(gè)頁(yè)面設(shè)計(jì)難看、某個(gè)功能,老板說(shuō)要改等。這類想法過于主觀,以至于整體實(shí)驗(yàn)立于錯(cuò)誤的出發(fā)點(diǎn),導(dǎo)致了實(shí)驗(yàn)失敗。正確的實(shí)驗(yàn)出發(fā)點(diǎn),應(yīng)結(jié)合產(chǎn)品現(xiàn)階段的用戶特征和業(yè)務(wù)問題進(jìn)行思考和總結(jié)可能存在的問題。比如用戶下單完成率低,應(yīng)如何解決?用戶反饋這個(gè)業(yè)務(wù)流程過于繁瑣,應(yīng)如何改善等。

第二步:尋找數(shù)據(jù)依據(jù)

從數(shù)據(jù)中尋找假設(shè)依據(jù),是產(chǎn)生高質(zhì)量的實(shí)驗(yàn)想法的關(guān)鍵。所謂高質(zhì)量的實(shí)驗(yàn)想法,就是經(jīng)過實(shí)驗(yàn)驗(yàn)證后,這個(gè)實(shí)驗(yàn)想法的成功率高,實(shí)驗(yàn)指標(biāo)提升幅度大。通過數(shù)據(jù)尋找洞察形成高質(zhì)量假設(shè)主要可以通過以下步驟來(lái)實(shí)現(xiàn)。

步驟一:從三類數(shù)據(jù)中尋找證據(jù)支持假設(shè)

我們通過定量數(shù)據(jù)、定性數(shù)據(jù)、實(shí)踐案例中尋找證據(jù)支持假設(shè)的真實(shí)性。三類數(shù)據(jù)所能提供的證據(jù)類型是不同的,

  • 定量數(shù)據(jù)可以定位假設(shè)想法的來(lái)源出處。比如:定量數(shù)據(jù)可發(fā)現(xiàn)下單流程中哪一個(gè)節(jié)點(diǎn)的轉(zhuǎn)化率低,導(dǎo)致整個(gè)下單完成率低。
  • 定性數(shù)據(jù)可定位假設(shè)的想法的產(chǎn)生原因。比如通過定性數(shù)據(jù)分析下單完成率低的原因。
  • 實(shí)踐案例則提供了通過何種方法優(yōu)化假設(shè)想法效果更好。比如其他競(jìng)品在下單流程中是通過何種方法提高了下單完成率的。

根據(jù)實(shí)驗(yàn)類型,從上述三類數(shù)據(jù)中尋找證據(jù)支持假設(shè)。

定性分析案例:電商有貨APP提升銷售額

  • 實(shí)驗(yàn)?zāi)繕?biāo)是提升有貨APP的商品下單漏斗轉(zhuǎn)化率。通過定性分析發(fā)現(xiàn),多數(shù)用戶都會(huì)擔(dān)心在平臺(tái)買到假貨。因此作出的實(shí)驗(yàn)假設(shè)為:在商品詳情頁(yè)首屏加入“平臺(tái)鑒定通過后發(fā)貨”的文案,可以提升下單率和支付轉(zhuǎn)化率,因?yàn)橄擞脩纛檻]。通過增長(zhǎng)實(shí)驗(yàn)后,下單率提升了46%,支付轉(zhuǎn)化率提升了70%。

最佳實(shí)踐案例:餓了么下單促銷頁(yè)通過LIFT模型提高轉(zhuǎn)化率

  • LIFT模型:基于數(shù)據(jù)基礎(chǔ),在產(chǎn)品信息中探尋問題,設(shè)計(jì)有關(guān)解決這些問題的假設(shè),通過實(shí)驗(yàn)得出改進(jìn)問題的結(jié)論,進(jìn)而提升轉(zhuǎn)換率。

影響LIFT模型的六個(gè)因素:

  1. 價(jià)值主張:是產(chǎn)品轉(zhuǎn)換率的載體,是產(chǎn)品和服務(wù)最重要的屬性,是從客戶的角度來(lái)看產(chǎn)品的匹配點(diǎn)和差異點(diǎn)。通過優(yōu)化認(rèn)知、性能、情感、用戶心理價(jià)位四個(gè)方面來(lái)降低用戶心理認(rèn)知障礙,提升用戶的行動(dòng)力。
  2. 相關(guān)性:為用戶提供符合預(yù)期需求的信息和產(chǎn)品,并且其內(nèi)容與價(jià)值主張最相關(guān)。通過優(yōu)化用戶行為漏斗相關(guān)性、渠道來(lái)源相關(guān)性、目標(biāo)受眾相關(guān)性、產(chǎn)品導(dǎo)航相關(guān)性來(lái)保持潛在用戶從興趣到使用產(chǎn)品的注意力。
  3. 清晰度:通過提高信息層級(jí)、設(shè)計(jì)、文案、用戶召喚行為四個(gè)方面的清晰化,來(lái)保障頁(yè)面清晰度。高清晰的溝通是可以清楚并快速傳達(dá)你價(jià)值主張和用戶召喚行為,讓用戶通過更低認(rèn)知學(xué)習(xí)成本的使用產(chǎn)品。
  4. 緊迫性:緊迫性是和決定周期的長(zhǎng)短相關(guān)的,通過優(yōu)化內(nèi)在緊迫性、外在緊迫性,利用害怕失去的感覺,減少用戶決定周期的長(zhǎng)度。
  5. 焦慮性:通過優(yōu)化隱私焦慮感、可用性焦慮感、完成性焦慮感,將焦慮感來(lái)源最小化,把焦慮感轉(zhuǎn)化成優(yōu)勢(shì)來(lái)刺激用戶行為。
  6. 注意力分散:當(dāng)面臨太多選擇的時(shí)候,人們因?yàn)闊o(wú)法選擇而放棄。通過聚焦第一印象注意力。把最重要的事件牢牢印在用戶的腦海里。

步驟二:通過數(shù)輪數(shù)據(jù)分析提升假設(shè)質(zhì)量

通過定量數(shù)據(jù)、定性數(shù)據(jù)、實(shí)踐案例中找到多個(gè)初步假設(shè),此時(shí)我們可以通過多輪的數(shù)據(jù)分析,排除掉不靠譜的假設(shè),找到新的證據(jù)支持某些更有力的假設(shè),也可能通過分析找到新的假設(shè),提升假設(shè)的質(zhì)量。

第三步:形成實(shí)驗(yàn)假設(shè)

先通過一個(gè)案例來(lái)分辨一下什么是清晰的實(shí)驗(yàn)假設(shè)。

  • 假設(shè)1:發(fā)布公號(hào)文章可以帶來(lái)新用戶。
  • 假設(shè)2:發(fā)布公號(hào)文章可以帶來(lái)100個(gè)新用戶。
  • 假設(shè)3:發(fā)布1篇原創(chuàng)公號(hào)文章可以帶來(lái)100個(gè)新用戶。
  • 假設(shè)4:發(fā)布1篇原創(chuàng)公號(hào)文章2周內(nèi)可以帶來(lái)100個(gè)新用戶。
  • 假設(shè)5:發(fā)布1篇關(guān)于產(chǎn)品增長(zhǎng)的原創(chuàng)公號(hào)文章2周內(nèi)可以帶來(lái)100個(gè)新用戶,因?yàn)檫@篇文章會(huì)給大家介紹產(chǎn)品增長(zhǎng)的核心模型。

從上述假設(shè)就可以發(fā)現(xiàn),一個(gè)清晰的假設(shè)是實(shí)驗(yàn)成功的基礎(chǔ)前提。

實(shí)驗(yàn)假設(shè)的輸出標(biāo)準(zhǔn):

產(chǎn)生實(shí)驗(yàn)想法時(shí)的兩種常見狀況:

可能對(duì)實(shí)驗(yàn)并沒有好的想法,這時(shí)候可以通過團(tuán)隊(duì)的力量來(lái)推動(dòng)實(shí)驗(yàn)想法的產(chǎn)出。比如:

  • 競(jìng)品分析:團(tuán)隊(duì)內(nèi)每位成員選擇一到兩個(gè)產(chǎn)品的重要流程進(jìn)行演示,然后進(jìn)行內(nèi)部討論,記錄有參考價(jià)值的案例和想法。
  • 頭腦風(fēng)暴:團(tuán)隊(duì)內(nèi)針對(duì)某實(shí)驗(yàn)?zāi)繕?biāo),進(jìn)行腦暴,產(chǎn)品實(shí)驗(yàn)想法集。
  • 問題風(fēng)暴:針對(duì)某一主題,進(jìn)行問題風(fēng)暴。提出并收集問題。歸類問題并優(yōu)化問題,評(píng)選出最重要的問題。通過數(shù)據(jù)分析或?qū)嶒?yàn)尋找問題結(jié)論。

團(tuán)隊(duì)已經(jīng)有很多想法,需要對(duì)這些想法進(jìn)行優(yōu)化??梢酝ㄟ^實(shí)驗(yàn)想法庫(kù)來(lái)進(jìn)行管理。

三、優(yōu)先級(jí)排序:ICE模型

1. ICE模型概述

ICE模型通過將大量的實(shí)驗(yàn)想法放在影響范圍(Impact),成功概率(Confidence),實(shí)現(xiàn)程度(Ease)三個(gè)維度下進(jìn)行粗略的評(píng)分,得到增長(zhǎng)實(shí)驗(yàn)假設(shè)的優(yōu)先級(jí)進(jìn)行排序。

ICE 各項(xiàng)指標(biāo)的打分依據(jù):

  • 預(yù)期影響(Impact):實(shí)驗(yàn)?zāi)苡绊懹脩舻母采w度。實(shí)驗(yàn)成功后,指標(biāo)提升幅度。
  • 成功概率(Confidence):數(shù)據(jù)的支持力度
  • 實(shí)現(xiàn)難易(Ease):完成實(shí)驗(yàn)所需成本的消耗程度。

案例:ICE 模型打分表

從上述打分,可以得到「酒店詳情頁(yè)加入“全網(wǎng)最低價(jià)”的文案提醒」這個(gè)實(shí)驗(yàn)想法的優(yōu)先級(jí)最高??梢詢?yōu)先進(jìn)行增長(zhǎng)實(shí)驗(yàn)。

2. 擴(kuò)大影響范圍

大多數(shù)實(shí)驗(yàn)都沒有覆蓋足夠的用戶,絕大多數(shù)核心產(chǎn)品團(tuán)隊(duì)只關(guān)注核心用戶。然而

  • 核心用戶可能只占活躍用戶比例25%以下。
  • 活躍用戶只占所有注冊(cè)用戶比例50%以下。
  • 注冊(cè)用戶可能僅占所有登錄過產(chǎn)品但未成為注冊(cè)用戶的訪客的20%以下。
  • 而接觸過產(chǎn)品的渠道訪客遠(yuǎn)小于外部渠道所影響的用戶體量(外部渠道過客)。

因此如果僅關(guān)注核心用戶,那么實(shí)驗(yàn)的影響力會(huì)十分局限。所以擴(kuò)大增長(zhǎng)實(shí)驗(yàn)的影響力的本質(zhì)就是盡可能的覆蓋更多的用戶。在這里我們可以通過主動(dòng)擴(kuò)大群體覆蓋面,關(guān)注非核心用戶從流量高的頁(yè)面或路徑進(jìn)行多次實(shí)驗(yàn)的方法擴(kuò)大實(shí)驗(yàn)的影響范圍。

3. 提升實(shí)現(xiàn)程度

提升容易程度即降低實(shí)驗(yàn)成本,最好的方式就是通過 MVP的方式以最低成本驗(yàn)證實(shí)驗(yàn)假設(shè)。而設(shè)計(jì)增長(zhǎng)實(shí)驗(yàn)MVP時(shí)需要考慮如何投入最小資源,最快證明實(shí)驗(yàn)假設(shè)。實(shí)驗(yàn)是否可以提供可信的有效的結(jié)果,不能因?yàn)檫^度的實(shí)驗(yàn)簡(jiǎn)化和成本縮減而影響了實(shí)驗(yàn)的可信有效程度。

案例:通過 MVP 驗(yàn)證實(shí)驗(yàn)假設(shè):根據(jù)不同的用戶畫像,制定個(gè)性化注冊(cè)流程。更好的滿足用戶需求。

這里要注意的是ICE模型僅僅是一個(gè)優(yōu)先級(jí)排序的參考框架。并不是一門絕對(duì)精確的排序算法。不要消耗太多的時(shí)間成本去追求完美,而要不斷的提高實(shí)驗(yàn)頻率和次數(shù)來(lái)確保實(shí)驗(yàn)性價(jià)比。

本次就分享到這,祝大家周末快樂。

#專欄作家#

楊三季,微信公眾號(hào):楊三季,人人都是產(chǎn)品經(jīng)理專欄作家。7年互聯(lián)網(wǎng)經(jīng)驗(yàn)的高級(jí)產(chǎn)品官,深耕內(nèi)容電商,互聯(lián)網(wǎng)保險(xiǎn)領(lǐng)域,擅長(zhǎng)產(chǎn)品增長(zhǎng)、數(shù)據(jù)分析、中臺(tái)架構(gòu)等內(nèi)容。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自 Unsplash,基于 CC0 協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 這篇文章看幾遍都讓我云里霧里 感覺什么都說(shuō)了 又什么都沒說(shuō)
    沒有一個(gè)詳細(xì)的案例 光在這里闡明觀點(diǎn)
    而且按照這個(gè)流程走下來(lái) 勢(shì)必耗費(fèi)時(shí)間成本也相當(dāng)大

    來(lái)自四川 回復(fù)