見(jiàn)微知著——怎么證明龍卷風(fēng)是蝴蝶扇動(dòng)翅膀引起的
大家都知道蝴蝶效應(yīng),但有沒(méi)有真的考慮過(guò)這是為什么?就好像在產(chǎn)品中,眾多的功能和元素,到底哪些是可能有效提升核心業(yè)績(jī)指標(biāo)的?如何洞察并定位那些能夠?qū)嵸|(zhì)性提升關(guān)鍵指標(biāo)的產(chǎn)品痛點(diǎn)和機(jī)會(huì)點(diǎn)并進(jìn)行長(zhǎng)期有效監(jiān)測(cè)?
正如蝴蝶效應(yīng)理論所描述的那樣,即使是微小的變化也可能在系統(tǒng)中引發(fā)巨大的連鎖反應(yīng),而我們作為設(shè)計(jì)師,往往需要在復(fù)雜的產(chǎn)品生態(tài)中,探尋那些微小變化與最終顯著成果之間的關(guān)聯(lián)。
本文旨在探討在眾多可能的改進(jìn)中,哪些是可能有效提升核心業(yè)績(jī)指標(biāo)的?如何洞察并定位那些能夠?qū)嵸|(zhì)性提升關(guān)鍵指標(biāo)的產(chǎn)品痛點(diǎn)和機(jī)會(huì)點(diǎn)并進(jìn)行長(zhǎng)期有效監(jiān)測(cè)?從而使設(shè)計(jì)師們更好地理解設(shè)計(jì)決策與業(yè)務(wù)結(jié)果之間的復(fù)雜聯(lián)系。
一、工具和方法的探索
1. 工具/方法的分析與選取
探索業(yè)務(wù)的改進(jìn)措施與核心指標(biāo)變化之間的關(guān)系,可以考慮以下幾種數(shù)據(jù)分析方法
- 實(shí)驗(yàn)設(shè)計(jì)(A/B測(cè)試):A/B測(cè)試是評(píng)估產(chǎn)品變更效果的經(jīng)典方法。通過(guò)將用戶隨機(jī)分配到控制組和實(shí)驗(yàn)組,可以比較不同設(shè)計(jì)或策略變化對(duì)核心業(yè)務(wù)指標(biāo)(如轉(zhuǎn)化率、用戶留存率等)的影響。這種方法可以直接觀察到特定變更對(duì)業(yè)務(wù)指標(biāo)的影響,有助于做出基于數(shù)據(jù)的決策。
- 回歸分析:如果數(shù)據(jù)中包含多個(gè)變量可能影響業(yè)務(wù)指標(biāo),回歸分析可以幫助識(shí)別和量化這些變量對(duì)目標(biāo)變量(如NPS)的影響。線性回歸、邏輯回歸或多元回歸等技術(shù)可以用于此目的。
- 時(shí)間序列分析:如果業(yè)務(wù)指標(biāo)隨時(shí)間變化,時(shí)間序列分析可以幫助識(shí)別趨勢(shì)、季節(jié)性模式或周期變化。這對(duì)于理解長(zhǎng)期策略如何影響業(yè)務(wù)指標(biāo)特別有用。
- 用戶反饋和定性分析:除了定量分析,收集和分析用戶反饋,對(duì)于理解設(shè)計(jì)改變?nèi)绾斡绊懹脩魸M意度和NPS也很重要??梢酝ㄟ^(guò)用戶訪談、焦點(diǎn)小組或調(diào)查來(lái)收集這些數(shù)據(jù)。
但是實(shí)施A/B測(cè)試需要一定的技術(shù)支持和資源,且當(dāng)時(shí)研究并不關(guān)注數(shù)據(jù)隨時(shí)間變化而產(chǎn)生的影響,因此選擇回歸分析,去利用已有的數(shù)據(jù)分析并量化多個(gè)變量之間的關(guān)系就較為適合。
2. 相關(guān)分析的定義
那什么是回歸分析呢?回歸分析的主要作用是用來(lái)評(píng)估變量間的關(guān)系,同時(shí)建立一個(gè)用于預(yù)測(cè)或解釋變量之間關(guān)系的模型。例如,線性回歸分析可以用來(lái)預(yù)測(cè)一個(gè)變量(因變量)如何隨另一個(gè)變量(自變量)的變化而變化。
而回歸分析是相關(guān)分析的一種,是相關(guān)分析的變形。其中相關(guān)分析是統(tǒng)計(jì)學(xué)中用于評(píng)估兩個(gè)或多個(gè)變量之間關(guān)系強(qiáng)度和方向的方法。它不僅可以檢測(cè)變量間的關(guān)系是否存在,還可以評(píng)估這種關(guān)系的強(qiáng)度。最常用的相關(guān)分析方法是皮爾遜相關(guān)系數(shù),它測(cè)量的是兩個(gè)變量之間的線性相關(guān)性。
3. 相關(guān)分析應(yīng)用場(chǎng)景
在互聯(lián)網(wǎng)產(chǎn)品和服務(wù)領(lǐng)域,相關(guān)分析和回歸分析被廣泛用于理解用戶行為、優(yōu)化產(chǎn)品功能、提高用戶體驗(yàn)和驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)。如對(duì)用戶參與度與留存率分析,可以分析用戶參與度(如頁(yè)面瀏覽次數(shù)、app內(nèi)活動(dòng)頻率)與用戶留存率之間的關(guān)系。這有助于識(shí)別哪些特定的用戶行為與高用戶忠誠(chéng)度相關(guān)聯(lián)。對(duì)APP設(shè)計(jì)與轉(zhuǎn)化率分析,探討網(wǎng)站設(shè)計(jì)元素(如布局、顏色方案、導(dǎo)航簡(jiǎn)易性)與用戶轉(zhuǎn)化率(如注冊(cè)、購(gòu)買)之間的關(guān)系,分析網(wǎng)站各個(gè)設(shè)計(jì)元素如何共同影響轉(zhuǎn)化率,以指導(dǎo)網(wǎng)站優(yōu)化。
在市場(chǎng)營(yíng)銷領(lǐng)域,可以分析廣告投放效果,通過(guò)研究廣告曝光次數(shù)與點(diǎn)擊率或轉(zhuǎn)化率之間的關(guān)聯(lián)性,幫助評(píng)估廣告投放的有效性,也可以預(yù)測(cè)在不同用戶群體、不同平臺(tái)上的廣告投放效果,以優(yōu)化廣告策略和預(yù)算分配等等。然而,需要注意的是,數(shù)據(jù)的質(zhì)量和分析方法的正確應(yīng)用對(duì)于得到有價(jià)值的洞見(jiàn)至關(guān)重要。
二、分析方法的應(yīng)用與實(shí)踐
相關(guān)分析和回歸分析方法在數(shù)據(jù)分析中應(yīng)用比較普遍,但如何將分析方法和產(chǎn)品行為數(shù)據(jù)相關(guān)聯(lián)應(yīng)用較少。所以一方面需要探索適用線上產(chǎn)品分析的思路與方法,另一方面也需要驗(yàn)證這樣的思路和方法的可靠性。
于是我們先嘗試把它應(yīng)用到解決某業(yè)務(wù)上的問(wèn)題,一是看方法是否能跑得通,也就是能不能通過(guò)方法本身的校驗(yàn),二是看通過(guò)分析結(jié)果能不能洞察到合理的結(jié)論,三是看得到的結(jié)論實(shí)際應(yīng)用到設(shè)計(jì)中,是否能帶來(lái)如預(yù)期一樣的效果。
本部分的分享重點(diǎn)是通過(guò)案例說(shuō)明回歸分析和相關(guān)分析方法的應(yīng)用過(guò)程及結(jié)果。因?yàn)闃I(yè)務(wù)信息不方便詳細(xì)介紹,以下部分指標(biāo)、數(shù)據(jù)等已處理過(guò),非真實(shí)情況。
1. 觀點(diǎn)預(yù)設(shè)
首先我們需要明確目標(biāo),這些可能來(lái)自業(yè)務(wù)目標(biāo)或者遇到的困難、設(shè)計(jì)目標(biāo)或者遇到的困難等等。
比如我們做的某業(yè)務(wù)的核心目標(biāo)是提升NPS、留存、連接轉(zhuǎn)化率等指標(biāo)。為了提升NPS,上線了提升信息真實(shí)性的功能,設(shè)計(jì)的目標(biāo)是提升用戶對(duì)信息真實(shí)性的感知。但是問(wèn)題是,導(dǎo)致NPS波動(dòng)的原因非常多,且很復(fù)雜,無(wú)論提升了信息真實(shí)性,還是提升了用戶對(duì)信息真實(shí)性的感知,都不能說(shuō)明NPS是否提升,也不能說(shuō)明NPS提升和這些有關(guān)。
再如,為了提升連接轉(zhuǎn)化率,我們?cè)诤诵穆窂酱箢?列表-詳情做了非常多的努力,這里面哪些是切實(shí)有效能夠提升連接轉(zhuǎn)化率的,我們一般通過(guò)A/B測(cè)來(lái)評(píng)定。
但是有很多設(shè)計(jì)點(diǎn)的改動(dòng)較為細(xì)微,且不是所有的功能或者設(shè)計(jì)都有機(jī)會(huì)通過(guò)嚴(yán)格控制變量來(lái)獲得驗(yàn)證結(jié)果,并且功能和界面都是比較主觀的,沒(méi)有最好的,總會(huì)有更好的方案。所以一方面有很多設(shè)計(jì)點(diǎn)可能是有提升空間的,但是沒(méi)有辦法發(fā)現(xiàn),另外一方面總會(huì)出現(xiàn)一些爭(zhēng)議,比如為了提升連接轉(zhuǎn)化率,要不要把看起來(lái)沒(méi)什么用處的圖片放到描述后面。
2. 分析方案策劃
確定了目標(biāo),我們需要研究和預(yù)測(cè)不同變量之間的關(guān)系,為后續(xù)產(chǎn)品優(yōu)化提供支持?所以選定了相關(guān)分析、一元線性回歸、多元線性回歸,三個(gè)方法都能達(dá)到我們想要的效果。通過(guò)線性回歸能了解變量間量化的關(guān)系,預(yù)測(cè)未來(lái)的變化趨勢(shì),即自變量提升1%能導(dǎo)致因變量多大的變化。這個(gè)也可以應(yīng)用在產(chǎn)品營(yíng)銷策略、定價(jià)策略等場(chǎng)景。相關(guān)分析能獲得的信息相對(duì)少一些,但是也能定性的了解到兩個(gè)變量之間是否顯著正相關(guān)。
我們?cè)囼?yàn)了相關(guān)分析、一元線性回歸、多元線性回歸三個(gè)不同的分析方法,因?yàn)榫€上產(chǎn)品變量之間耦合比較嚴(yán)重,且在進(jìn)行分析過(guò)程中發(fā)現(xiàn)部分自變量之間共線性嚴(yán)重且殘差存在自相關(guān),不符合線性回歸的數(shù)據(jù)要求。所以最后采用了相關(guān)分析,這個(gè)結(jié)果和一元線性回歸的結(jié)果是一樣的,能普遍適用到所有場(chǎng)景,能得到的結(jié)論也比較多。
3. 數(shù)據(jù)采集
和用戶調(diào)研能收集到單一用戶所有維度的信息,所以采用用戶維度的信息進(jìn)行分析不同,線上產(chǎn)品很難收集到單個(gè)用戶所有的行為數(shù)據(jù),所以我們采用了聚合數(shù)據(jù),采用同一段時(shí)間內(nèi)不同天的核心數(shù)據(jù)和預(yù)設(shè)相關(guān)的用戶行為數(shù)據(jù)。比如近30天每天的NPS和為了提升真實(shí)性的模塊的展現(xiàn)率、點(diǎn)擊率,近30天每天的連接率和連接相關(guān)模塊的展現(xiàn)率、點(diǎn)擊率。
(但這有一個(gè)風(fēng)險(xiǎn)點(diǎn)在于:這種數(shù)據(jù)處理方式的前提是我們假設(shè)時(shí)間對(duì)變量是沒(méi)有任何影響的)
4. 數(shù)據(jù)分析
在試算后選取了相關(guān)分析的方法,然后就用SPSS交叉分析各用戶行為和核心數(shù)據(jù)的相關(guān)性。
這里我們分析了用戶行為和所有核心指標(biāo)的相關(guān)性,因?yàn)槟硞€(gè)用戶行為可能和A指標(biāo)顯著正相關(guān),但是和B指標(biāo)顯著負(fù)相關(guān),這里如果只看其中某個(gè)方面,就會(huì)獲得錯(cuò)誤的結(jié)論,之后所做的事情也都會(huì)白費(fèi)。
5. 洞察
分析相關(guān)得到的結(jié)果是否符合預(yù)期,針對(duì)不符合預(yù)期的部分,分析原因、列出優(yōu)化todo,符合預(yù)期的看能否有應(yīng)用場(chǎng)景。
比如前面提到為了提升NPS做的相關(guān)功能模塊,有一個(gè)模塊的點(diǎn)擊率和NPS顯著負(fù)相關(guān),這不符合我們?cè)O(shè)計(jì)的初衷,于是我們發(fā)現(xiàn)這個(gè)模塊確實(shí)有設(shè)計(jì)不合理的部分,造成用戶對(duì)要傳達(dá)的信息有誤解,所以在修正錯(cuò)誤的信息傳達(dá)方式后,我們發(fā)現(xiàn)這個(gè)模塊的點(diǎn)擊率變成了和NPS不相關(guān)了,雖然距離我們希望的和NPS正相關(guān)的結(jié)果還有距離,還需要繼續(xù)改進(jìn),但是我們改進(jìn)了對(duì)NPS有負(fù)向影響的因素,近期NPS的提升就是由很多個(gè)類似這樣的改動(dòng),積累起來(lái)的。
6. 上線驗(yàn)證
應(yīng)用相關(guān)分析/回歸分析結(jié)論,設(shè)計(jì)優(yōu)化方案,推動(dòng)上線,驗(yàn)證猜測(cè),同時(shí)驗(yàn)證相關(guān)分析方法有效性。
還是以某業(yè)務(wù)的應(yīng)用為例,列舉幾個(gè)應(yīng)用場(chǎng)景。
- 驗(yàn)證設(shè)計(jì)方案對(duì)核心指標(biāo)提升的作用,改善副作用部分:比如發(fā)現(xiàn)某模塊和NPS顯著負(fù)相關(guān),走查發(fā)現(xiàn)該模塊確實(shí)有表意問(wèn)題,在改進(jìn)后該模塊和NPS變?yōu)椴幌嚓P(guān),減少一個(gè)NPS的負(fù)向影響因子。也可以制定體驗(yàn)優(yōu)化優(yōu)先級(jí),優(yōu)先優(yōu)化使用量較高且對(duì)核心指標(biāo)呈副作用的模塊:比如A模塊使用率較高,和NPS顯著正相關(guān),但是和收入指標(biāo)顯著負(fù)相關(guān), B模塊使用率較低,和NPS顯著負(fù)相關(guān),我們綜合以上信息,給體驗(yàn)優(yōu)化的優(yōu)先級(jí)排序就是優(yōu)先A模塊,其次是B模塊。
- 驗(yàn)證點(diǎn)擊率較高的功能,對(duì)核心指標(biāo)的作用,放大其正向作用:比如發(fā)現(xiàn)圖片展現(xiàn)率、點(diǎn)擊率和連接轉(zhuǎn)化率顯著正相關(guān),對(duì)圖片模塊進(jìn)行走查發(fā)現(xiàn)可以提高圖片展示效果,在改進(jìn)后連接轉(zhuǎn)化率明顯提升。
- 驗(yàn)證設(shè)定的幾個(gè)滿意度指標(biāo),和NPS是否正相關(guān),是否值得持續(xù)監(jiān)控:比如在這之前的幾個(gè)滿意度指標(biāo)是根據(jù)用戶調(diào)研、產(chǎn)品經(jīng)驗(yàn)等主觀信息總結(jié)歸納出來(lái)的,在回歸分析后發(fā)現(xiàn)各個(gè)滿意度指標(biāo)和NPS都是顯著正相關(guān)的,也驗(yàn)證了觀測(cè)滿意度變化趨勢(shì)能解釋部分情況下NPS的變化。
- 確定因變量的影響因子,預(yù)測(cè)為了達(dá)成因變量的目標(biāo)值,需要自變量增長(zhǎng)多少:比如為了提升業(yè)務(wù)的NPS,通過(guò)回歸分析得到多個(gè)NPS影響因子(用戶行為)和NPS的公式,從而得知,為了提升NPS10%,需要提升NPS影響因子,也就是引導(dǎo)10%k1用戶多做出某個(gè)或某些行為。
7. 注意事項(xiàng)
1) 在策劃環(huán)節(jié),根據(jù)目標(biāo)和業(yè)務(wù)、產(chǎn)品的實(shí)際情況,需要選擇合適的分析方法。
2) 數(shù)據(jù)采集需要注意:
- 數(shù)據(jù)質(zhì)量:相關(guān)分析和回歸分析的結(jié)果受到數(shù)據(jù)質(zhì)量的影響。互聯(lián)網(wǎng)數(shù)據(jù)通常是大規(guī)模、高維度的,但其中可能存在缺失值、異常值、重復(fù)值等問(wèn)題。這些問(wèn)題會(huì)影響相關(guān)性和回歸模型的準(zhǔn)確性和可靠性。eg.因單個(gè)用戶行為不全,采用每天的用戶行為數(shù)據(jù)
- 數(shù)據(jù)量:樣本數(shù)據(jù)需大于等于30組;實(shí)操因時(shí)間太長(zhǎng)可能會(huì)因業(yè)務(wù)改版波動(dòng)較大
- 偏差問(wèn)題:在互聯(lián)網(wǎng)中,數(shù)據(jù)收集和采樣的方式可能存在偏差。例如,用戶行為數(shù)據(jù)可能受到用戶自身行為偏好和行為模式的影響,導(dǎo)致相關(guān)性和回歸模型的結(jié)果存在偏差。因此,在分析和解釋結(jié)果時(shí),需要考慮潛在的偏差問(wèn)題。
3) 數(shù)據(jù)分析環(huán)節(jié):在回歸分析中,多個(gè)自變量之間可能存在高度相關(guān)性,即多重共線性。這會(huì)導(dǎo)致回歸系數(shù)估計(jì)不準(zhǔn)確,難以解釋自變量對(duì)因變量的獨(dú)立貢獻(xiàn)。
4) 洞察環(huán)節(jié):
- 因果關(guān)系:相關(guān)分析只能描述變量之間的關(guān)系,不能確定因果關(guān)系。在互聯(lián)網(wǎng)中,變量之間的相關(guān)性可能是由于其他未觀察到的因素所引起的。因此,在進(jìn)行相關(guān)分析時(shí),需要謹(jǐn)慎解釋結(jié)果,避免將相關(guān)性誤解為因果關(guān)系。
- 洞察與解釋:我們?cè)诙床斓臅r(shí)候需要結(jié)合常識(shí)、經(jīng)驗(yàn)去理解、解釋分析的結(jié)果和上線驗(yàn)證的結(jié)果;同時(shí)也需要考慮互聯(lián)網(wǎng)產(chǎn)品的特殊性,如頁(yè)面層級(jí)結(jié)構(gòu)關(guān)系等,可能會(huì)影響對(duì)結(jié)論的理解。
5) 所有數(shù)據(jù)分析僅是作為一種參考,不能迷信,最后確定的產(chǎn)品優(yōu)化仍需結(jié)合實(shí)際情況綜合看待。
三、未來(lái)展望
當(dāng)然現(xiàn)有采用的研究方法還有很多不足,在數(shù)據(jù)層面上,我們可以結(jié)合用戶反饋、訪談或案例研究,去提供定性的洞見(jiàn),幫助理解數(shù)據(jù)背后的用戶行為和偏好,同時(shí)收集更多元化的數(shù)據(jù),包括不同用戶群體、不同市場(chǎng)環(huán)境的數(shù)據(jù),可以幫助驗(yàn)證研究結(jié)果的普適性;在機(jī)制層面,建立動(dòng)態(tài)跟蹤機(jī)制,持續(xù)監(jiān)測(cè)改進(jìn)措施對(duì)核心指標(biāo)的影響,以便及時(shí)調(diào)整策略。
希望未來(lái)通過(guò)這些方法的應(yīng)用和結(jié)合,可以更全面、深入地理解業(yè)務(wù)改進(jìn)措施與核心指標(biāo)之間的關(guān)系,從而為制定有效的業(yè)務(wù)策略提供更強(qiáng)的數(shù)據(jù)支持。
作者:吳立杰、王楠、訾亞磊、劉雅靜、陳浩然
來(lái)源公眾號(hào):58UXD(ID:i58UXD),58UXD,全稱58同城用戶體驗(yàn)設(shè)計(jì)中心。
本文由人人都是產(chǎn)品經(jīng)理合作媒體 @58UXD 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自 Unsplash,基于CC0協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
- 目前還沒(méi)評(píng)論,等你發(fā)揮!