如果你是微信的PM,如何向張小龍匯報(bào)訂閱號(hào)「feed流」改版效果?
改版效果如何評(píng)估呢?作為PM ,如何跟Leader匯報(bào)產(chǎn)品的改版效果?
昨天,微信訂閱號(hào)將采用信息流設(shè)計(jì)的一則消息刷爆了新媒體運(yùn)營(yíng)圈,在一些產(chǎn)品、運(yùn)營(yíng)社區(qū)上也引發(fā)了熱議,最后總結(jié):還是要用數(shù)據(jù)說(shuō)話。所以,如果你是微信的產(chǎn)品經(jīng)理,對(duì)于此次改版,你會(huì)如何通過(guò)數(shù)據(jù)進(jìn)行評(píng)估?今天,以微信訂閱號(hào)的改版為例,跟大家談?wù)劗a(chǎn)品改版評(píng)估這件事。
將傳統(tǒng)的折疊方式變?yōu)楦鼮橹庇^的feed流模式。
一、改版評(píng)估的重要性
大多數(shù)產(chǎn)品經(jīng)理對(duì)改版評(píng)估這件事都比較頭疼,要么粗略評(píng)估,要么直接扔給運(yùn)營(yíng)或數(shù)據(jù)部門(mén)出數(shù)據(jù),通常也都只是對(duì)比一下新版本的用戶增長(zhǎng)情況,對(duì)比一下新舊版本活躍、留存的影響。要知道,每一次改版都是產(chǎn)品和用戶的一次重新認(rèn)識(shí),改版如果是正向的,可能會(huì)帶來(lái)增長(zhǎng),如果帶來(lái)的是不增不減還好,可怕的是因?yàn)橐淮胃陌鎺?lái)用戶體驗(yàn)和信任的降低,造成流失,而這樣的案例也太多太多。
所以,對(duì)于產(chǎn)品經(jīng)理來(lái)說(shuō),上線一個(gè)新版雖已身心疲憊,但用數(shù)據(jù)量化你的成果也是重中之重。評(píng)估其實(shí)很簡(jiǎn)單,掌握了方法,用戶數(shù)據(jù)說(shuō)話,沒(méi)準(zhǔn)以后就可以站著改需求了。
二、如何進(jìn)行評(píng)估
1、明確改版初衷
不是每次都適合看新增、留存、活躍這些統(tǒng)計(jì)指標(biāo),正確評(píng)估的第一步是回到產(chǎn)品設(shè)計(jì)的初衷,因?yàn)槊看胃陌嬉欢ㄊ怯心康牡模簝?yōu)化了購(gòu)買路徑一定是想提升購(gòu)買轉(zhuǎn)化率,優(yōu)化了某一頁(yè)面的設(shè)計(jì)一定是想提升當(dāng)前頁(yè)面的用戶體驗(yàn),體驗(yàn)的提升帶來(lái)的可以使用戶在當(dāng)前頁(yè)停留時(shí)長(zhǎng)的增加,可以是當(dāng)前頁(yè)面核心功能點(diǎn)擊人數(shù)次數(shù)的增加,或是社群中核心用戶的幾句正向反饋。
所以,從改版目的出發(fā),每一次改版都是可以衡量的。我們以微信訂閱號(hào)信息流的改版為例:
(可能的)改版初衷:
解決目前訂閱號(hào)被嚴(yán)重折疊,粉絲圖文頁(yè)打開(kāi)率低的現(xiàn)狀
改版內(nèi)容:
- 提升“內(nèi)容”的顯示等級(jí)(新版:1級(jí);舊版:2級(jí));
- 優(yōu)化用戶從列表到文章詳情的路徑(新版:1步;舊版:2步;)
(可能的)改版目的:
- 提升訂閱號(hào)入口的打開(kāi)率
- 提升原圖文的打開(kāi)率
- 提升平均每個(gè)用戶每天在圖文頁(yè)查看公眾號(hào)的個(gè)數(shù)
2、明確評(píng)估指標(biāo)
基于改版目的,我們需要提前明確評(píng)估指標(biāo),通常一次正向改版會(huì)帶來(lái)多項(xiàng)指標(biāo)的提升,此次評(píng)估我們以3個(gè)最直接的指標(biāo)來(lái)衡量:
指標(biāo)1:訂閱號(hào)入口打開(kāi)率
說(shuō)明:無(wú)論是路徑進(jìn)行了優(yōu)化,還是界面進(jìn)行了優(yōu)化,都會(huì)帶來(lái)用戶對(duì)這一功能整體好感的提升,一定程度上會(huì)提升這一入口的打開(kāi)率;
指標(biāo)2:原圖文打開(kāi)率
說(shuō)明:更多的信息在列表頁(yè)得以展示,從列表到詳情實(shí)現(xiàn)了路徑最短,用戶在訂閱號(hào)功能模塊下的使用效率提升,每一次打開(kāi)能看的文章數(shù)也會(huì)增加;
指標(biāo)3:平均每個(gè)用戶在圖文頁(yè)查看公眾號(hào)的個(gè)數(shù)
說(shuō)明:同指標(biāo)2的解釋,更多的文章得以曝光,也就意味著更多的內(nèi)容創(chuàng)作者得以曝光。
3、設(shè)置實(shí)驗(yàn)組和對(duì)照組
我們以指標(biāo)1為例,當(dāng)明確了評(píng)估指標(biāo),首先是要對(duì)當(dāng)前現(xiàn)狀有所量化,這樣改版后才能形成對(duì)比。
對(duì)照組:
通常我們會(huì)篩選舊版本一段時(shí)間的新增用戶,這一段時(shí)間可能流量平穩(wěn)、沒(méi)有大面積推廣、沒(méi)有全民熱點(diǎn)事件,評(píng)估這段時(shí)間新用戶使用這一功能的人數(shù)、次數(shù)、活躍比(活躍比:當(dāng)天活躍的人中打開(kāi)這一功能的百分比),我們假設(shè)微信的新增較少,在每一天的活躍都是存量用戶,新增活躍幾乎可以忽略,并且每一天活躍的用戶類型都比較平均。然后查看這一人群在這一段時(shí)間的打開(kāi)率。
對(duì)照組
實(shí)驗(yàn)組:
新功能上線以后通常會(huì)帶來(lái)用戶的一陣新鮮感,基于對(duì)照組中我們對(duì)微信新增較少而將樣本篩選為活躍用戶的假設(shè),導(dǎo)致我們需要在上線之后用戶討論熱度過(guò)后再來(lái)衡量,時(shí)間跨度和條件與對(duì)照組相同。然后對(duì)比這一入口在這一段時(shí)間的使用人數(shù)、次數(shù)、活躍比的變化。
實(shí)驗(yàn)組
對(duì)特定人群的分析也是改版評(píng)估非常重要的方法,也即衡量功能對(duì)特定人群的影響,可以基于用戶環(huán)境信息、用戶屬性維度,甚至用戶生命周期去對(duì)比。指標(biāo)2、指標(biāo)3邏輯類似,由于數(shù)據(jù)了解有限,我們只對(duì)分析思維進(jìn)行闡述。
4、得出結(jié)論
得出結(jié)論的過(guò)程是直接影響我們定義他正向與否的關(guān)鍵,對(duì)數(shù)據(jù)的解讀也是重中之重,不能缺少的是明確出我們對(duì)樣本數(shù)據(jù)的假設(shè)條件。
5、持續(xù)驗(yàn)證
基于時(shí)效性的需求,通常我們會(huì)在灰度階段或者剛上線一周內(nèi)進(jìn)行基礎(chǔ)評(píng)估,在正式環(huán)境的表現(xiàn)以及用戶對(duì)這一重要功能的持續(xù)粘性也是也是需要持續(xù)觀測(cè)的,包括對(duì)其他核心業(yè)務(wù)指標(biāo)的影響。
總結(jié),在明確了改版評(píng)估的重要性后,我們以微信的一次改版為例,總結(jié)了以明確改版初衷為起點(diǎn),從指標(biāo)定義、到實(shí)驗(yàn)設(shè)定、到最后的結(jié)論和持續(xù)驗(yàn)證的5步方法論,并且對(duì)于評(píng)估過(guò)程中的實(shí)驗(yàn)組、對(duì)照組的劃定和假設(shè)做了講解。希望對(duì)于產(chǎn)品、運(yùn)營(yíng)從業(yè)人員的有所啟發(fā)。
說(shuō)明:本文僅是對(duì)于此次傳聞內(nèi)容自己的理解,并不代表微信確定會(huì)進(jìn)行這次改版,并且基于文中提到的指標(biāo)進(jìn)行評(píng)估,意在傳達(dá)產(chǎn)品改版評(píng)估的重要性以及分析思維和方法論,僅供參考。
本文由 @諸葛io韓重明? 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自PEXELS,基于CC0協(xié)議
我覺(jué)得還有一個(gè)原因就是去中心化
對(duì)啊,扶持長(zhǎng)尾訂閱號(hào),讓訂閱號(hào)流量分布更加均衡,有利用整個(gè)訂閱號(hào)生態(tài)的建設(shè)。這樣一些小的訂閱號(hào)優(yōu)質(zhì)的內(nèi)容會(huì)被更多人看到,大的內(nèi)容池豐富了,用戶所投入地時(shí)間也會(huì)正比上漲,這些媒體收獲更多流量和信心,更好地持續(xù)生產(chǎn)優(yōu)質(zhì)內(nèi)容,這大概是一件用戶、媒體、平臺(tái)三贏的事情