產品改版評估:如何規避新老用戶混合的問題
產品改版評估除了要能規避新老用戶的問題,能夠用正確的百分比告訴你迭代的實際意義,更需要基于改版目的靈活、多維的去評估迭代的價值;數據更多的是衡量,除了比較,更多的要看背后為企業帶來的真正價值。
微軟:有1/3次的迭代帶來了增長;有1/3是沒有明顯作用,甚至有1/3是有負面作用的。
亞馬遜:60%~90%的想法沒有能夠完善它們想改善的目標。
——數據來源:《精益企業:成功實施精益化管理的實踐指南》
一、改版評估的重要性
一款互聯網產品(APP、網站、H5等),特別是在一家互聯網公司,產品承載著整個公司的商業價值。
“小步快跑、快速迭代”被認為是互聯網產品生存的基本法則,快速迭代不僅僅是在追求迭代周期的短,他所推崇的核心理念其實是:在當前互聯網發展和競爭環境下,你不得不先拿一個demo產品驗證你的想法、通過不斷了解用戶、接收市場反饋然后進行快速調整并反映到產品設計層面。如果說從0到1是在了解市場,那從1到n就是在留住用戶。而每一次迭代,你都需要明白,你是否解決了問題,是否優化了體驗,是否為后續商業價值的創造提升了效率。而數據,成為了你客觀、高效評估的手段。
無論你是在哪個階段,對產品迭代的準確評估都非常重要,如果不能在短期內拿一個精準的指標去評估你的迭代價值,你又怎能保證新的版本會為之后新增的用戶帶來更好的體驗、更高效的為企業創造價值?
二、 為什么要規避新老用戶混合
一款產品中,包含了不同使用深度、不同生命周期的用戶。假設改版前后新增曲線基本平穩、用戶屬性等均勻度一致(也即改版前后流量平穩,沒有活動推廣、沒有渠道異?;蚱渌麄€性化因素),那這時,唯一要保證的是使用新版本的用戶對產品的認知是一致的。因為對于老用戶,可能無論你如何改動都會留存,但對于新用戶,可能就會有影響,可能導致流失。
與其說是在規避新老用戶,本質其實是在控制實驗變量,兩組用戶從統計意義上相同,對產品的認知一致,變量(偏差)只是使用的版本不同,那只有剔除掉新版本中的老用戶,評估改版前新用戶和改版后新用戶的使用情況才更客觀和科學。
三、如何避免新老用戶混合
以人人貸產品為例(主要是最近和他們勾搭的比較多),假設12月15日在首頁增加了新手特權軸設計并發布了v3.1新版(舊版v3.0),這一功能面向的用戶是新手期用戶,設計初衷可能是認為這樣的設計能讓用戶清晰的知道自己所處的階段以及完成每一步帶來的利益,從而引導用戶注冊、開戶、充值,從而提升首次投資的轉化率。
如何評估這一改動的價值?你可以以上圖的方式評估,很明顯,不夠嚴謹,嚴格意義上來說是錯誤的評估,因為到底是6%的增幅,還是60%的增幅,直接影響這次改版價值以及團隊投入產出的評估。
如何正確評估?這里提供兩個神奇的維度:第一次訪問時間和轉化時間。
假設我們在12月30日對新版本進行評估 ,通過這兩個條件,我們篩選出新增時間為12月16~12月29 日的用戶,并且使用版本是v3.1,保存為用戶群;
同樣,我們也可以篩選出新增時間是12月1日~12月14日的用戶,并且使用版本是v3.0,保存為用戶群。
分別查看這兩個群體在12月1日~12月14日的首投轉化率和12月16~12月29日的首投轉化率,假設分別是20%和40%。
這兩個百分比就是一個剔除掉老用戶,就是一個相對精準的評估。如果用戶每日新增的基數比較大,我們可以取3到5天的數據先做評估然后持續觀測兩周。
當然,除了關注v3.1對終極指標的影響,還需要從注冊轉化、開戶轉化、充值轉化整體評估改版帶來的累積價值。
換一種思維,其實對產品功能的優化本質上是要提升某個指標或某種轉化率,準確點是轉化的效率!通過對新增時間的把控保證了用戶對產品認知的一致,通過對轉化時間的控制,保證了對轉化效率的影響。
基于以上步驟,我們來看產品改版評估的正確姿勢,請看第四點。
四、用正確的姿勢評估產品迭代
1、明確改版目的
面向什么人群?解決什么問題?改版的出發點很多,可能是增加了某一個新功能,可能是優化了現有功能的體驗,甚至需要基于公司戰略目標去評估,比如某社區產品發展兩年,積累了一批忠實用戶,趨于企業戰略目標,開始嘗試變現,在產品導航欄增加了電商入口,那除了要評估改版后一段時間內新增用戶的留存率和改版前一段時間內新增用戶的留存率(留存是社區、內容類產品的第一指標)更需要評估這一嘗試對特定用戶群的影響,特別是對社區忠實用戶留存率的影響,即使發現新增用戶的留存率比純社區時的留存率降低了,并且忠實用戶的留存率也降低了,但面向忠實用戶的購買轉化是超出預期的,那只要減少是在一個可以接受的范圍內,我們認為,這一嘗試是正確的并且是值得期待的。
2、確定評估指標
評估前,需要明確發版后要用哪些指標來衡量產品好壞。最好是在新版本內部啟動前,就明確改版目的和Control組的數據情況,并適當評估改版后的理想狀態能提升多少,以便改版后清晰對比。
小結
總結說來,產品改版評估除了要能規避新老用戶的問題,能夠用正確的百分比告訴你迭代的實際意義,更需要基于改版目的靈活、多維的去評估迭代的價值,數據更多的是衡量,除了比較,更多的要看背后為企業帶來的真正價值。
本文由 @韓重明?原創發布于人人都是產品經理。未經許可,禁止轉載。
請問growthhub是什么工具 哪里可以下載? 謝謝
國內外行業案例、最佳實踐,特別是基于數據驅動增長的方法論。每周更新一篇。如果你有相關實踐經驗,歡迎投稿,與我們一起思考、實踐并傳播。wechatid:growthhub