產(chǎn)品增長案例:我們在imo上的A/B和踩過的坑

2 評論 7203 瀏覽 50 收藏 26 分鐘

本文通過對imo產(chǎn)品的分析,非常好地闡釋了產(chǎn)品增長在實(shí)際操作中的應(yīng)用。通過“提出假設(shè)”->”驗(yàn)證ab數(shù)據(jù)”->”復(fù)盤”的不斷快速迭代來進(jìn)一步加深對產(chǎn)品和用戶的理解,只有這樣做產(chǎn)品才能從本質(zhì)上提高產(chǎn)品能力,否則就算做出了成功的產(chǎn)品,也只是運(yùn)氣使然,希望大家都能從這個案例中得到啟發(fā)。

imo是一個10年的熟人通訊產(chǎn)品,面向中東、南亞、北非等新興國家。由于原團(tuán)隊的特殊性,功能邏輯和界面視覺都比較簡陋且有一定的堵塞問題,我們團(tuán)隊接手后,開始對imo app進(jìn)行梳理改版,讓其更符合用戶心智、更具備擴(kuò)展性,為日后轉(zhuǎn)型作鋪墊。

而改版和鋪路所面臨的最大挑戰(zhàn)就是“如何做好本地化設(shè)計”。

僅僅通過閱讀報告和短時出差,是無法深刻了解新興國家情況的,尤其是文化層面的。有些當(dāng)?shù)厝瞬拍躦et到的梗,我們是無法直接領(lǐng)略到的——就如是在國內(nèi)已經(jīng)不單單代表“微笑”,又如是在西方文化“已讀”是標(biāo)配而在中國則是來自工作的不得已的壓力……若非在當(dāng)?shù)亻L期生活,是無法一下子領(lǐng)悟其弦外之音。

如此以來,過往國內(nèi)的一些判斷方法就無法直接使用——每個國家的經(jīng)濟(jì)與發(fā)展階段不同,互聯(lián)網(wǎng)的滲透情況大相徑庭,用戶市場情況也就不盡相同。在國內(nèi)所總結(jié)的產(chǎn)品設(shè)計方法論,投放在印度與投放在印尼可能會得到截然相反的效果。國內(nèi)眾多出海遇挫的案例告訴我們,直接把國內(nèi)的產(chǎn)品套路復(fù)刻到海外,是行不通的。

imo新舊logo

App本身的歷史包袱,中外各國的巨大文化差異,再加上WhatsApp等競品的步步緊逼……在三座大山的壓迫之下,貿(mào)然的一次性大改版必然會導(dǎo)致用戶不可逆的、血崩式的流失。

在這種情況下,A/Btest是驗(yàn)證方案是否適合目標(biāo)市場的最穩(wěn)健而高效的方式。產(chǎn)品與設(shè)計團(tuán)隊拆解細(xì)分了功能界面(有的甚至細(xì)到控件顆粒度),以原方案為對照組來驗(yàn)證新方案的被接受程度。

以下主要分享A/Btest項目的經(jīng)歷,包括A/Btest的要點(diǎn)及我們遇到的坑,以此共鑒共勉。

01 A/Btest的概念

1. 什么是A/Btest

使用不同的方案進(jìn)行隨機(jī)投放,以某些數(shù)據(jù)指標(biāo)為標(biāo)準(zhǔn),找出關(guān)鍵變量。

一般有由照組和實(shí)驗(yàn)組共同組成,可以驗(yàn)證新舊方案的差異,也可驗(yàn)證多個不同新方案的差異。

2. A/Btest的作用

  • 驗(yàn)證不同方案的效果;
  • 找到關(guān)鍵變量,作為正向或負(fù)向刺激因子,復(fù)用于相同條件的不同方案中。

3. A/Btest的適用情況

一般而言,無法根據(jù)邏輯分析確定結(jié)論、不涉及底層定義規(guī)則、非復(fù)合功能時,可使用A/Btest投放到市場進(jìn)行驗(yàn)證。

02 使用A/Btest的常見誤區(qū)

1. 引入了多個變量

A/Btest是比較單個變量的多個版本的方法,通過測試受試者對變量A和B(乃至C、D)的反應(yīng),來確定哪一個變量最有效。換言之,除了可能影響用戶行為的唯一變量之外,其余變量必須是相同的。

很多功能實(shí)驗(yàn)說是A/Btest,但實(shí)際上,從功能邏輯到視覺樣式都發(fā)生了變化、引入了多個變量,導(dǎo)致無法準(zhǔn)確篩查出引起變化的關(guān)鍵變量。這樣即使測試出了哪套方案數(shù)據(jù)更好,也無法定位出是哪個關(guān)鍵變量導(dǎo)致的變化,這樣的實(shí)驗(yàn)組,結(jié)論仍舊是個黑盒,無法沉淀方法、復(fù)用到其他方案乃至其他業(yè)務(wù)中,效率低下。

2. 涉及到底層規(guī)則

所有的方案都可以通過A/Btest來驗(yàn)證數(shù)據(jù)好壞,但并不是每一個功能都適合使用A/Btest方法。

涉及到底層規(guī)則定義的功能,就不宜使用A/Btest。底層規(guī)則是世界觀的構(gòu)建,是產(chǎn)品的定位、是出發(fā)點(diǎn),而A/Btest則是對結(jié)果的篩選,若通過結(jié)果來左右原因,那就動搖乃至喪失了產(chǎn)品本身的定位。

例如,Timeline和Story是兩種典型的信息形態(tài)。以微信朋友圈為例的Timeline,產(chǎn)品定位是記錄自己生活的相冊,所以配套的方案是廣場廣播式的、優(yōu)先兼容圖片的、可沉淀的瀑布流;而Snapchat的Story,定位是與朋友分享自己當(dāng)前這一刻,所以配套的方案是以人聚合的、視頻為主的、有時效性的房間。

方案是服務(wù)于產(chǎn)品定位的,若看到哪種產(chǎn)品熱門就生搬硬套其方案,即使帶來了數(shù)據(jù)的繁榮恐怕也只是一時的,產(chǎn)品的核心定位是建立長期壁壘的根本所在。

微信-朋友圈,Snapchat-Snaps (story)

3. 樣本量不足

大量個體和少量個體的行為存在重大差異,因此對于不同的功能,需要測試的樣本量是不同的。

例如對于相對獨(dú)立隔離的工具類功能而言,由于不太涉及人與人之間的聯(lián)系,所以可能數(shù)十人的樣本量足以驗(yàn)證哪個變量效率最高;而對于社交功能而言,由于依賴人與人之間的互動、相互滲透、交叉影響,若沒有一定的樣本量(如萬人級別),那么得出的實(shí)驗(yàn)結(jié)果可能就不具備普適性、并不能代表一個群體。換言之,社交功能隨著量級的放大,可能會出現(xiàn)不一樣的結(jié)果。

相互獨(dú)立的個體 與 相互影響的大小群體

4. 并不是單一數(shù)據(jù)決定優(yōu)劣

有的產(chǎn)品是看單一指標(biāo),而有的產(chǎn)品則由多個指標(biāo)相互影響。首先需要明確產(chǎn)品的核心定位是什么,再看方案是否能增強(qiáng)產(chǎn)品的核心定位,最后才是看方案對功能本身的影響。是有明確的主次關(guān)系在其中的。

例如工具產(chǎn)品,每個功能相對獨(dú)立,一般是以效率優(yōu)先的——那么當(dāng)前功能使用率越高越理想。

又如社交產(chǎn)品,深刻依賴于關(guān)系鏈的廣度與密度,那么就不能單看某個功能的使用情況了——比方說社交產(chǎn)品中的內(nèi)容閱讀功能,假設(shè)增強(qiáng)入口樣式提高了該功能的進(jìn)入率,但若因此而導(dǎo)致產(chǎn)品的消息發(fā)送量、通話人數(shù)次數(shù)等核心互動數(shù)據(jù)下降了,那么就可以說該方案負(fù)影響到了產(chǎn)品的核心目標(biāo),或許并不是一個合適的方案。

當(dāng)然,事情并非非黑即白,若該方案對產(chǎn)品的整體留存有明顯的正向作用,那么就需要進(jìn)一步分析情況,例如是否繼續(xù)加強(qiáng)該閱讀功能,甚至可能需要重新審視原本的產(chǎn)品定位。

目標(biāo)定位→增強(qiáng)定位→方案本身

03 A/Btest案例

下文會圍繞“用戶并不會只因?yàn)楣δ軝?quán)重的提高而買單”“所處的互聯(lián)網(wǎng)程度大不相同”兩個角度來介紹我們在改版過程中遇到的坑。它們或證明了一些通用的設(shè)計原則,或告知了我們世界之大是如此不同。

1. 用戶并不會因?yàn)楣δ軝?quán)重的簡單提高而買單

在產(chǎn)品設(shè)計過程中,常見業(yè)務(wù)方希望通過提高權(quán)重來促成某些數(shù)字目標(biāo),這種方法,當(dāng)發(fā)力點(diǎn)與產(chǎn)品定位一致、與使用場景吻合時,有時候很有效的;但更多時候,可能是脫離了場景,或者違背了動機(jī),甚至遠(yuǎn)離了定位,那么就會失去功用。

(1) 在線視頻播放器

這是一個視頻在線播放器,重點(diǎn)在于在線播放視頻。

在線播放器對應(yīng)的功能點(diǎn)包括:基礎(chǔ)播放操作,如暫停進(jìn)度條等;調(diào)整輔助操作,如碼率字幕調(diào)整等;共享操作,如分享下載等。具體功能的權(quán)重及邏輯不展開細(xì)說,此處主要講述權(quán)重調(diào)整與對應(yīng)的結(jié)果。

項目之初,由于業(yè)務(wù)方希望通過在線看電影拉來新增用戶,特意強(qiáng)化了分享操作;另外由于不確定當(dāng)?shù)鼐W(wǎng)絡(luò)情況及用戶對畫面清晰度的容忍度,直接把碼率設(shè)置項外露了(美其名曰把選擇權(quán)交回給用戶)。

舊方案:播放器,突出分享,外露設(shè)置項

經(jīng)過一個月的數(shù)據(jù)驗(yàn)證,發(fā)現(xiàn)“強(qiáng)扭的瓜不甜”,用戶并不會因?yàn)椤巴饴丁被颉皺?quán)重高”就去點(diǎn)擊。具體情況如下:

①分享操作:

進(jìn)入播放頁面的人,20%點(diǎn)擊了分享按鈕,但真正轉(zhuǎn)發(fā)出去只有不到5%——基于好奇而點(diǎn)擊分享,而非真實(shí)動機(jī)(也即是碰瓷)。

有人可能會說,能碰瓷一點(diǎn)是一點(diǎn)啊,1%的分享率也是量啊。是的,但即使有1%的人真的分享出去了,還得看能帶回來的新增轉(zhuǎn)化是多少,層層漏斗下來,無需多言自可意會。

在高權(quán)重位置增加一個杯水車薪的功能,成效不大卻因提高了復(fù)雜度而影響其他更核心功能的使用,可謂撿了芝麻丟了西瓜。

②碼率切換:

在視頻的核心訴求是能“流暢地看”,而調(diào)整清晰度是屬于“額外輔助操作”。

對于這些輔助功能,最優(yōu)解應(yīng)當(dāng)是完全不需要用戶注意到它——根據(jù)網(wǎng)絡(luò)情況自動切換碼率。而在需求之初,因?yàn)榧夹g(shù)暫時還不支持根據(jù)自動切換碼率,業(yè)務(wù)方就要求把碼率切換放在明顯提示的位置,原因是“默認(rèn)清晰度難以敲定,過低可能導(dǎo)致看不清,過高可能導(dǎo)致視頻卡頓“,所以直接把選擇權(quán)拋回給用戶。(PS:這屬于比較典型的本末倒置案例,因?yàn)闀簳r不支持某項能力,而引入新的問題。)

實(shí)際效果是:碼率切換的點(diǎn)擊率不到4%(而且這還沒算上真正設(shè)置成功的比例),絕大部分用戶只會按照默認(rèn)碼率看完視頻……

把選擇壓力丟回給用戶,把非常用的功能都堆砌在外,非但沒有滿足好視頻播放本身,反而導(dǎo)致整個頁面的信息過載,影響了核心操作的效率。這畫面就像是,把一個布滿了各式按鈕的電視遙控器丟給老大娘,而她只是想打開電視看個劇而已。

功能一股腦往外堆砌=這樣的遙控器

回歸初始的設(shè)計思路:

以用戶使用場景為依據(jù)排列權(quán)重,只外露最基礎(chǔ)功能,其他折疊。

  • 基礎(chǔ)功能(能看):全屏、進(jìn)度條、下載(由于印度網(wǎng)絡(luò)的特殊性,他們習(xí)慣于下載資源再反復(fù)使用);
  • 輔助功能(看好):輔助設(shè)置,如設(shè)置碼率、字幕;
  • 二次操作,如分享、媒體中心入口。

技術(shù)層面的功能實(shí)現(xiàn)自動化,自動根據(jù)網(wǎng)絡(luò)情況切換碼率,而手動切換放在更深的入口內(nèi)。

新方案:左圖是播放器默認(rèn)狀態(tài),右圖是通過右上角入口調(diào)起輔助操作面板。

(2) Story的拍攝入口

這是一個拍照分享到story(朋友24小時內(nèi)動態(tài))的功能入口。

在舊版imo中,有拍照入口位于首頁導(dǎo)航欄正中央,推測動機(jī)是為了鼓勵用戶現(xiàn)拍現(xiàn)分享動態(tài)。

舊版:首頁導(dǎo)航上,強(qiáng)調(diào)拍照分享功能

結(jié)合imo的定位,它是以實(shí)時通訊為主,而story只是輔助于朋友間交流的異步功能。把拍攝入口放置在這么重要的位置,似乎與核心定位并不相符。

詳細(xì)來說,問題有三點(diǎn):

  1. 從通訊工具的角度來看,優(yōu)先鼓勵分享動態(tài)顯然與通訊工具的定位不符;
  2. 一個拍照入口放置于聊天列表底部,沒有直接對應(yīng)的使用場景,顯得突兀;
  3. 對于imo用戶、新興國家的人而言,“現(xiàn)拍”更是一種門檻較高的表達(dá)方式。

基于上述原因,我們決定去掉該拍攝入口,讓首頁更聚焦在通訊上,再者是緩解三層漢堡的問題,為日后的功能拓展預(yù)留空間。

新版:把拍照入口從首導(dǎo)航頁去掉

上述的分析是基于邏輯推導(dǎo)的,而實(shí)際使用情況為了穩(wěn)健起見,團(tuán)隊使用了ABtest的方式來驗(yàn)證。

我們把保留拍照入口與去掉拍照入口做了對比實(shí)現(xiàn),結(jié)果發(fā)現(xiàn),去掉了首頁導(dǎo)航的拍照入口后,story整體的發(fā)布人數(shù)、次數(shù)并都沒有明顯下降,甚至連抖動都算不上;而原使用該入口的一小撮用戶也很快地遷移到了story里面去發(fā)布(story內(nèi)的拍攝入口使用人數(shù)、次數(shù)均上漲)。

由此再次證明:用戶并不會因?yàn)楣δ馨粹o身居要位或是放大搶眼,就會真的使用該功能。脫離了使用場景而孤獨(dú)存在,只會是一個空殼,而沒有太大的實(shí)際收益。

(3) 簽名信息的保存入口

這是一個編輯簽名信息后的保存按鈕。

功能本身很簡單,就是編輯完個性簽名的內(nèi)容,點(diǎn)擊保存即完成。

左圖為原方案,保存按鈕在右上角;右圖為實(shí)驗(yàn)方案,保存按鈕放大居中在底部。

在最初的方案,我們遵循了全局統(tǒng)一的操作欄結(jié)構(gòu),把完成按鈕放置在右上角。功能上線后,實(shí)際上的配置率是23%左右,不算特別理想,后來就開始分析原因,先從最可控的變量入手——純視覺層的保存按鈕。

在實(shí)驗(yàn)方案中,我們把保存按鈕加大、放置于編輯區(qū)下發(fā),讓其更加醒目突出,并保證其不被鍵盤遮擋。

實(shí)驗(yàn)結(jié)果表明,兩種方案的配置率差別幾乎是沒有的,實(shí)驗(yàn)方案配置率增長只有0.1%。再加上量級較少,這個結(jié)果就跟抖動一樣,幾乎可忽略不計。在收益不明顯的情況下,我們優(yōu)先選擇遵循全局統(tǒng)一性(左圖方案)。

此實(shí)驗(yàn)組再次證明:功能的使用依靠內(nèi)在驅(qū)動力,單純的把操作區(qū)增強(qiáng)、增大、增重,難以有效的扭轉(zhuǎn)意圖。

2. 所處的互聯(lián)網(wǎng)程度大不相同

互聯(lián)網(wǎng)產(chǎn)品的界面設(shè)計趨勢,大致上是由具象往抽象逐步發(fā)展。以前的界面設(shè)計會通過模仿現(xiàn)實(shí)生活中的實(shí)體物品,來引導(dǎo)教育用戶進(jìn)行操作使用;后來隨著扁平化的出現(xiàn),界面設(shè)計的風(fēng)潮開始往更抽象、更極致的方向演進(jìn),以聚焦目標(biāo)提升效率。

圖形界面的演變過程

對于經(jīng)過了十年、二十年洗禮的歐美和中國互聯(lián)網(wǎng)民來說,這個過程的演變的可接受的、自然而然的。今天我們看到一個寫著play的矩形,會條件反射般地知道它是一個播放按鈕。

但是對于新興國家而言,大部分人是近幾年才剛開始用上智能手機(jī),甚至剛開始從按鍵機(jī)過渡到觸屏機(jī)。這些抽象的設(shè)計元素對他們而言是難以理解的,寫著“Play”字樣的矩形在他們眼里,可能就真的只是一個寫著字的圖形而已。

(1) 操作圖形化

這是一個注冊時的完成按鈕。

左圖為原方案,右圖是實(shí)驗(yàn)方案

在接手imo時,原注冊界面就是以“??”代表完成操作。

我們按照在國內(nèi)做界面的思路,會覺得圖形的表意不夠準(zhǔn)確、修飾性更大一些,于是在新實(shí)驗(yàn)方案中使用了“OK”文本進(jìn)行代替,當(dāng)時也有考慮到理解能力的問題,但“OK”是英語覆蓋地區(qū)的通用單詞,應(yīng)該不至于造成困難。

然而,實(shí)際的數(shù)據(jù)告訴我們,“??”方案的注冊成功率,就是要高于“OK”方案的。也就是說,在所有變量一樣的情況下,圖形化的操作按鈕轉(zhuǎn)化率更高。

此情況后續(xù)出現(xiàn)在各種功能的設(shè)計上,種種實(shí)驗(yàn)都證明圖形化的操作,轉(zhuǎn)化率會比純文本的轉(zhuǎn)化率更高。由此我們分析推測,圖形化的操作指引更強(qiáng),而純文本還是過于抽象,對于目前的用戶來說,尚且未能被完全接受。

基于此結(jié)論,后續(xù)我們更新了相應(yīng)的組件庫,并補(bǔ)充了一條新的設(shè)計原則:盡量使用圖形化的設(shè)計語言。

左圖為原組件,純文本操作;右圖是新組件,圖形化操作

(2) 減少說明性文本

在任何產(chǎn)品的設(shè)計上,若想依賴文本信息去解釋說明功能,往往是事倍功半效果甚微。因?yàn)?strong>文本是信息高度壓縮的媒介,相比于圖片、視頻,文字的閱讀需要耗費(fèi)更多的腦力去解析。當(dāng)文字作為輔助說明時,純文本的被接受度、被吸收度也是最差的。另外,新興國家用戶的英語水平參差不齊,普遍還沒能將英語當(dāng)作日常溝通語言,當(dāng)他們面對一串串英文文本時,只能通過一些零碎單詞去猜測意思。

基于上述兩點(diǎn),就不難理解他們自動忽略說明文本的習(xí)慣了。

兩種典型的說明書,純文字的是生產(chǎn)商自嗨的天書,圖例的是給用戶看的說明書。

下圖是我們之前測試過一個引導(dǎo)分享的彈窗,想要通過分享帶來更多的新用戶。

原本預(yù)期是點(diǎn)擊分享的比例不會很高,畢竟是脫離了場景生硬切入的。實(shí)際的結(jié)果是:分享面板的被調(diào)起比例很高,然而調(diào)起分享面板后,真正有效轉(zhuǎn)化的分享量卻是低到可忽略不計——絕大部分用戶甚至連看都不看就直接戳向“OK”,然后再關(guān)掉分享面板。

換言之,是有不少人點(diǎn)了OK(以關(guān)掉彈窗),但真正發(fā)給了朋友的卻沒幾個人。

電影播放過程中,出現(xiàn)分享引導(dǎo)的彈窗,為了分享拉新

(3) 增強(qiáng)可操作性

這是一個群邀請卡片,顧名思義點(diǎn)擊該卡片后可查看群信息,并加入其中。

左圖為原方案,只突出核心信息;右圖為實(shí)驗(yàn)方案,外露按鈕

在最初,我們按照以往設(shè)計消息樣式的思路,直接把群概要信息放置在邀請卡片內(nèi),出發(fā)點(diǎn)是只需把最核心信息展示出來,若用戶感興趣自然會查看詳情或加入。

直到幾個月前我們到印度調(diào)研,偶然間發(fā)現(xiàn)有的用戶(當(dāng)?shù)馗咧袑W(xué)生)有一個苦惱:朋友給他介紹了一個板球活動群,他也很想加入,但是不知道如何加入……他們嘗試了一些方法,亂打亂撞之間建了一堆討論組,但就是沒法加入到該群。

觀察到這個現(xiàn)象,我們恍然意識到,這個卡片在他們看來,并不意味著可以點(diǎn)擊的,更別說可以通過該卡片來加入群里——在面對一個全新的卡片,他們還沒能“舉一反三”地類比其他消息類型,知道卡片是意味著可點(diǎn)擊的……換言之,還沒被互聯(lián)網(wǎng)產(chǎn)品徹底教化過。

所以在后來,我們優(yōu)化了此群邀請卡片,增加了點(diǎn)擊感更強(qiáng)的標(biāo)簽,并且直接把關(guān)鍵的加群入口外露,以暗示其可操作性。

04 結(jié)語

經(jīng)過團(tuán)隊上百項的ABtest實(shí)驗(yàn),重新提醒了我們敬畏的心是那么的重要,“理所當(dāng)然”的做法會導(dǎo)致用戶用腳投票;同時也印證并堅定了我作為產(chǎn)品設(shè)計師一直所信奉的理念:用戶的價值取向是共通的(超越了地域文化的限制),形式上的取巧并不能帶來真正有效的影響。

 

作者:市橋綿羊王;公眾號:BIGO南村美工隊

來源:https://mp.weixin.qq.com/s/rlJxTp_OvdMrpYUx0jUe1g

本文由 @?BIGO南村美工隊?授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 干貨

    來自廣東 回復(fù)
  2. 這種實(shí)戰(zhàn)的分享才全都是干活呀 ??

    來自美國 回復(fù)