數據分析|相信你定的指標還是相信你的經驗?
人們很容易陷在一堆指標當中(因為你可以一次抓取許多指標),然后覺得所有指標數據都要好看才行。
約數十年前,如果你的產品想要達到良好的用戶體驗,你只能祈禱你的直覺有效。但自從我們擁有數據分析的能力后,問題就解決了。我們不用在黑暗中摸索,問自己是否真的有人讀了每隔一天寄送出去的廣告郵件,以及多少人試用了新發布的產品功能。我們只要通過指標數字就可以得到答案。
但即便如此,部分問題還是沒有得到解決。無論上班、下班,我常聽到以下問題被大肆討論:
- 我們這么做難道只是為了追求好看的指標數字?
- 我們要如何在一味提升指標數字與做些真正有意義的事之間取得平衡?
- 我個人最愛的問題是:你是否只是被數字追著跑,還是你真的在乎數字背后的核心理念-使用者體驗的提升?
砰!真是一記當頭棒喝!
想要探討指標與用戶體驗之間的關系嗎?看看以下我的經驗分享,保證讓你有所收獲。
不要問:“到底相信指標還是相信經驗?”這不是二選一的選擇題
在制作電影時,盡管支出大筆宣傳費跟請到大咖,不要因為票房反應不好而減少制作電影的必要投入。這就像在討論飲食健康這樣的話題時,不是吃不吃碳水化合物的問題,而是要如何吃得健康。相對的,擁有數據來度量用戶行為代表你能更了解用戶。除非你想摸黑做產品,否則知道更多的用戶信息總歸是一件好事。(譯注:也就是做產品時,我們不該思考到底用不用指標,而是要思考該如何正確地使用指標。)
當然,使用指標數據的前提是,你必須能夠過濾什么信息是重要的,什么不重要。而不是去爭論知道更多的用戶信息這件事是否不好,這個立論是有問題的。真正的問題并不是出在指標本身。
其次,如果你真的創造了有價值的產品,那么正向指標應該會同步上升。如果產品體驗沒有任何改變,你不能說你提供了更好的產品功能。相反地,當你的產品迭代了,如果用戶使用的次數更少,這明顯表示你的產品設計有問題。
指標存在價值的第三個原因在于,它能聚集所有團隊成員一同圍繞一個清楚、具體的目標前進,讓整體團隊的努力有方向可循。邏輯上來說,如果只告訴50個團隊成員要一同創造一個超棒的用戶體驗,這是很難執行的。
當然,在你激情地對團隊喊話后,可能會有人激動地回應你:“對!我們就是要這么干!”但當某個星期一,團隊小組A興奮地跟你說:“你看!我們創造了一個超棒的用戶體驗!”一旁的小組B卻潑了盆冷水:“什么啊,這根本沒什么?!边@時,到底誰才是對的?也就是說,你們該如何一致地清楚定義出什么才是一個真正的“超棒用戶體驗”?
解決這個問題的方法之一是通過決策層的高低去定奪。你可以指派一個人,或是一群決策高層來主觀裁斷產品品質的高低。如果你不偏好用職位層級去評判產品好壞,另一個方法就是定出一個可評量的指標,例如一個極致的用戶體驗要滿足的條件是,必須讓50%的用戶在體驗產品后的一個星期回訪。這么一來,所有團隊成員每天都會清楚知道他們要達到的目標是什么,以及他們距離目標還有多遠。
所以總結來說,指標是有用處的。指標的數值高低和經驗值并不完全相悖。你要做的只是不從表面去解讀和使用數據而已。
指標常為許多錯誤背黑鍋
指標會被錯怪這事就好像你在吃甜甜圈時,因為自己蘸了太多果醬,還怪碳水化合物本身含有熱量。同理,人們常將許多錯誤怪罪于指標。
這種事會發生,因為不是所有事物都適合用指標去解讀。同時,這事發生的另一個原因是,單一指標無法反映事物的全貌。通常,你需要一組指標去對事物進行通盤的解讀??傊?,指標被誤用的原因很多,但如果你錯誤地使用指標,最終你可能會搞砸用戶體驗。我們來觀察一些例子:
案例一
以一個任意產品來說,假使最初的點擊通過率是2%。當產品做了改變,指標上升至5%時,我們心想“真是太好了!”但問題來了,點擊通過率其實并不足以告訴我們用戶體驗是否真的改善。因為假如我們將網站上所有的鏈接設定為“點擊此處你將獲得250元?!贝藭r會發生什么事?想當然,此時的點擊通過率一定是快速飆升!但最終人們會理解,這個網站其實并不會真的給出250元,所以用戶會感覺受騙而相當火大。接著他們停止點擊鏈接、卸載App,然后在下載平臺上給予一星差評加咒罵。最后,你的創業就這么失敗了,生活一蹋糊涂,一切玩兒完。
案例二
人們過去會花5分鐘使用我的 App,但新功能發布后,使用時長縮短為3分鐘。“不!發生什么事了?”你心想。然而,用戶使用時長是否真的是一項重要的指標值得你去追蹤指標數值的高低變化?這要視情況而定。
假使你是內容型 App,那么你確實應該在意這項指標,因為產品的核心就是要提供好的內容給用戶閱讀、觀賞,和聆聽。用戶在產品上花的時間越多,越代表著他們認為你的 App 提供了有價值的內容。
相反地,如果你的 App 是工具類的,像是幫助人們簽署電子文件的工具,那么你可以不必關注這項指標。你最好找其他的指標來監控產品性能,比如用戶使用你的工具完成數字簽章的次數。因為事實上,人們大概都希望能快速地完成文件的簽署,不過用戶對產品的期望會隨著更多的產品使用目的而有所改變。
案例三
起初,在伊利諾伊州有較多人在使用我們做的貓咪表情包制作 App,但現在俄亥俄州有更多人在用。這有什么問題嗎?用戶增加這不是挺棒的!但不同地區間的用戶消長現象無關我們是否關注并影響了任何一個指標。
有些現象無法輕易以指標精準度量
假使,我們能夠讀取用戶的心理,理論上我們就能夠為用戶設計出完美的產品。不幸的是,我們并不都是漫威漫畫中的鳳凰女(會讀心術),所以我們只能適當地依據數據推測用戶需求。但截至目前為止,我們能夠測量的數據還是有限,以下事項我們無法簡單地通過觀測用戶行為察覺:
- 人們對于產品的喜愛、討厭、漠視程度;
- 功能更迭后如何影響人們對產品的信賴程度;
- 在比較你家產品和你的競品時,人們如何主觀地用“上手程度”這樣的模糊概念去評比兩邊產品的好壞;
- 用戶最想要改變、增減或修正的產品功能;
- 隨著時間更迭,人們會想要怎樣使用你的產品。
以上問題或許可以通過定性研究或問卷調查獲得答案,但沒有一個方法是完美的(還記得英國的脫歐民調相互矛盾,預測性低的前例嗎?)。即便你可以對品牌情感這類模糊概念得出一個具體的數值(比如品牌信任度),想知道一些特定的產品項目變更對產品造成了什么影響還是困難的(例如新設計的產品商標和產品外觀是否改善了我的品牌識別?)。無法精確得出以上數值意味著,有些事是指標無法告訴我們的,觀察以下案例:
1.了解在人類復雜的認知行為下,開發產品要付出的代價
(譯注:指標數值無法說明用戶是否真的喜歡你的產品)
每一次你的 App 開發了一個新功能,你所追蹤的指標很有可能跟著上升(畢竟之前沒有這項功能,現在有人使用了,并且人們似乎沒有減少使用其他功能,所以總體來說數字變好看了)。然而,如果你持續增加產品功能,到了某個時間點,你就會發現整個產品變得零亂、臃腫。隨后,某個競爭者突然順勢而入,以簡潔的功能擄獲使用者的心。
所以人類行為是矛盾且復雜的(譯注:指標數值的上升并不足以說明用戶真的喜歡并會選擇你的產品),我們還沒找到對人類行為進行準確衡量的方法。
2. 指標無法衡量品牌價值的影響力
當蘋果和耐克推出新產品時,許多人傾向不加思索,直接購買,因為過去他們使用產品的體驗很好。但當市場上出現一個叫梨子或賽克的仿冒品牌時,市場肯定不會對他們的新產品做出同樣反應。
其實我們都懂這個現象背后的原因,但確實很難給出一個具體指標去衡量品牌的影響力有多大,然后每天進行追蹤。同時,我們也很難知道公司日常做出的上千個決策如何影響了品牌價值,以及每個決策取舍的得失。
3. 投注未來的巨大回報
(譯注:當下的指標數值無法反應未來的商機)
沒有指標可以告訴你,你該對什么樣的決策孤注一擲來贏得未來的市場?;叵?008年智能手機剛興起時,看看你網站上手機用戶的登入數,你會發現流量很小。估計你當時相當肯定地判定,因為受眾數量過小,你不該針對手機用戶投入太多產品開發。
但現在我們已經明白,當年那些對手機市場有遠見,并愿意冒險的開發者已經獲得了巨大回報。也就是任何指標都是告訴你當下的狀況,它們無法告訴你長遠來看,你應該朝哪個方向冒險。所以老話一句,除了長遠的策略規劃外,要成功做出一件產品,你需要相信直覺,大膽冒險。
有效使用指標的經驗法則
以下是我在一次次優化產品開發策略與使用指標對產品進行衡量的經驗總結:
想評估市場接受度?查看留存率
不要只看使用產品的用戶數量(因為數據可能會因為大力的推廣活動而扭曲。)留存率其實才最能說明你的產品價值,因為它透露了用戶使用產品后,是否會喜歡到再次回訪。
想提升用戶轉化率?先理出產品轉化漏斗
要讓使用者轉化成為長期用戶,這中間存在著一連串的障礙。
首先,必須讓用戶認知到產品的存在。
第二步,必須讓用戶產生興趣去試用。
第三步,必須轉化用戶行為(例如下載 App、填寫表單、確認電子郵箱。)
第四步,必須讓用戶與產品進行足夠的互動,然后了解產品能為他們生活帶來的價值。
第五步,必須讓用戶記得回訪產品。
在以上每一步驟中,你都會流失用戶。如果你可以追蹤并衡量每一步驟的流失率,那么你就可以開始重點針對問題進行改進,降低流失率。
去理出哪些指標是真正重要的,然后集中火力
人們很容易陷在一堆指標當中(因為你可以一次抓取許多指標),然后覺得所有指標數據都要好看才行。你要知道,大多數的指標其實都不重要,重要的只有幾個。不要浪費時間、精力在改善不重要的指標上。
想定出最關鍵的指標?試試所謂的“魔法棒”技巧
問自己一個問題:“如果我有一根魔法棒,可以知道任何用戶信息,我最想得到哪個用戶信息來幫助我判斷我的 App 是否成功?”即使你想知道的答案無法被測量(比如“用戶是否認為我的 App 提出的推薦有價值?”),但這是幫助你理出關鍵指標的開始。
(雖然我們無法真的問每個用戶他們是否覺得我們的 App 提出的推薦有價值,但假使覺得有,他們應該會傾向把更多的推薦收藏起來或分享出去,同時也應該會花更多時間在瀏覽推薦,出現種種相關的行為反應。)
不要在不理解指標的含義下追求指標
以下觀念再怎么強調也不為過:你和你的團隊所選擇的指標會大大地影響你們的日常工作,所以一定要確保被選用的指標能夠說服團隊的每一個人。
不要只從字面含義選用指標,要問為什么選用這些指標來指導團隊。理解這些指標被用在日常運營中到底合不合理,以及它們如何激勵我們的日常工作目標。是否曾經發生過你們直覺認為某個產品決策是好的,卻不見指標有任何動靜?或相反地,指標上升,但產品功能事實上并沒有任何提升?如果是的話,是否有另一個指標(或一組指標)更能追蹤我們所關注的業務重心?
抱持質疑的眼光,用負面指標驗證事實
如果數據看起來漂亮,問問你自己:“是否有其他數據可以反向驗證事實沒有看起來的美好?”這些就是所謂的負面指標,每一個正向指標都應該有對應的負面指標。(舉例來說,不要只看點擊通過率,還要看跳出率;不要只看產品銷量,還要看銷貨退回與取消訂單率等等反向數據。)在看數據時抱持懷疑的態度能幫助你更快地找出數據解讀的誤區與調整策略。不要產生先入為主的認知偏差,讓指標僅僅被用來佐證你的直覺是對的。
通過定性研究去理解用戶行為背后的原因
在使用定量資料來觀察用戶行為時,最好同時搭配定性研究,好得知用戶的感受,像是展開可用性測試、訪談焦點團體,以及進行問卷調查,用這些方法來理解用戶行為背后的原因。
現在,看完了文章,去實踐你對指標操作的理解,為人們創造更好的產品體驗吧!
最后,告訴大家一個好消息:
為了幫助在運營進階路上,執著前進的伙伴們能夠更快速的提升,我們聯合了騰訊、百度等擁有10年以上經驗沉淀的實戰派導師,推出了【運營總監修煉之道】,至今已幫助5000多名運營管理者和進階者,掌握了更加系統全面的運營專業知識和管理思路,在處理類似運營戰略規劃、不同渠道運營策略和流量變現、品牌營銷玩法、數據分析等實際問題時有更清晰的解決方向!
掃描二維碼添加小助手了解詳情,還可以回復“筆記”領取【運營總監課程學習筆記】哦!
再猶豫,機會就沒啦~
原文地址:https://medium.com/@joulee/metrics-versus-experience-a9347d6b80b?utm_source=tuicool&utm_medium=referral
原文作者:Julie Zhuo
譯者:神策數據
本文由 @神策數據 翻譯發布于人人都是產品經理。未經許可,禁止轉載。
想跟著BAT大咖老師學習更多進階運營知識體系嗎?
在【運營總監修煉之道】,四位來自騰訊、百度等擁有10年以上經驗沉淀的實戰派導師,將和你面對面分享高階運營的系統知識,幫你掌握更加系統全面的運營專業體系和高效管理思路…….
想了解更多詳情?立即聯系Leo咨詢哦~微信/TEL:13028897966
PS:除了咨詢問題,還可以領取【運營總監課程學習筆記】! ??