如何避免掉入陷阱?首先你要學會做個講邏輯的產品經理

15 評論 28413 瀏覽 327 收藏 12 分鐘

數據是個很好的東西,可以幫助我們做出相對客觀的產品決策。但是數據中也存在著很多的陷阱,如果我們沒有很好的邏輯分析能力,很可能會被數據玩弄而做出愚蠢的決策。今天,咱們就結合工作可能遇到的一些陷阱來聊聊這些數據陷阱以及怎么避免掉入陷阱。

開始之前,我們先看看幾個大家在工作中可能會遇到過的案例吧!

  1. 購買A類商品的用戶當中有80%的都是甲類用戶,因此當發現用戶是甲類用戶時,應該給用戶比一般情況下推薦更多A類商品
  2. 當乙值增加時,B功能的轉化率降低,因此應該限制乙值在一定水平
  3. 用戶調研發現90%用戶喜歡C功能,因此我們需要增加C功能
  4. 根據現有數據發現,D值相對較高的商品有更高的點擊,因此應該把D值高的商品的排序提前
  5. 使用了E功能的用戶比沒使用E功能的用戶轉化率低,因此應該將E功能下線

大家應該猜到了,這幾個例子肯定是掉進數據陷阱的描述,所以不妨先想一想這幾個描述問題出在哪里,如果你想不明白,這篇文章建議你看三遍。

1.購買A類商品的用戶當中有80%的都是甲類用戶,因此當發現用戶是甲類用戶時,應該給用戶比一般情況下推薦更多A類商品

逆命題陷阱

第一個案例的陷阱迷惑性很大,在實際工作中,我也經常碰到拿著這種描述來要求在某些場景下對某種類型商品給予更多流量的需求。從數據中,確實可以說明購買A類商品中甲類用戶偏多,但是這能夠說明甲類用戶比整體用戶更偏愛A商品么?顯然不是,案例如下表:

20160524163516

假設A類商品和非A類商品的需求都是50,平均情況下A類商品和非A類商品的流量分配應該是50%:50%。雖然在購買A類商品中的用戶甲類用戶占比為80%,但甲類用戶需要A類商品的只有45%,還沒有到正常平均情況下的50%,原因就是因為購買了非A類商品的用戶甲類用戶的比例高于80%。

這個陷阱叫做逆命題陷阱,逆命題應該是高中數學中的概念,如果你忘了我們舉個簡單的例子,如果有個判斷語句“如果于謙是郭麒麟的父親,那么郭麒麟是于謙的兒子”,“如果郭麒麟是于謙的兒子,那么于謙是郭麒麟的父親”是它的逆命題。逆命題有個特點,那就是當原命題是真的時候,逆命題不一定為真。再有一個例子,“如果小明是人,那他一定是哺乳動物”的逆命題“如果小明是哺乳動物,那么小明是人”就是不正確的,因為小明有可能是猴子。但是如果一個命題是真的,他的逆否命題一定為真,比如“如果小明不是哺乳動物,那他一定不是人”。本例中,“購買A類商品的用戶更可能是甲類用戶”為真,但它逆命題“甲類用戶購買的更可能是A類商品”就是錯誤的。

這些簡單的邏輯學概念和定理,我相信大部分人是了解的,但是在實際工作往往忘記了這些基本的原理而做出一些愚蠢的決策。對于那些不怎么了解的人,只需要記住一條:小心逆命題,別隨便把推斷的話反過來說。

2.當乙值增加時,B功能的轉化率降低,因此應該限制乙值在一定水平

相關和因果陷阱

數據分析是幫助我們找到產品問題/機會的重要手段,相關性分析是數據分析中最常見的方法,我們常容易犯把相關關系當因果關系的錯誤。關于相關關系和因果關系的描述,最著名的例子是冰激凌和溺水死亡率的例子:通過數據統計發現,冰激凌銷量增加時,溺水死亡率也顯著增加。那是不是可以限制冰激凌的銷量來控制溺水死亡率呢?對于風馬牛不相及的推斷,正常人都會嗤之以鼻。冰激凌的銷量和溺水死亡率只是存在相關關系,這種相關關系的產生是因為在深處有一個相同的原因:氣溫的升高。但冰激凌的銷量明顯不是溺水死亡率高的原因,因此不能靠限制冰激凌的銷量解決溺水死亡率高的問題。但不幸的是,我們大多數人還是會犯同類型的錯誤,比如2。

這個例子中,乙值的增加和B的轉化率降低應該都只是某個深層原因的結果,但在描述中我們把B轉化率的下降歸咎于乙值的增加,這就是我們錯把相關關系當因果的原因。對于如何避免這類錯誤,我們需要做的是盡量看到數據所體現的深層原因,將每個數據變化都對應到產品相關的實際因素中去,比如需求的變化、供應的變化、功能的改變、環境的變化、競對的動作等等,而不是讓數據分析只停留在數據層面。

3.用戶調研發現90%用戶喜歡C功能,因此我們需要增加C功能

4.根據現有數據發現,D值相對較高的商品有更高的點擊,因此應該把D值高的商品的排序提前

既定規則陷阱

在需求挖掘的方式中,個人非常愿意將用戶調研的吐槽部分作為發現問題的渠道,但絕對不會將用戶調研的建議部分作為產品機會的直接來源。原因很簡單,用戶的不滿是真真切切存在,他們也懂得如何表達不滿,但用戶的建議受既定規則的影響往往是不靠譜的,就像那個福特汽車的例子:在汽車出現以前,所有的用戶只想要一匹更快的馬。如果人人都能提出靠譜的建議,還會有喬布斯張小龍這種被你們奉為神的存在么。

我一直對用戶調研持謹慎態度最深層次的原因,是因為所有的用戶幾乎都受到了既定規則的影響,這種既定規則的影響,也給了我們設下不少的數據陷阱。比如3,我曾見過通過“用戶競對app使用場景調研”的結論得出“我們應該增加C功能(和競對一樣)”的決策的例子,我想說的是:之所以許多用戶覺得C功能不錯(或者在使用C功能),是不是僅僅因為競對提供了這個功能并且放在了明顯的位置呢?當然,如果你說用戶已經習慣了這種操作方式,這個結論也對,做這個功能也不會犯大錯。但如果始終采取這種方式做需求,那么恭喜你,你又在不知所以然的道路前進了一步。另外分享個最近的思考題:現在手機屏幕越做越大,是不是因為用戶說了想要更大屏的手機呢?但是用戶真的需要大屏手機么?大屏手機到底有什么好?

在用數據說話的策略產品中,也可能存在這樣的陷阱,比如4中通過對現有的數據分析發現D值高的商品點擊量更多,得出應該將D值高排在前面的結論。在排序中,被排在前面的item必然比排在后面的item有更高的點擊,如果在之前的排序策略已經有了和D強相關的D1的特征生效,那么必然D值高(因為D1高)的item就會有很高的點擊。因此“D值相對較高的商品有更高的點擊”很可能只是因為本來D值高的排在了前面。如果你把D值加入到了排序當中,很可能會做無用功,也因此在策略相關產品增加特征時,需要考慮新增特征是否和老特征正交。

對于既定規則陷阱的規避相對困難,這也是創新之所以難的原因。那一句非常虛的“挖掘用戶深層次的需求”是避免錯誤的不二法門,謹記要think out of the box。

5.使用了E功能的用戶比沒使用E功能的用戶轉化率低,因此應該將E功能下線

數據統計陷阱

這是最近同事在處理需求遇到的一個問題,本來大家都信心滿滿的一個需求,上線之后發現使用了E功能的用戶的轉化率還不如沒有使用E功能的用戶的轉化率高。如果停留在表面的數據分析,大多數人可能會做出需求下線的決策。但是真的對么?產品對比試驗是我們經常使用的決策方式,這類試驗有一個基本前提那就是單一變量,要求進行對比的兩組用戶除實驗變量之外的統計特征是相同的。回到案例,使用了E功能和沒使用E功能的用戶特征相同么?假設使用了E功能的用戶轉化率為5%,沒使用的轉化率為10%,或許,有沒有可能在沒有E功能之前,使用了E功能的這批用戶的轉化率只有1%?

在這個陷阱中,讓我們中招的是對數據取樣的錯誤處理。除了數據取樣,我們還可能遇到各種統計陷阱。對于這類陷阱,我們要時刻注意的是對比試驗中的兩組是不是單一變量:是不是同一群用戶?是不是同一種場景?其他功能有沒有對結果有干擾?等等等。

通過對上面幾個陷阱的分析,不難知道如果能夠將上面說的陷阱具體內容描述拋開,抽象成具體的邏輯問題,結論的正確以否還是很容易判斷的??傊a品經理心里要保有批判性的看數據的意識:做決策之前多想想數據和決策之間有木有正確的邏輯關系,做個講邏輯的產品經理吧。

 

作者@?hihipm

來源@策略產品經理講堂(公眾號ID;hihipm)

本文由 @hihipm 授權發布于人人都是產品經理 ,未經許可,禁止轉載。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 看到了《精益數據分析》中的內容。。。。

    來自山東 回復
  2. 文章不錯,有點個人的借鑒,忘海涵?。?!
    1.對于第一點的逆命題邏輯,雖然看似是個坑,但是我覺的還是應該給甲類用戶推薦a類產品
    原因是:對于平臺產品的個性化推薦中,購買A類商品的用戶當中有80%的都是甲類用戶,我們其實可以得出,甲類用戶有意向購買A類產品,這是毋庸置疑的。只不過推薦的比例和數量需要多方面的數據進行整合開計算。
    2.其他的幾個邏輯點,我覺得還得根據實際情況來判定,有時候確實是這種原因不是坑?。。。ó斎唤^大多數是坑) 當然題主講的確實不錯。受教了?。?!

    來自陜西 回復
  3. 文章不錯,時時刻刻要提醒產品狗不要想當然,咱們看文章覺得這幾種毛病自己不會犯,但是實際工作中稍不留神就會掉入數據陷阱,自己還洋洋得意呢

    來自北京 回復
  4. 最近在學習數據分析,這篇文章對我有啟發。

    來自浙江 回復
  5. 這不是陷阱的問題,是片面性的問題

    來自北京 回復
  6. 主要明白這篇文章的主要內容和想表達的觀念就好,每個人說一件事的時候都是不同的方式,如果仔細去想總會有一些漏洞,只要提出了核心思想,其余的就自己去幻想去豐滿吧,很好的文章,值得推敲和學習。

    來自北京 回復
  7. 警醒自己不要掉坑

    來自上海 回復
  8. 1.購買A類商品的用戶當中有80%的都是甲類用戶,因此當發現用戶是甲類用戶時,應該給用戶比一般情況下推薦更多A類商品
    2.當乙值增加時,B功能的轉化率降低,因此應該限制乙值在一定水平
    3.用戶調研發現90%用戶喜歡C功能,因此我們需要增加C功能
    4.根據現有數據發現,D值相對較高的商品有更高的點擊,因此應該把D值高的商品的排序提前
    5.使用了E功能的用戶比沒使用E功能的用戶轉化率低,因此應該將E功能下線
    感覺這幾個案例的表述就有問題,像以前做的語文挑語法錯誤的題。。。太過絕對了,有哪個產品經理會這么草率這么絕對的去做一個決策,肯定是要結合當下的各種情況各種因素,有些時候甚至數據的確是不準的,但是短期能帶來效益,那為什么不去做這個功能或者改變這個功能?不過講邏輯是必要的,不要被數據欺騙是真的——個人看法哈

    來自浙江 回復
  9. 由果推因是因為默認分析問題有邏輯關系,不準確是因為沒有發現最全面的邏輯分析導致判斷有誤差。尊重但不能完全依賴數據。

    來自廣東 回復
  10. 第一個例子不是很合適。因為很多未明確的隱藏設定限制了對問題的考慮,比如平臺商品的總量、推薦位的限制等。
    雖然從問題的邏輯來看,把A推薦給非甲類用戶購買概率達到91%,遠遠超過了甲類用戶購買的45%。但并不等于我不會推薦給甲類用戶,難道推薦位有且只有1個,而且我只有一次推薦的機會么?
    從絕對值上說,甲類用戶的購買量占到總量的89%,單A產品的銷量也是非甲用戶的4倍。站在產品的角度,說明甲類用戶就是核心用戶,多挖掘一下是有很大的概率獲得更大的收益的。不是么?

    來自廣東 回復
  11. 不要輕易下結論,產品經理要多思考。 :mrgreen:

    來自浙江 回復
  12. 整體說來,問題是分析的緯度不夠,分析對比應該既有橫向分析也有縱向解剖

    來自廣東 回復
  13. 在我看來是針對當前產品思維維度不夠多??!產品經理需要的是合適的產品思維。維度不足就需要會利用工具補足。

    來自上海 回復
  14. 這個邏輯是非常好的,是一個事物發生原因和結果的正反認知,還有一種數據陷阱,數據在十分鐘之內突然忽高忽低,什么情況,請幫忙分析一下

    回復
    1. 那要看是什么類型的數據變化了,是周期性的,還是突發性的。如果是周期性的,還好理解。如果是突發性的,那要分析的因素就太多了,先排除硬件、行業波動、以及政策,人為等因素外,由產品設計缺陷或是商品自身屬性的問題就有太多的可能。。

      來自北京 回復