數(shù)據(jù)的比較分析(一):我們達(dá)到或者超過(guò)目標(biāo)了嗎?

0 評(píng)論 6552 瀏覽 24 收藏 10 分鐘

基于數(shù)據(jù)的基準(zhǔn)對(duì)比,就是通過(guò)不斷的對(duì)比去發(fā)現(xiàn)我們的產(chǎn)品距離目標(biāo)是否達(dá)到了?還是有一定的距離呢?

數(shù)據(jù)的價(jià)值需要靠有兩點(diǎn)來(lái)實(shí)現(xiàn):

  • 第一,大數(shù)據(jù)是需要由小數(shù)據(jù)的精準(zhǔn)、完整、及時(shí);這關(guān)系到的是實(shí)際業(yè)務(wù)場(chǎng)景的分析和數(shù)據(jù)指標(biāo)體系的搭建,這方面我在后面的文章中會(huì)講解說(shuō)明;
  • 第二,就是數(shù)據(jù)的比較,只有通過(guò)數(shù)據(jù)的比較,數(shù)據(jù)才會(huì)賦予生命力;一個(gè)同比,另外一個(gè)是和同行比;如果用更加可執(zhí)行的語(yǔ)言來(lái)說(shuō)的話,一個(gè)是基于基準(zhǔn)的比較,第二個(gè)是基于不同產(chǎn)品的比較。

上節(jié)中我有提過(guò)數(shù)據(jù)分析都是基于一定的目的,基于基準(zhǔn)的比較目的是檢驗(yàn)我們的產(chǎn)品數(shù)據(jù)是否達(dá)到了目標(biāo);基于不同產(chǎn)品的比較,目的是為了測(cè)試我們哪一版本的產(chǎn)品設(shè)計(jì)更加符合用戶的需求,這個(gè)我們將在下一節(jié)中闡述。

基于基準(zhǔn)的比較分析——我的的產(chǎn)品達(dá)到目標(biāo)沒(méi)

從上面的兩個(gè)描述分析說(shuō)起,“描述一”中該數(shù)據(jù)就是一個(gè)很簡(jiǎn)單的陳述,我們無(wú)法知道老王賣(mài)了1000元水果,這個(gè)值是多還是少,是增加了還是減少了,所有這個(gè)數(shù)據(jù)的描述是毫無(wú)意義的。

“描述二”中,該描述是有對(duì)比,昨天是800元這是一個(gè)基于歷史數(shù)據(jù)的基準(zhǔn),今天是1000元是在歷史數(shù)據(jù)的基礎(chǔ)上有所增長(zhǎng),所以我們可以認(rèn)為老王今天的營(yíng)收多余昨天。

關(guān)于對(duì)于基準(zhǔn)的對(duì)比總結(jié)了從以下的幾個(gè)維度分析:如何設(shè)定基準(zhǔn)、確保統(tǒng)一維度、通過(guò)樣本數(shù)量和數(shù)據(jù)類型來(lái)選取計(jì)算公式。

以下我們來(lái)一一分析:

1. 如何設(shè)定基準(zhǔn)

一般來(lái)說(shuō)有以下幾種方法:

1)基于這個(gè)產(chǎn)品任務(wù)以往測(cè)試所得歷史數(shù)據(jù)

2)基于已發(fā)表科學(xué)研究或市場(chǎng)研究的發(fā)現(xiàn)

3)同負(fù)責(zé)產(chǎn)品的利益相關(guān)者商議標(biāo)準(zhǔn)

無(wú)論用什么方法,不要讓分析的產(chǎn)生麻痹你設(shè)定特定目標(biāo);定義目標(biāo)并不容易,尤其在你即將開(kāi)始可用性計(jì)劃時(shí)。不要給你設(shè)定的第一目標(biāo)限制,重要的是你要立即建立一些具體的目標(biāo),這樣你就能測(cè)量改進(jìn)的效果。

如果發(fā)現(xiàn)目標(biāo)不現(xiàn)實(shí)或者不合適,你可以修訂它們。如果你發(fā)現(xiàn)自己需要去做這類修訂,試著在獲得經(jīng)驗(yàn)的早期修訂,并用產(chǎn)品來(lái)進(jìn)行最初的測(cè)量。不要為適應(yīng)一個(gè)不易用的產(chǎn)品去改變合理的目標(biāo)。

?2. 確保統(tǒng)一維度

測(cè)量目標(biāo)的最客觀基礎(chǔ)來(lái)自前人或者競(jìng)品的可用性研究數(shù)據(jù),為了最大化普適性,歷史數(shù)據(jù)應(yīng)該來(lái)自相同的條件下、相似的類型參與者完成相同任務(wù)的研究。

舉個(gè)例子:

從上面的例子可以看出,保持統(tǒng)一的維度,變量的對(duì)比之間才有意義。如果描述8和描述9 改成:“描述8:老王賣(mài)水果,在山東賣(mài),早上賣(mài)了1000元?!薄懊枋?:小李賣(mài)水果,在山西賣(mài),賣(mài)了1500元”。那這個(gè)時(shí)候我們就很難斷定,賣(mài)水果的價(jià)格差異,是人的能力問(wèn)題引起的還是地理位置引起的。所以對(duì)比分析確保地理緯度一直才有對(duì)比性可言。

3. 計(jì)算方法

與上節(jié)中我們提到的置信區(qū)間的計(jì)算方法一樣,所用的計(jì)算方法主要取決于“數(shù)據(jù)的類型(離散型二進(jìn)制VS連續(xù)型)和樣本量大小”。

(1)離散型二進(jìn)制數(shù)據(jù)

離散型數(shù)據(jù)主要用于測(cè)量對(duì)比任務(wù)完成率這樣的指標(biāo)的時(shí)候居多。

1)針對(duì)小樣本的離散型數(shù)據(jù)

以上公式是“精準(zhǔn)概率”的計(jì)算方法,還有一個(gè)是“中間概率”的計(jì)算方法,我們通過(guò)以下的一個(gè)例子來(lái)對(duì)比以下,以下兩個(gè)區(qū)間的計(jì)算方法有什么異同。

ex:在一場(chǎng)設(shè)計(jì)初期的測(cè)試中,9名用戶中有8名成功的完成了任務(wù)。是否有充足的證據(jù)表明,至少有70%的用戶可以成功完成任務(wù)?

解:完成率的觀測(cè)值為8/9=88.9%。假定總體完成率為70%,用二項(xiàng)式精準(zhǔn)區(qū)間概率可以得到9次嘗試中成功8次成功以上的概率。為此,我們計(jì)算恰好8次成功的概率和恰好9次成功的概率。

精準(zhǔn)概率的計(jì)算:9次嘗試中有八次成功或者九次成功的概率為0.1556+0.04035=0.1960。換句話說(shuō),完成率有80.4%的可能性會(huì)超過(guò)70%

中間概率的計(jì)算:我們使用1/2(0.1556)=0.07782,而不是0.1556。然后把這一半的概率加上9次成功的概率(0.07782+0.04035),得到中間概率值(mid-p-value)=0.1182?,F(xiàn)在我們可以說(shuō)完成率有88.2%的可能性超過(guò)70%。

從計(jì)算的數(shù)值看,“精準(zhǔn)概率”的計(jì)算方法比“中間概率”的計(jì)算方法要保守。

2)針對(duì)大樣本的離散型數(shù)據(jù)

上面我們介紹小樣本的離散型二進(jìn)制數(shù)據(jù)的時(shí),是直接計(jì)算p值。在計(jì)算大樣本的離散型數(shù)據(jù)的時(shí)候需要使用 z 分?jǐn)?shù)來(lái)生成p值,只有當(dāng)樣本中至少有15個(gè)成功樣本和15個(gè)失敗樣本的時(shí)候才適用。

只有當(dāng)樣本中至少有15個(gè)成功樣本和15個(gè)失敗樣本的時(shí)候才適用,得到的Z值可以使用Excel公式=NORMSDIST(Z)獲得標(biāo)準(zhǔn)正態(tài)累積分布到Z的概率值。

(2)連續(xù)型數(shù)據(jù)

離散型數(shù)據(jù)主要用于在測(cè)量滿意度評(píng)分和任務(wù)時(shí)間這樣的指標(biāo)居多。

1)評(píng)分類數(shù)據(jù)與基準(zhǔn)的對(duì)比

等式告訴我們等式的結(jié)果想要告訴我們樣本平均值和基準(zhǔn)之間的標(biāo)準(zhǔn)差是多少,標(biāo)準(zhǔn)差越大就越說(shuō)明樣本超出基準(zhǔn)。在Excel中統(tǒng)計(jì)顯著性p-value=TDIST(ABS(t),自由度,方向);t 需要取絕對(duì)值,因?yàn)橛袝r(shí)候平均值比基準(zhǔn)小的情況。自由度=樣本量n-1;方向雙向檢測(cè)為1,單側(cè)檢驗(yàn)為0。

2)時(shí)間類數(shù)據(jù)和基準(zhǔn)對(duì)比

任務(wù)時(shí)間趨于偏正態(tài)(有右側(cè)長(zhǎng)尾),大多數(shù)統(tǒng)計(jì)出來(lái)程序基于這樣的一個(gè)假設(shè):數(shù)據(jù)近似均勻且正態(tài)分布。為了補(bǔ)救這個(gè)問(wèn)題,我們首先將原始數(shù)據(jù)轉(zhuǎn)化為時(shí)間的對(duì)數(shù),然后和問(wèn)卷數(shù)據(jù)處理方法一樣,執(zhí)行樣本t檢驗(yàn)。

連續(xù)性數(shù)據(jù)總結(jié):對(duì)于連續(xù)性數(shù)據(jù)是根據(jù)計(jì)算t 值再來(lái)轉(zhuǎn)化成p-value值,來(lái)對(duì)比統(tǒng)計(jì)的顯著性。同樣我們需要計(jì)算數(shù)值置信區(qū)間,看看基準(zhǔn)是否落在該置信區(qū)間里面,再來(lái)判斷該對(duì)比是否有意義。

總結(jié)

基于數(shù)據(jù)的基準(zhǔn)對(duì)比,就是通過(guò)不斷的對(duì)比去發(fā)現(xiàn)我們的產(chǎn)品距離目標(biāo)是否達(dá)到了?還是有一定的距離呢?以便于發(fā)現(xiàn)問(wèn)題,制定下一步的產(chǎn)品策略。

 

本文由 @平遙抒雪 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!