談談游戲做A/B Test的誤區

0 評論 5980 瀏覽 2 收藏 6 分鐘

 

最近關于Zynga如何運營的一些有趣見解出現在了社交新聞站點Reddit上,發表的人正是上周被解雇的520名員工中的一員。我想特別說下其中的兩篇帖子。

帖子1:在游戲方面,我認為他們關于拉取所有玩家行為數據的整體概念是非常了不起的,但他們對此的依賴也不是那么驚人。它使開發非常善于分析而且更直觀,很容易就可以知道一個游戲哪里是有趣的。盡管難點在于如何拉取關于他們的行為數據

帖子2:在某些時候,該公司似乎從真正嘗試創新切換到嘗試“之前的工作方式”。我不確定有多少游戲在過去的一年里真正做過a / b測試來發現新的樂趣和受歡迎的點。公司擅長數據收集、數據分析以及游戲心理學的理解可以幫助我們改進游戲體驗。

Zygna似乎遭受了A / B測試的隱性成本。

A / B測試的顯性成本是顯而易見的:A / B測試需要時間來設計,實現和評估,這種時間代表了一種機會成本,表明在這段時間里可以進行其他各項工作的收益(注:機會成本又稱為擇一成本、替代性成本。機會成本對商業公司來說,是利用一定的時間或資源生產一種商品時,而失去利用這些資源生產其他最佳替代品的機會就是機會成本。來源;百度百科)。A / B測試的顯性成本常常被引用為不進行全面測試的理由,但是我相信這些成本一般來說都是過分夸大。

如果需要大約30分鐘以上來設計和實現一個A / B測試,那么,說明該組織還沒有專門足夠的分析基礎設施資源來通過一些內部工具進行A / B測試。它本身并不是一個問題:像DataEye這樣的產品存在就是為了通過提供“分析服務”來減輕開發人員的負擔。

一個真正的數據驅動的組織是處在一個永久A / B測試和優化的狀態。在這樣一個組織A / B測試的機會成本是微不足道的。

然而,A / B測試的隱性成本卻有著更大的影響。A / B測試隱形成本的產生是因為一個產品團隊過度依賴迭代、增量改進。而這種過度依賴會將產品牢牢綁定在基礎結構以及產品現有缺陷之上。

漸進式改進并不是完全不重要:通常在某個過程當中還是會以百分比的方式增長,比如,游戲的登錄頁轉化,總體收入,會話時長都會得到一些增長。這個圖表是經歷10%的周期增長率的一個過程:

111

但是對這種持續的測試優化使一個團隊不能集中精力于他們產品的真正的問題。這不是機會成本(即“我們應該選擇進一步的A / B測試還是修復產品的結構性問題?”),而是不去識別或考慮核心產品的弱點,因為大家認為改進是包治百病的靈丹妙藥。這個圖表是經歷10%周期增長率后下降:20%的過程。

211

A / B測試的隱性成本并不體現在誤用資源, 他們體現在科學數據可以取代產品開發的想法。A / B測試失敗的產品就像帶著槍傷去健身:該做的沒做好,最終也是徒勞。

存在數據問題的廠商其實是放棄了真正宏觀層面問題的處理,讓位給了微觀過程的改進,其實并未解決產品的根本問題,反而在某種程度上加速了問題的擴散速度。

A / B測試是一種工具,而不是一個產品開發戰略,它應該被用來給那些已經獲得一定成功的產品帶來更大的優勢,而不是讓他們以為自己對產品的直覺是錯的(GRG游戲研究組注:他只是適用于一些微觀過程的改進,而不是戰略級的開發策略解決不了產品的本質問題)。

source:上方

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!