應用在產品管理中的科學方法
這篇文章,我們將討論如何應用一個科學方法及其組成:產生假設-測試-評估-產品計劃。
一個讓人望而卻步的問題:如何像Amazon和Facebook這樣成功的公司一樣,持續運行用戶測試和收集大量數據?從何入手?可行嗎?
好消息是,如果你開始行動,甚至是在一個小問題上,你可以基于公司文化建立這種快速的測試。下次在會議討論、辯論或者爭執中,你可以這樣問: “我們可以測試一下嗎?” 你可以把注意力從解決問題轉變到理解問題,然后轉移到測試中去尋找正確的解決方案。
這里,我們將討論如何應用一個科學方法及其組成:產生假設-測試-評估-產品計劃。
假設
來自維基百科:假設是對現象的一種可能的解釋。
好,我們先在這里停一下。對產品來說,我們從“現象”中尋找“問題”。設定一個假設可以幫助我們清晰的理解我們所觀察的問題,這樣我們就可以創建一系列的實驗去測試潛在解決方案。我們的假設是用來回答“問題是什么,發生的原因是什么?”
我來舉個來自我自己公司的例子,這里給產品經理很多工具。我們發現產品經理經常糾結于定義產品路線圖。根據當前的現狀去獲悉所謂“價值”是很難的。大多數優先排序方案歸結為成本與回報分析。你尋找低成本的計劃,你期望產生高回報。但是,你如何對高回報(高價值)的做出明智的猜測呢?
我們的假設是,產品經理很難清楚地確立和捍衛其優先事項,因為很難對一項提議的價值綜合多個視角進行總結和分析。收集和篩選來自銷售、市場和技術等不同群體的獨到見解是一個大難題。如果每個人都不理解事件優先級背后的排序邏輯,那么這種不理解可能會導致整個組織對排序結果的不信任。
讓我們用定義假設將這個過程分解為兩個部分:
我們觀察到什么現象(問題)?
- 產品經理在初步評估價值的時候比較困難。
- 組織糾結于如何理解優先級排序。
發生的原因是什么?
- 在評估的時候,組織內部協作有限。(我們大都基于經驗,而非協作)
- 在評估的時候,與客戶的協作有限。
- 在評估的時候,對于決定價值的“為什么(要做)”溝通有限。
這讓我們可以深入研究假設
產品經理之所以很難評估產生的價值,是因為對內部團隊,比如銷售、市場、技術和客戶成功所知有限。
記住,這并不一定是問題的唯一的原因。我們選擇一個我們認為是最有可能的原因,然后去收集數據來幫助我們確定我們是否正確。未來,我們可能放棄這個假設,然后回去尋找可能的原因。
測試
既然我們已經設定了假設,我們可以開始尋找幫助產品經理在制定產品路線圖時評估優先級的可能解決方案了。一種方案是把團隊成員說的每句以 “我認為……”、“我們應該……”、“如果我們……”的話轉變成“如果……會怎樣”語句。即便我們不知道嘗試的結果,但是會讓我們無法忽視假設的結果。
這讓我們的假設變得:
- 如果在每次為產品路線圖添加新特性的時候,發送谷歌調研問卷,會怎樣?
- 如果我們建議產品經理每隔一段時間就和某個團隊會晤,會怎樣?
- 如果我們建立一個Slack機器人來收集團隊評估,會怎樣?
- 如果我們在會議中建立一個AppleTV的應用,將評估游戲化,會怎樣?
我們發現Slack機器人對我們來說是最好的選擇——可以與組織中大量人員進行互動而不會產生摩擦。通過這條建議,我們為產品經理在評估每個倡議的價值時將數據收集工作分解為兩點:
- 這一倡議對我們正在尋求解決的客戶問題的預期影響是什么?
- 這一倡議對我們業務目標的預期影響是什么?
我們的Slack機器人將會生成一個問卷讓團隊成員來打分,分值范圍是1~5。我們也支持對這些問題進行開放式補充回答:“為什么你認為預期影響是(3)?”
然后,我們將這些信息反饋給產品經理。反饋的界面包括評估分數的范圍以及每個參與者對開放問題的回答。我們的目的是讓產品經理獲得考慮路線圖優先級時的普遍觀點和見解。
我們的測試完成啦!填寫下面的模板,我們可以對測試做一個簡潔明了的概述。
如果我們<嘗試一個解決方案>,我們可以<期望一個結果>。
如果我們利用Slack機器人收集團隊成員價值評估反饋,我們可以提升產品經理對優先級評估的參考數據廣度。
評估結果
到此為止,我們還有一個步驟。我們如何得知效果如何?我們需要一種來評估預期結果的方法。
這常常是使用測試的最大障礙和困難。評估讓人望而卻步,熱別是組織習慣基于直覺和情感進行決策。然并卵,衡量執行評估團隊的情緒不會讓我們的產品或者巨大的成功,或很微小的成功。
你的評估指標應該聚焦在用戶行為上。業務目標很可能與收入、持有或收購有關。這些指標非常重要,但很難快速測量進而做出決策。你需要找到能夠實現這些業務目標的關聯指標。關鍵是找出你認為的用戶正在朝著預期結果前進的模式。
對我們來說,假設產品經理處理了更多的來自不同團隊數據,他們將會更好的了解預期價值,并做出更好的決策。因此,需要向他們提供他們以前沒有的數據,并跟蹤這些數據是否影響他們的決定。我們希望能夠在這個過程中進行測試和調整,并且知道是否有機會達成目標。如果測試的成功與否是基于用戶行為的,那么我們可以稍后返回并評估業務指標。
現在,我們只需要給這些指標進行打分。當你第一次使用指標分析時,會發現這更像是一門藝術。如果你有一個穩定的基線,并且所在組織會進行收集分析,你可以得到細顆粒度的結果。如果你剛剛開始嘗試,我建議假設大概有1/4的人的回復是無效的或者不回復。如此一來,大致有75%的用戶從漏斗頂部進入,有25%的用戶數據是有效的。我們使用這種方式以期可以獲得更有效的數據。
- 75%的評估會由Slack機器人成功發送
- 其中,60%的熱團隊成員會響應Slack機器人
- 在看過團隊成員的評估后,產品經理更新了30%的時間評估
- 其中,25%的更新來自團隊成員低分評估,25%的更新來自團隊成員高分評估
這項技術的關鍵在于在測試早期不要糾結于這些百分比,而專注于數據收集。75%是怎么來的?部署這個功能,用戶會減少50%嗎?我們能改進這些數據嗎?還是說這些數據只是現狀的描述?其實,你在查看數據并且與用戶溝通之前,你是不會知道這些問題的答案的。檢查這些指標的一個方法是,開始與相關人員進行對話、討論,這意義遠比獲得答案更深遠。
再完整的概括一下上述內容。
假設:
“產品經理之所以很難評估產生的價值,是因為對內部團隊,比如銷售、市場、技術和客戶成功所知有限。”
測試:
“如果我們利用Slack機器人收集團隊成員價值評估反饋,我們可以提升產品經理對優先級評估的參考數據廣度。”
期望結果:
- 75%的評估會由Slack機器人成功發送
- 其中,60%的熱團隊成員會響應Slack機器人
- 在看過團隊成員的評估后,產品經理更新了30%的時間評估
- 其中,25%的更新來自團隊成員低分評估,25%的更新來自團隊成員高分評估
在測試中,我們會檢查所有的信息:
- 對觀察到的假設以及可能的原因進行清晰的陳述
- 測試用來檢驗造成觀察到的結果的假設
- 在具體環境中通過一系列的產出校驗我們的假設
這個測試會為我們提供數據告訴我們是否在解決客戶問題和支持假設上方向正確。這種測試會成為我們項目初始化的主要推動,或者他們會成為一個沒達成我們期望的好主意的垃圾堆。不論如何,這個過程讓我們對如何讓創意成功不那么重視,而將注意力轉移到觀察這些創意的效果,并反思這些數據對我們下一步行動的啟發和建議。長此以往,我們的協作會更順暢,我們的組織會更成功,我們將更加信任作為決策者的產品經理。
你在自己的公司內部如何進行測試?耗費多久?
設置期望成功的指標的流程是什么?在收集數據時有足夠的靈活性嗎?
為測試收集數據是否對你們公司制定路線圖的決策有幫助?
作者:Danny Gold
譯者:小婧,一名行走在實踐路上的資深業務分析師(BA),個人公眾號:與小婧同行 (xiaojing-jessieyj)。
原文地址:https://medium.com/pathtoproduct/applying-the-scientific-method-to-product-management-953ca4a51758
本文系人人都是產品經理翻譯團隊@小婧 翻譯,未經本站允許,禁止轉載。
題圖來自PEXELS,基于CC0協議
- 目前還沒評論,等你發揮!