上周我們分享了抽樣分析，一種很系統的需求挖掘方法，我認為無論是策略產品經理還是功能產品經理，都可以使用這套方法完成挖掘需求的工作。執行前，唯一需要確定的事情就是，業務或功能當前的核心理想態是什么。有了這個就可以進行需求挖掘和數據抽樣分析了。本篇我們分享，策略產品經理特有的工作內容“效果回歸”。

一、什么是效果回歸？

我們先復習下上一篇文章的內容：

效果回歸：貫穿策略產品工作的始末，它既是一個策略需求的結束，也是新需求的開始。因為策略產品經理的工作就是在不停的優化策略數據效果，所以效果回歸即發生在開發成果驗收和調優階段，也會發生在策略上線后的數據分析階段。從處理邏輯上講和功能產品經理在需求上線前進行成果驗收和上線后進行數據分析再次發起功能迭代的思路差不多。

所以依據這個邏輯，我們可以將效果回歸分為兩個階段：

1. 開發過程中的“開發效果評估”決定項目是否上線，怎么上線。
2. 項目上線后的“數據分析，實際效果評估”，確認策略對用戶體驗是否有的正向影響，挖掘新需求。

二、開發效果評估

開發效果評估是策略產品經理的入門工作，為什么這么說呢？在本系列文章《什么是策略產品經理》中，我們講過“策略產品通過邏輯描述和效果示例表達產品實現效果，過程中可能需要多個算法邏輯并行，并涉及到很多復雜的變量”。

在評估的過程中，策略PM需要針對RD開發出的模型，進行多維的結果測試，驗證是否滿足需求。經過驗證可能算法、邏輯、條件都需要調整，而具體做不做調整，怎么調整只有經過效果評估才能知道。所以效果評估是策略產品經理必須要做的事情。

1.評估流程

通常情況下，策略需求開發的過程是這樣的：

1. 需求評審通過后，RD進行策略開發，開發完成后向PM提交結果進行效果評估，即送評。
2. PM進行效果評估，看是否滿足目標效果。如果滿足則上線，如果不滿足則向RD提出問題點或包含改進意見。然后RD再次進行開發，開發完成后再次送評。
3. PM再次進行效果評估，滿足目標效果則上線；如果不滿足，那就要再次提問題點，RD繼續開發，直到開發成果滿足目標效果。

2.策略質量評估

第一篇《什么是策略》中，我們提過：策略的開始需要明確理想態。而理想態會針對業務的復雜程度，由多個相對獨立的理想態組成一個復雜的核心理想態。參照這個邏輯，我們可以將一個復雜的核心策略拆解成多個相對獨立的子策略，它們相互關聯，一同服務于核心策略。

這是一個連帶關系，也就是說當我們調整一個子策略時，核心策略的效果也可能會隨之變化。這就需要我們在做開發效果評估時，即要針對單一策略進行“策略質量評估”，也要針對整體策略進行“diff評估”。

策略質量評估的評估標準由召回率和準確率組成。

1）召回率：代表策略幫你獲取了多少，你需要獲取的“數據”。計算公式如下：

召回率 = 目標數據中策略實際召回的數據量 / 目標數據的總量

2）準確率：代表策略幫你獲取的這些數據，有多少是有效的。計算公式如下：

準確率 = 召回數據中有效數據的量 / 召回數據的總量

召回率和準確率之間是相對矛盾的。向召回率高，你就要增加更多有效的召回元素，放寬召回標準；但是元素多了的話，那準確率就會下降，因為想準確率高我們就必須收縮精細召回標準。

舉例說明：以今日頭條文章收錄的策略為例：

大家都知道，頭條有向全網抓取文章的策略。原理就是機器利用自然語言識別技術，通過分析文章標題和正文內容等部分中，分析被定義為某個屬性的關鍵詞和句式結構的所有量，給文章定類型，是軍事文章還是社會文章等。很多時候，我們如果想擴充一個類型的文章量，就要增加相關關鍵詞和句式識別的范圍和收錄標準。那這個時候就有可能會把機器認為是軍事類文章而內容本身為其他類目的文章收錄到軍事類文章中。

例如：某人是軍事類文章作者，他寫了一篇二戰時期各國將領八卦的帖子，文章會涉及到將領人名、國家名和戰場名稱。在召回標準寬松的時候，它可能會被判定為軍事類文章，但實質這是一篇八卦閑文，那準確率自然就下降。

工作中我們需要針對不同的項目目標和要解決的不同問題，去分析本次主要是調整召回率還是調整準確率，并且找到二者之間的平衡點。

3.Diff評估

一個由多個策略組成的復雜策略，各策略之間是相互作用的關系。針對一個整體策略我們通常綜合兩個衡量標準進行評估，分別是：

• Diff影響面：策略調整前后，數據在前臺展示情況的變化程度。這個結果通過RD在完成策略開發后，就能跑出來。
• G：S：B評估：即分析策略結果中good（有改進的部分）、same（無變化的部分）、bad（變壞了的部分），三類case分別的占比是多少。

舉例說明：依舊用今日頭條內容收錄的策略。

軍事文章收錄策略調整后我們對1000篇文章進行識別，新舊策略識別后的對比結果如下：共有327個不同結果。其中，147個新策略識別為軍事文章，舊策略識別為否；180篇新策略識別為否，舊策略識別為是。經人工比對，其中234個是新策略對，舊策略錯。57個是新策略錯，舊策略對。還有36個無法明確界定是否是軍事類文章，暫定為same結果。

評估結果是：Diff影響面 = 新舊結果不同的327 / 總樣本量1000 = 32.7% ；G：S：B = 234 ：36 ：57

如果PM覺得這個效果可行，那就可以選擇上線了；如果不可行，我們可以針對bad數據再次細化識別策略，找出問題點，分析原因制定解決方案。

通常我們會發揚good策略，優化bad策略，放緩same數據。

三、效果回歸

效果回歸一共分為五步，依次是：

1. 明確目標：即策略當前的理想態
2. 建立考核指標：理想態相關的衡量指標
3. 選擇上線方式
4. 依據考核指標收集數據
5. 分析問題產出結論：有沒有達到理想態，有的話還有沒有改進空間，怎么改進；沒有的話問題出在哪，怎么解決

1、2、4、5步，在上一篇《需求挖掘之抽樣分析》第二節階段性調研中有詳細的說明，此處就不講了，我們詳細說明下第三步，選擇上線方式。上線方式有兩種可選：

1.全流量上線：

應用場景是策略調整只和本項目有關，即不存在子與子或子與母之間的策略關聯關系，適用于獨立策略或者是對整體策略無影響的單個策略的迭代。

當評估效果很好時，希望盡快上線拿到收益。滿足以上兩個條件即可使用。

2.小流量上線：即 AB test

應用場景是策略的調整會受到其他因素的影響，或者屬于存在子與子或子與母之間的策略關聯關系的個體策略時；或者策略上線后的效果還存在不確定性，需要進行實際的效果驗證時。以上兩個條件滿足任意一條時，就適合選擇小流量上線。

需要注意的是：為了更好的驗證AB test的上線效果，避免其他不可控因素影響效果。我們可以在AB test正式上線前，先對已選好的測試端口抓取一部分數據，先分析兩個端口的異同點。如果兩個結果表現相同，則需要更換一個端口；如果結果不同，則可以上線進行測試。

到此為止，本文分享完畢。

下一篇我們分享《3.1策略需求文檔的編寫》，在這之后我會和大家一起回顧前五篇帖子的內容，即“整理策略產品經理的工作流程和思考模型”，到時6篇關于策略產品經理的學習筆記就算完成了。

策略產品經理學習筆記目錄：

《策略產品經理學習筆記， 1.1什么是策略》

《策略產品經理學習筆記， 1.2什么是策略產品經理》

《策略產品經理學習筆記， 2.1需求挖掘之抽樣分析》

《策略產品經理學習筆記，2.2需求挖掘之效果回歸》

本文由 @于言某 原創發布于人人都是產品經理。未經許可，禁止轉載

題圖來自Unsplash，基于CC0協議