當產品數據增長的時候，增長團隊（Growth Team）為實現短期增長量，對產品進行的過度優化是一個潛在危險。增長團隊（Growth Team）工作節奏極快，在Pinterest也不例外，我們總是要在給定的時間內進行大量試驗，發現行之有效的方法馬上推出，然后進行下一步嘗試。但有時候，產品需要我們退一步驗證某些新調整或者功能的長期有效性，排除短暫的虛假繁榮，確定它們能夠讓數據可持續的增長。這篇文章，我會介紹Pinterest的增長團隊（Growth Team）是怎樣優化產品的。

去年，我們將所有的推送通知，包含在了Pinterest圖標的數字角標提醒中。對許多用戶來說，當一個App的圖標上有了數字角標，那種點開它將角標消除的沖動是難以抑制的。

與Pinterest其他產品升級一樣，發布新的數字角標提醒的時候，我們使用了A/B測試方法，最初得到的結果不可思議，圖標上小小的數字帶來了7%的日活躍用戶增長，以及其他關鍵交互項指標（如Pin close-ups、repins、Pin click-throughs 譯者注：以上為Pinterest產品中的功能項）的重要提升，在這些漂亮數據的激勵下，我們很快將這項調整應用于整個產品。但是，關于角標提醒的效果能否長久的問題讓我們感到不安：這些小數字會長期有效嗎？用戶會不會最終疲于點擊，進而對角標產生免疫力？

為了回答這個問題，我們創建了一個1%保留樣本群（holdout group）。保留樣本試驗是A/B測試的一種，我們在99%的Pinterest用戶中推出新功能，保留1％不做改變，以便于估量調整的長期影響。對于任何長期效果存疑的特定功能，我們都會專門保留這樣一個1%保留樣本群。

保留樣本試驗（holdout experiment）持續了超過一年的時間。幾個月之后，最初7%的日活躍用戶增長量穩定在了2.5%。去年秋天，我們發布了新功能——Pinterest News，是用戶在Pinterest上關注的其他用戶的最近動態摘要。我們同樣將Pinterest News的提醒增加在數字角標中。結果，Pinterest News又將之前穩定在2.5%的日活躍用戶提升到了4%。?

數據

此外，我們還發現數字角標對提升用戶活躍度卓有成效。Pinterest的用戶分為核心用戶（core）、普通用戶（casual）、邊緣用戶（marginal）等幾個類別，我們發現，角標提醒對邊緣用戶向核心用戶或普通用戶轉化的數據有著顯著影響，在數字角標可以長期維持用戶被證實之后，這一發現讓我們再次興奮不已。

用戶數量變化

作為一個有效手段，保留樣本試驗（holdout groups）保證我們的努力是為了數據的長期增長。它還被應用于廣告、用戶教育等功能?？偟膩碚f，保留樣本（holdout groups）應該在任何長期影響存在疑問的產品升級中使用。在數字角標這個例子中，我們通過它了解Pinterest用戶長期使用角標的反應，這將幫助我們在通知戰略中更進一步。

原文鏈接：Long-term Impact of Badging

作者：John Egan 資深Growth Hacker，現供職于Pinterest

譯者：睡障

來源：http://www.jianshu.com/p/3fa914c8e2b4