起點課堂會員權(quán)益
職業(yè)體系課特權(quán)
線下行業(yè)大會特權(quán)
個人IP打造特權(quán)
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導(dǎo)直播
12場專業(yè)技能直播
會員專屬社群
榮耀標(biāo)識策略產(chǎn)品經(jīng)理實踐：主觀評估的方法論
編輯導(dǎo)語：策略產(chǎn)品經(jīng)理在工作過程中往往離不開主觀評估，在科學(xué)的評估方式指導(dǎo)下，主觀評估可以和客觀數(shù)據(jù)指標(biāo)互為補充，同時輔助業(yè)務(wù)決策。本文作者將以此為出發(fā)點，主要介紹了一些主觀評估（平臺視角）的相關(guān)方法論。
一、主觀評估的三條關(guān)鍵準(zhǔn)則
在摸索出以下三條關(guān)鍵準(zhǔn)則之前，筆者在工作早期的主觀評估項目多數(shù)以失敗告終。失敗的原因往往是主觀評估數(shù)據(jù)無法取得廣泛的認(rèn)可，也就無法使用該數(shù)據(jù)推動決策。
通常項目失敗的原因如下：
1. 穩(wěn)定性差
在沒有做大調(diào)整的情況下，上個評估周期的主觀評估數(shù)據(jù)與這個評估周期的數(shù)據(jù)相差甚遠，從而不知道應(yīng)該相信哪一份數(shù)據(jù)。
2. 其他團隊對指標(biāo)不認(rèn)可
策略產(chǎn)品經(jīng)理做了一份主觀評估結(jié)果并發(fā)送郵件給相關(guān)人員，但被其他團隊質(zhì)疑數(shù)據(jù)有效性。
比如，對于某個通用分類器的召回率數(shù)據(jù)，算法工程師認(rèn)為是90%，而策略產(chǎn)品經(jīng)理評估只有70%。
當(dāng)然這兩個數(shù)值是隨意杜撰的，但這件事情背后往往是不同團隊KPI壓力導(dǎo)致的，需要一種切實有效的手段來統(tǒng)一所有人的認(rèn)知。
二、分析
1. 對于第一種情況
往往是抽樣方法或者評估標(biāo)準(zhǔn)導(dǎo)致的，如果在上一次評估周期中抽取了小樣本，而在下一次評估周期中抽取了大樣本，兩次結(jié)果的置信區(qū)間寬度差距較大，那么結(jié)果差異大。
如果兩次評估的抽樣采用了不同的過濾策略，則抽取的樣本實際數(shù)據(jù)分布不同（比如，第一次抽樣過濾了無效狀態(tài)，而第二次抽樣并未過濾）。
另外，兩次評估的評估員不是同一人或者評估標(biāo)準(zhǔn)不清晰，數(shù)值也會有差異。但以上問題都可以通過相應(yīng)的手段解決。
2. 對于第二種情況
相信做過主觀評估項目的人一定非常熟悉，由于團隊內(nèi)有多個“手表”產(chǎn)生了“手表效應(yīng)”，不同視角數(shù)據(jù)（上例中的算法工程師和策略產(chǎn)品經(jīng)理各執(zhí)一詞的兩份數(shù)據(jù)）的增加，不僅沒有為團隊帶來收益，反而導(dǎo)致團隊內(nèi)部變得更加混沌。
主觀評估數(shù)據(jù)不被信任有多方面的原因，一個最大的原因是對于同一個事物，每個人的主觀標(biāo)準(zhǔn)難以實現(xiàn)精準(zhǔn)的“調(diào)和”。
畢竟大多數(shù)人來自不同的省市，接受了不同的教育，在走上工作崗位時已經(jīng)形成了完整的世界觀，此時很難去統(tǒng)一不同人根深蒂固的底層認(rèn)知，這也是主觀評估項目的最大挑戰(zhàn)。
所以在匯報主觀評估項目時，尤其考驗策略產(chǎn)品經(jīng)理的推動能力和匯報技巧，他們必須推動更多的人支持該方案。
三、總結(jié)
經(jīng)過對多方的廣泛復(fù)盤和經(jīng)驗沉淀，筆者總結(jié)出了以下三條關(guān)鍵原則，如圖3-2所示：
1. “法律條文”—“主觀評估標(biāo)準(zhǔn)”的四要素
主要作用是使用客觀清晰的語言統(tǒng)一團隊內(nèi)部所有人的認(rèn)知，即對于任意的主觀評估標(biāo)準(zhǔn)而言，必須具備完整的“法律條文”.
具體包含以下4個關(guān)鍵要素：
1）標(biāo)簽
標(biāo)簽可以是連續(xù)的，也可以是離散的。體育分類的內(nèi)容、美術(shù)分類的內(nèi)容等屬于離散標(biāo)簽，豆瓣上的電影評分屬于連續(xù)的標(biāo)簽，標(biāo)簽的設(shè)定完全是由主觀決定的。
2）標(biāo)簽定義
需要滿足“形容詞+名詞”的組合：標(biāo)簽定義是為了讓大多數(shù)人理解標(biāo)簽含義的重要手段，所選擇的形容詞和名詞必須是有實際含義的“{形容詞}的{形容詞}的{名詞}”。
比如豆瓣電影評分為9分的電影指的是“值得多次回顧的（形容詞）、立意深遠（形容詞）的電影內(nèi)容（名詞）”，1分的電影指的是“浪費時間的（形容詞）、毫無主題（形容詞）的電影內(nèi)容（名詞）”。
3）判例
通常以關(guān)鍵詞或該標(biāo)簽的示例給出，和“法律條文”接近，在給出主觀評估標(biāo)準(zhǔn)時需要給出非常具體的實例作為判例，數(shù)量越多越好，一般不少于5個，比如豆瓣評分9分的電影（標(biāo)簽）的判例為《肖申克的救贖》《這個殺手不太冷》等。
判例是對標(biāo)簽和標(biāo)簽定義的具體補充，大多數(shù)情況下團隊內(nèi)部往往對于標(biāo)簽和標(biāo)簽定義不會有較大分歧，而對于判例的分歧一般較大。
所以對于主觀評估標(biāo)準(zhǔn)而言，判例是最重要的部分。請選取團隊內(nèi)部討論通過的，并經(jīng)由“最高裁判”確認(rèn)的標(biāo)志性示例作為判例，這是主觀評估流程中一個非常重要的步驟。
4）標(biāo)簽的比例要求
對于離散型標(biāo)簽而言，往往沒有比例要求。比如對于體育分類的內(nèi)容，策略產(chǎn)品經(jīng)理往往并不要求一定要保證體育分類的內(nèi)容要占到全體內(nèi)容的何種比例，而是順其自然地符合自然分布即可。
而對于連續(xù)型標(biāo)簽，往往需要對不同等級的標(biāo)簽設(shè)定預(yù)期比例，比如金字塔形分布（10分電影所占比例不超過1%，9分電影比例不超過6%，8分電影比例不超過12%等數(shù)值要求）或者紡錘形分布（即兩極的占比低，中部的占比高）。
2. “最高裁判”—主觀評估的必要角色
主觀評估項目中常見的現(xiàn)象是平臺內(nèi)部對于最終的主觀評估數(shù)據(jù)結(jié)果各執(zhí)一詞，造成這一現(xiàn)象的根本原因是平臺內(nèi)部缺乏一個對于標(biāo)準(zhǔn)有最終解釋權(quán)的“最高裁判”的存在。
關(guān)于“最高裁判”，筆者有以下經(jīng)驗可分享：
1）誰來推動
由于職場中大多數(shù)人對于主觀評估的經(jīng)驗不足，一般來說“最高裁判”的選擇需要策略產(chǎn)品經(jīng)理推動相關(guān)角色選舉產(chǎn)生，如果民主選舉無法產(chǎn)生“最高裁判”，此時策略產(chǎn)品經(jīng)理應(yīng)該召開標(biāo)準(zhǔn)討論會議，并邀請項目中職位最高的管理者參加。
會議中推動項目最高管理者指定主觀評估標(biāo)準(zhǔn)的“最高裁判”人選。該人選對于主觀評估標(biāo)準(zhǔn)負(fù)責(zé)，具有最終解釋權(quán)。
2）誰作為“最高裁判”
第一個條件是“最高裁判”應(yīng)是對于主觀評估標(biāo)準(zhǔn)制定最資深、最權(quán)威的人員（內(nèi)容型產(chǎn)品中一般由運營經(jīng)理負(fù)責(zé)）。
第二個條件是“最高裁判”應(yīng)是避免與該評估數(shù)據(jù)有直接利益關(guān)系的人（比如某NLP分類器模型，“最高裁判”的評估人員不應(yīng)該是該NLP算法工程師，而應(yīng)該是第三方中立的業(yè)務(wù)人員），杜絕“既當(dāng)運動員，又當(dāng)裁判員”的現(xiàn)象。
3）產(chǎn)生爭議怎么辦
當(dāng)平臺內(nèi)部對于主觀評估結(jié)論存在多個質(zhì)疑的聲音時，雙方評估的人員、“最高裁判”可以在會議室內(nèi)當(dāng)場校對標(biāo)準(zhǔn)（以筆者的經(jīng)驗看，對于爭議的實例，一般60分鐘的會議即可完成雙方標(biāo)準(zhǔn)的統(tǒng)一），并由“最高裁判”對主觀評估結(jié)論給出終審判決。
3. “主觀評估標(biāo)準(zhǔn)”的用戶視角和平臺視角
對于標(biāo)簽定義而言，應(yīng)當(dāng)盡量貼合用戶視角，設(shè)定評估標(biāo)注時應(yīng)該選擇大多數(shù)目標(biāo)用戶的共同認(rèn)知。
以《火影忍者》的漫畫分類舉例來說，從平臺價值觀和用戶價值觀兩個角度來看是不一樣的：
1）平臺價值觀
《火影忍者》是“熱血分類”動漫，其中“熱血分類”是主觀評估標(biāo)準(zhǔn)中的一個標(biāo)簽。
2）用戶價值觀
用戶A可能會認(rèn)為“火影挺好玩的，看著挺刺激的”，用戶B可能會認(rèn)為“火影好熱血啊，是一個熱血動漫”，而女性用戶C可能會認(rèn)為“火影是一部彩虹漫畫，鳴人、佐助太甜了”。
可見，在本例中用戶A和用戶B腦中的第一反應(yīng)都是“熱血分類”，而用戶C的第一反應(yīng)是“彩虹漫畫”，而此時的主觀評估標(biāo)準(zhǔn)應(yīng)該選取大多數(shù)人的認(rèn)知。
在進行主觀評估標(biāo)準(zhǔn)設(shè)定時，策略產(chǎn)品經(jīng)理應(yīng)該考慮到用戶的認(rèn)知水平差異。
為了讓大家更直觀地理解主觀評估標(biāo)準(zhǔn)的設(shè)計方式，下表給出了漫畫屬于何種漫畫分類的主觀評估標(biāo)準(zhǔn)示例：
上述的主觀評估標(biāo)準(zhǔn)示例是為了便于理解而杜撰的，在實際工作中，主觀評估標(biāo)準(zhǔn)要細(xì)致得多，可以增加對于該標(biāo)簽與其他標(biāo)簽的區(qū)別（比如增加一列備注）。
該標(biāo)簽的正例和反例都可以沉淀到公共文檔上，方便團隊所有相關(guān)人員查閱，對于以上三條主觀評估原則的實例應(yīng)用。
作者：韓瞳，文章選自《策略產(chǎn)品經(jīng)理實踐》，2020年7月出版。
未經(jīng)出版社或作者書面授權(quán)，禁止轉(zhuǎn)載，違者追究法律責(zé)任
題圖來自 Unsplash，基于 CC0 協(xié)議
主管決策往往需要個人影響力來推動，這文章講得都是怎么推動議程，對于如何做決策沒什么干活。
用戶A可能會認(rèn)為“火影挺好玩的，看著挺刺激的”，用戶B可能會認(rèn)為“火影好熱血啊，是一個熱血動漫”，而女性用戶C可能會認(rèn)為“火影是一部彩虹漫畫，鳴人、佐助太甜了”。———–我懷疑你在歧視女性hhh