互聯(lián)網(wǎng)產(chǎn)品從單目標優(yōu)化到多目標優(yōu)化的產(chǎn)品迭代路徑和業(yè)界探索進展
編輯導(dǎo)語:作為一名產(chǎn)品經(jīng)理,互聯(lián)網(wǎng)產(chǎn)品是否能夠迭代成功,是需要一定的量化指標來衡量的。作者分享了從單目標優(yōu)化到多目標優(yōu)化的方法,看看是如何用它來衡量產(chǎn)品迭代的。
大數(shù)據(jù)時代,互聯(lián)網(wǎng)產(chǎn)品迭代是否成功,產(chǎn)品經(jīng)理往往采用一定的量化指標來驗證,比如產(chǎn)品的點擊率、轉(zhuǎn)化率、活躍度、GMV等,上述指標也有寬口徑和窄口徑之分,寬窄區(qū)別在于數(shù)據(jù)統(tǒng)計的周期、數(shù)據(jù)歸因的不同。
比如搜索引導(dǎo)GMV的寬口徑是指在統(tǒng)計周期內(nèi),用戶下單的商品被用戶在搜索結(jié)果頁點擊過就算,而窄口徑是指當天用戶下單,而且下單的前置頁面是搜索結(jié)果頁,并且在搜索結(jié)果頁點擊了該商品,可見窄口徑比寬口徑要嚴格得多。
一、單目標優(yōu)化及多目標優(yōu)化
作為互聯(lián)網(wǎng)這類大數(shù)據(jù)產(chǎn)品,比如電商、本地生活、互聯(lián)網(wǎng)醫(yī)療等,在很長時期內(nèi)對于產(chǎn)品是否成功,達到上線標準,主要采用單目標的AB實驗是否顯著(p值<0.05)提升這樣的標準。這樣的產(chǎn)品上線驗證標準,在國內(nèi)從互聯(lián)網(wǎng)誕生一直持續(xù)到現(xiàn)在。
但是單目標優(yōu)化有自身固有缺陷,由于單目標往往不是針對最終目標的優(yōu)化,只是最終目標的鏈路漏斗的某個前序環(huán)節(jié)的優(yōu)化,導(dǎo)致局部的提升有可能犧牲后續(xù)漏斗環(huán)節(jié)的表現(xiàn),最終整條鏈路總體效果并不是最佳。
這樣的表述可能比較難以理解,我們以實際例子給大家更加直觀的印象。電商業(yè)務(wù)中如果單純優(yōu)化GMV,CTR往往犧牲較大(此優(yōu)化目標導(dǎo)致系統(tǒng)傾向于讓用戶購買單價高的商品),從長遠來看會使平臺的活躍用戶減少。
但是如果單純優(yōu)化CTR,GMV不一定同步會得到提升,甚至同比是下降的(此優(yōu)化目標系統(tǒng)傾向于讓用戶看決策成本低的低單價商品)。
現(xiàn)在工業(yè)界幾乎都在做多目標優(yōu)化,如果不做多目標優(yōu)化,那產(chǎn)品就會在一個極端下越走越遠,最終用戶體驗很差。所以在常見的搜索推薦場景中,大廠就進化到同時優(yōu)化多個業(yè)務(wù)目標。
比如電商場景中,希望能夠在優(yōu)化GMV的基礎(chǔ)上提高點擊率,從而提高用戶的粘性;在信息流場景中,希望提高用戶點擊率的基礎(chǔ)上提高用戶關(guān)注、點贊、評論等行為,營造更好的社區(qū)氛圍從而提高留存。
多目標優(yōu)化問題在工程應(yīng)用中非常普遍且處于非常重要的地位,自20世紀60年代以來,就吸引了越來越多的不同背景研究人員的注意力。
而多目標優(yōu)化目標又是比較困難的事情,一般情況下,多目標優(yōu)化問題的各個子目標之間可能是矛盾的,一個子目標的改善可能會引起另外一個或者幾個子目標的性能降低,也就是同時使得多個子目標一起達到最優(yōu)是不可能的。
而只能在它們中間進行協(xié)調(diào)和折中處理,使各個子目標盡可能達成到最優(yōu)解,在保障主要目標提升的同時,次要目標不要受損太多。對于多目標優(yōu)化問題,當前研究和工業(yè)界應(yīng)用主要集中在:
- 模型結(jié)構(gòu),比如MMoE、ESMM;
- 各目標間的權(quán)重分配,比如帕累托積累,具體的算法機制就不贅述了,大家只要知道工業(yè)界用大量的探索并且取得一定的研究進展即可。
在互聯(lián)網(wǎng)領(lǐng)域,最近的業(yè)界成果是阿里和Google提出的多目標優(yōu)化算法,Google是youtube上視頻推薦,同時優(yōu)化視頻的點擊率和好評率(MMoE),阿里是電商上采用帕累托優(yōu)化,同時提升電商GMV和CTR(https://blog.csdn.net/weixin_39778400/article/details/111161071),找到帕累托有效解,阿里在真實的電商推薦系統(tǒng)上進行了大量的實驗,并將結(jié)果與單目標最佳方法進行了比較。
在線和離線實驗結(jié)果都表明:
PE-LTR(CTR和GMV同時優(yōu)化的方法)在四個度量上優(yōu)于其他基線。這與離線實驗的結(jié)果基本吻合。請注意,PE-LTR 在較高的 CTR 下實現(xiàn)了 GMV 的顯著提升。
這說明帕累托有效推薦的優(yōu)勢,完整的算法推到在:https://haiping.vip/2020/05/04/%E5%B8%95%E7%B4%AF%E6%89%98%E6%9C%80%E4%BC%98/
完整代碼在:github.com/weberrr/PE-LTR
以電商聯(lián)想詞產(chǎn)品為例,探究互聯(lián)網(wǎng)產(chǎn)品優(yōu)化目標選擇迭代思路。
二、電商搜索聯(lián)想詞產(chǎn)品
用戶輸入部分信息就推薦出用戶搜索想用的關(guān)鍵詞,降低用戶輸入成本,降低費力度。
比如下圖中,用戶輸入“連”一個字,下面推出10個詞條,用戶可以直接選擇其中任何一個詞條,也可以選擇右邊位置的屬性詞,選擇右邊位置的屬性詞,這時候相當于搜索詞是詞條+屬性。
聯(lián)想詞優(yōu)化目標如何選擇呢?
優(yōu)化點擊率:優(yōu)化鏈路最短,僅僅涉及聯(lián)想詞頁面,只要將用戶最愿意點擊的詞條召回并排在前面即可
優(yōu)化引導(dǎo)GMV:優(yōu)化鏈路最長,涉及到聯(lián)想詞頁面-搜索結(jié)果頁-詳情頁-下單
這時不僅要考慮聯(lián)想詞頁面推薦的詞條和排序,用戶是否愿意點擊,也要考慮點擊詞條后的搜索結(jié)果頁的后續(xù)用戶商品選擇和下單行為。
采用點擊率作為優(yōu)化目標:最佳階段是產(chǎn)品的中初級階段,用戶體驗較差,后端鏈路數(shù)據(jù)積累還不夠,點擊率有很大提升空間,這個階段實際是優(yōu)化用戶體驗,提升產(chǎn)品粘性,促進產(chǎn)品活躍,某種角度上是平臺通過超預(yù)期體驗實現(xiàn)用戶增長。
如果點擊率提升到高位,在后端鏈路也積累了比較充足的數(shù)據(jù),這個時候適合進入第二階段,在維持高水平點擊率不下降的基礎(chǔ)上,延長優(yōu)化鏈路,將經(jīng)營目標GMV作為優(yōu)化目標,這實際是將兩個目標同時優(yōu)化,互為約束。
經(jīng)過了第二階段,經(jīng)營目標提升到高水平,進入第三階段,同時優(yōu)化用戶體驗和GMV,但是這個第三階段與第一階段的意義完全不同。
第一階段因為產(chǎn)品處于中初級階段,解決的是產(chǎn)品可用性和好用性問題,第三階段追求的是長期目標,用戶的長期忠誠和復(fù)購的養(yǎng)成,要求實現(xiàn)公司的經(jīng)營目標,實現(xiàn)用戶價值變現(xiàn),尤其是互聯(lián)網(wǎng)到了下半場,增量用戶挖掘殆盡,平臺主要目標是提升用戶價值。
這種優(yōu)化目標的迭代不限于聯(lián)想詞產(chǎn)品形態(tài),適用于大多數(shù)產(chǎn)品形態(tài),就像頭部電商搜索結(jié)果的優(yōu)化目標,從最初的CTR優(yōu)化到現(xiàn)在的GMV優(yōu)化(或者人均搜索GMV產(chǎn)出優(yōu)化)。
所以互聯(lián)網(wǎng)產(chǎn)品的優(yōu)化目標迭代,主要看當前互聯(lián)網(wǎng)產(chǎn)品發(fā)展到哪個階段?如果是處于中初級階段,就選擇優(yōu)化更短的優(yōu)化鏈路,注重用戶體驗為主,如果到了第二階段,就應(yīng)該選擇優(yōu)化引導(dǎo)GMV,如果過了第二階段,就應(yīng)該進入第三階段,同時優(yōu)化兩個目標。
同時要考慮自己用戶增長潛力,在用戶增長潛力較大的階段,用戶體驗第一位,提供超預(yù)期的用戶體驗實現(xiàn)用戶增長,等到用戶規(guī)模瓶頸,需要用戶變現(xiàn),要進化到兼顧用戶體驗和用戶價值挖掘。
#專欄作家#
毛新年,公眾號:資深電商專家毛新年,人人都是產(chǎn)品經(jīng)理專欄作家。起點學(xué)院講師,2021年B端產(chǎn)品經(jīng)理大會演講嘉賓。主導(dǎo)搭建主流電商平臺搜索推薦商品三大體系,熟悉電商平臺策略-產(chǎn)品-運營-數(shù)據(jù)及研發(fā)各環(huán)節(jié)。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議。
- 目前還沒評論,等你發(fā)揮!