中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

高效的優(yōu)選策略，是創(chuàng)意素材能夠發(fā)揮作用體現(xiàn)價(jià)值的關(guān)鍵。本文作者圍繞怎么做創(chuàng)意高效的優(yōu)選、深度優(yōu)選模型如何提升泛化、計(jì)算規(guī)模能力等問題，對(duì)小紅書的創(chuàng)意優(yōu)選策略進(jìn)行了分析，一起來看一下吧。

今天接著給大家講解大廠案例下的策略產(chǎn)品能力——小紅書創(chuàng)意優(yōu)選策略，核心內(nèi)容主要圍繞怎么做創(chuàng)意高效的優(yōu)選、深度優(yōu)選模型如何提升泛化、計(jì)算規(guī)模能力等問題。

一、高效的創(chuàng)意優(yōu)選策略

優(yōu)選示意圖說明

投放平臺(tái)智能創(chuàng)意功能展示

上圖1是小紅書中博主上傳多張圖片素材之后，針對(duì)不同的筆記用戶優(yōu)選展示不同的素材主圖的最優(yōu)邏輯展示，圖2則是小紅書聚光平臺(tái)投放設(shè)置創(chuàng)意信息的時(shí)候的投放樣式展示。

我們可知，高效的優(yōu)選策略，是這些創(chuàng)意素材集合能夠發(fā)揮作用體現(xiàn)價(jià)值的關(guān)鍵。優(yōu)選策略的好壞體現(xiàn)在兩個(gè)方面：

1. 選得好不好？能否選出來用戶最喜歡的創(chuàng)意，是提升廣告投放效率CTR的關(guān)鍵。
2. 選得快不快？能否盡快把好的創(chuàng)意選出來，是客戶及用戶感知效果的關(guān)鍵。

前面在<阿里媽媽創(chuàng)意優(yōu)選策略> 一文就給大家介紹到了，在沒有先驗(yàn)知識(shí)的前提下，從一個(gè)廣告筆記的多個(gè)創(chuàng)意id中選最最好的那個(gè)，其實(shí)是一個(gè)MAB（Multi-Armed Bandit，多臂賭博機(jī)）的問題。

“多臂賭博機(jī)問題 (MAB)：老虎機(jī)有一條搖桿（類似于一條手臂），搖動(dòng)搖桿即會(huì)按照一定概率吐出一定量的錢，一個(gè)賭徒面對(duì)多臺(tái)老虎機(jī)，在不知道老虎機(jī)吐錢概率分布的情況下，如何最大化收益？”

這類問題業(yè)界常用的算法策略其實(shí)在冷啟動(dòng)章節(jié)中給大家也有介紹過有epsilon 貪心 (?-greedy)、湯普森采樣 (Tompson sampling)、UCB (Upper confidence bound)等。通過綜合分析各算法的收斂速度、對(duì)反饋數(shù)據(jù)的敏感程度等因素，小紅書平臺(tái)選擇采用了 UCB 策略，這里我們?cè)敿?xì)展開講解。

1. UCB 策略簡(jiǎn)介

UCB 策略解決 MAB 問題的思路是使用置信區(qū)間：給每臺(tái)老虎機(jī)一個(gè)置信區(qū)間，區(qū)間的中間值為該機(jī)器的平均收益（吐出錢的平均值），寬度與玩的總次數(shù)的對(duì)數(shù)值成正比，與在該機(jī)器上玩的次數(shù)成反比。面對(duì)多臺(tái)老虎機(jī)，每次都選擇有最大上界的那個(gè)機(jī)器。

在創(chuàng)意素材優(yōu)選的場(chǎng)景中：對(duì)于每個(gè)素材，使用多次曝光該素材的收益 (Reward)+該素材置信區(qū)間寬度 (Bonus) 計(jì)算出區(qū)間上界 (Score)，每次曝光 Score 最高的那個(gè)素材。

其中，Reward 為某個(gè)素材累計(jì)曝光的綜合收益（例如 ctr 的增幅、收入的漲幅，也可以聯(lián)合起來），Bonus 的計(jì)算與該素材的曝光次數(shù) (Imp) 及所有素材的曝光次數(shù) (totalImp) 有關(guān)，公式如下：

最后的結(jié)果就是經(jīng)過一定量的探索之后，置信區(qū)間的寬度會(huì)變得越來越小，Reward也會(huì)趨于穩(wěn)定，將曝光和優(yōu)選的結(jié)果傾向給到pCTR即收益更大的素材，如果素材曝光少，會(huì)伴隨曝光次數(shù)的增加，素材Bonus變大，Socore變大，同樣有一定的曝光概率進(jìn)行探索。

2. 如何兼顧用戶體驗(yàn)與優(yōu)選效果CTR

我們都知道創(chuàng)意優(yōu)選是為了提高單個(gè)筆記主體創(chuàng)意的的點(diǎn)擊率，但是一旦對(duì)創(chuàng)意進(jìn)行優(yōu)化，小紅書平臺(tái)也擔(dān)心影響到用戶體驗(yàn)問題，所以需要追求商業(yè)化的同時(shí)兼顧點(diǎn)擊率效果指標(biāo)。

為此，小紅書平臺(tái)制定了用戶停留時(shí)長(zhǎng) (avgViewTime) 作為衡量服務(wù)質(zhì)量 (QoS，Quality of Service) 的一個(gè)綜合指標(biāo)，如何通過 QoS 來計(jì)算得出用戶體驗(yàn) (QoE，Quality of Experience）呢？

QoE 的相關(guān)研究指出：當(dāng) QoS 較低時(shí)，用戶的 QoE 已經(jīng)很低了，即使 QoS 繼續(xù)惡化，QoE 也不會(huì)再降低很多了。同理，當(dāng) QoS 較高時(shí)，用戶的 QoE 已經(jīng)很高了，QoS 的進(jìn)一步提升也不會(huì)再增加 QoE，如下圖所示：

所以，我們得到的 QoE 的表達(dá)式為：

其中w3 為可以動(dòng)態(tài)調(diào)整的加強(qiáng)系數(shù)。最終我們將 UCB 中的 Reward 設(shè)置為：

其中，w1為ctr的權(quán)重，w2用來調(diào)節(jié)停留時(shí)長(zhǎng)部分的量綱，w3為平均停留時(shí)長(zhǎng)的權(quán)重。實(shí)驗(yàn)表明：這種 Reward 的設(shè)計(jì)，可以在保證在用戶側(cè)指標(biāo)不降的約束下，廣告 ctr 指標(biāo)有較大幅度提升。

3. 幫助廣告主節(jié)約成本

經(jīng)過數(shù)據(jù)分析，使用UCB策略優(yōu)選素材的時(shí)候，素材的CTR會(huì)在比較端的時(shí)候內(nèi)達(dá)到一個(gè)穩(wěn)定的狀態(tài)，并且最優(yōu)的素材穩(wěn)定性比其他素材更好，因此會(huì)設(shè)計(jì)素材退場(chǎng)機(jī)制，減少探索的成本。

退場(chǎng)機(jī)制：考慮對(duì)于達(dá)到某一條件（足夠的曝光、點(diǎn)擊，或 ctr 穩(wěn)定在一個(gè)區(qū)間）的筆記，只曝光 Reward 最高的圖片。同時(shí)在一個(gè)滑動(dòng)窗口時(shí)間內(nèi)，選取一個(gè)閾值，保障每個(gè)圖片都有一定的曝光。退場(chǎng)機(jī)制的實(shí)現(xiàn)邏輯如下：

實(shí)驗(yàn)表明，有退場(chǎng)機(jī)制的 UCB 優(yōu)選策略，可以減少探索次數(shù)，節(jié)約廣告主優(yōu)選成本，并且對(duì)平臺(tái)收益有正向作用。

（注意：退場(chǎng)機(jī)制只適用于靜態(tài)素材，且需要素材間 Reward 差異較明顯）

4. 瀏覽深度對(duì)優(yōu)選的影響

通過廣告埋點(diǎn)行為發(fā)現(xiàn)，搜索場(chǎng)景下用戶搜索信息目的強(qiáng)，對(duì)于瀏覽深度增加，用戶的物料筆記點(diǎn)擊需求就會(huì)變得越低。因此，當(dāng)一個(gè)廣告曝光在不同位置時(shí)，其 ctr 的差異很大，這會(huì)對(duì) Reward 中的 ctr 部分產(chǎn)生較大影響。這種情況下，我們考慮對(duì) ctr 進(jìn)行基于廣告坑位的糾偏。

工業(yè)界常用 COEC (Click on Expected Click) 來衡量?jī)蓚€(gè)物料的優(yōu)劣，進(jìn)一步地，可以衡量?jī)蓚€(gè)有不同曝光坑位的優(yōu)選元素差異，其計(jì)算方法如下：

其中 In表示第 n 坑位的曝光量， Cn表示第 n 坑位的點(diǎn)擊量，CTRn表示第 n 坑位的點(diǎn)擊率。

在對(duì)應(yīng)的場(chǎng)景匯總希望把這種差異歸類ctr上，方便UCB策略進(jìn)行Reward計(jì)算，這就需要添加額外的超參，將COEC的值映射到ctr上，并且保證其分布近似，這增加了一定的不可控性。

因此，基于業(yè)務(wù)現(xiàn)狀，小紅書團(tuán)隊(duì)創(chuàng)新性地提出了一種對(duì)于 ctr 進(jìn)行坑位糾偏的方法，命名為 ECOI (Expected Click on Impression)。借鑒 COEC 的思想（根據(jù)不同坑位的平均 ctr，計(jì)算期望點(diǎn)擊數(shù)量），將所有位置的點(diǎn)擊都與首位進(jìn)行校準(zhǔn)對(duì)齊，其計(jì)算方法如下：

優(yōu)點(diǎn)：使用 ECOI 的實(shí)驗(yàn)組效果略好于使用 COEC 的效果，并且遠(yuǎn)好于不進(jìn)行坑位糾偏的效果。相比 COEC，其含義和取值范圍基本與實(shí)際 ctr 一致，方便直接替換模型中的ctr，也不用引入超參去尋找和ctr的映射關(guān)系。

缺點(diǎn)：但看某一個(gè)坑位上點(diǎn)擊數(shù)校準(zhǔn)的值，可能點(diǎn)擊數(shù)比曝光數(shù)還大。（出現(xiàn)幾率偏小，廣告系統(tǒng)中的點(diǎn)擊數(shù)是遠(yuǎn)小于曝光數(shù)的，所以可以忽略這個(gè)問題）

二、 深度優(yōu)選模型

UCB 依賴后驗(yàn)數(shù)據(jù)的反饋，但是創(chuàng)意素材（包括封面圖和標(biāo)題）有大量都是分布在長(zhǎng)尾上，無法在有限的時(shí)間內(nèi)搜集到足夠多的反饋數(shù)據(jù)得到置信的結(jié)果。所以小紅書平臺(tái)構(gòu)建了大規(guī)模離散值 DNN 模型來補(bǔ)充創(chuàng)意上的泛化能力。

另外，針對(duì)熱門創(chuàng)意的素材，在模型中將用戶的個(gè)性化也考慮進(jìn)來，使系統(tǒng)具有了千人千面的優(yōu)選能力，從而進(jìn)一步提升優(yōu)選效果。

1. 如何提升泛化能力

特征是大規(guī)模離散值 DNN 的學(xué)習(xí)基礎(chǔ)，在項(xiàng)目一期，對(duì)創(chuàng)意素材和用戶進(jìn)行了精細(xì)的刻畫，構(gòu)建了具有較強(qiáng)泛化能力和個(gè)性化能力的模型。

• 創(chuàng)意素材泛化：挖掘基礎(chǔ)的創(chuàng)意泛化特征，如圖片的類目，OCR 結(jié)果，文本的分詞，實(shí)體詞等。一方面防止模型在自解釋特征上過擬合，另一方面對(duì)于冷啟動(dòng)階段的新創(chuàng)意，自解釋特征還未完全收斂時(shí)，泛化特征可以提供相應(yīng)的信息從而提高預(yù)估效果。
• 用戶個(gè)性化刻畫：用創(chuàng)意側(cè)特征去刻畫用戶興趣，以用戶歷史點(diǎn)擊過的筆記的圖片 id 構(gòu)造點(diǎn)擊行為序列，并以圖片 id 的泛化特征去擴(kuò)展用戶行為序列，包括 OCR 序列、圖片類目序列、實(shí)體詞序列等。此外，基于用戶在圖片各個(gè)特征維度的泛化特征序列，我們通過取每個(gè)序列里 top3 出現(xiàn)的特征，來作為對(duì)用戶最感興趣的特征的刻畫。
• 創(chuàng)意側(cè)特征交叉：將用戶側(cè)特征與當(dāng)前創(chuàng)意特征做交叉，來刻畫用戶對(duì)當(dāng)前創(chuàng)意的偏好，通過特征交叉，可以增強(qiáng)模型在個(gè)性化預(yù)估下對(duì)候選創(chuàng)意的區(qū)分度。在 query 上，將當(dāng)前 query 和候選圖片 OCR 識(shí)別出來的文字以及創(chuàng)意標(biāo)題做字粒度、詞粒度以及實(shí)體詞的匹配。在用戶行為上，將當(dāng)前候選圖片與用戶歷史點(diǎn)擊行為序列里的圖片類目、OCR 序列做匹配。

2. 如何解決計(jì)算規(guī)模的問題

深度模型的推理粒度是比筆記更深一層的素材級(jí)別，即一個(gè)筆記會(huì)有多個(gè)候選的候選的標(biāo)題和圖片，為了提高模型預(yù)估的準(zhǔn)確性，我們?cè)跇?biāo)題和圖片的笛卡爾積上進(jìn)行推理，使模型可以直接選出最優(yōu)的標(biāo)題圖片組合。但這也使模型推理的計(jì)算量提高了一個(gè)數(shù)量級(jí)。

為了在這個(gè)計(jì)算量級(jí)上進(jìn)行模型推理，小紅書憑條設(shè)計(jì)了一個(gè)級(jí)聯(lián)雙塔結(jié)構(gòu)來保證模型的預(yù)估效果，具體如下：

雙塔模型中左側(cè)塔是一個(gè)完整的點(diǎn)擊率模型結(jié)構(gòu)，輸入層只接收廣告特征的 embedding，模型結(jié)構(gòu)上相比右側(cè)復(fù)雜度和參數(shù)量都要大很多。

右側(cè)是一個(gè)淺層 DNN 網(wǎng)絡(luò)，輸入層加入創(chuàng)意側(cè)特征的 embedding。同時(shí)，我們將左側(cè)廣告塔的輸出和上層的隱層向量傳遞到右側(cè)塔，來指導(dǎo)創(chuàng)意特征對(duì) 點(diǎn)擊率的學(xué)習(xí)。

在訓(xùn)練時(shí)，右側(cè)塔接收左側(cè)塔的信息，并融合創(chuàng)意特征共同學(xué)習(xí)。右側(cè)創(chuàng)意塔的梯度不回傳給左側(cè)塔，保證左側(cè)塔學(xué)習(xí)的是廣告整體的表現(xiàn)，在特征和訓(xùn)練上都不包括創(chuàng)意特征的信息。

線上推理時(shí)，每個(gè)廣告對(duì)左側(cè)廣告塔僅計(jì)算一次，右側(cè)創(chuàng)意塔計(jì)算 N 個(gè)創(chuàng)意的點(diǎn)擊率。相比于點(diǎn)擊率模型，僅增加了 N 個(gè)創(chuàng)意塔的計(jì)算量，避免了創(chuàng)意展開導(dǎo)致的計(jì)算量爆炸。

由于創(chuàng)意側(cè)特征較少，容易在 id 類特征上過擬合，在創(chuàng)意側(cè)的網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行了精細(xì)化的設(shè)計(jì)：

• 創(chuàng)意特征通過 SENet 來學(xué)習(xí)每個(gè)特征的嵌入向量的權(quán)重。
• 對(duì)于圖片 id 特征額外在 SENet 上加入正則化，并添加自適應(yīng) dropout 來減弱 id 類特征的影響。
• 對(duì)于泛化特征，我們?cè)黾?user_id、query 以及廣告?zhèn)葌鬟^來的 embedding 合并到一起，與創(chuàng)意側(cè)泛化特征的 embedding 通過 DeepNet 來增強(qiáng)創(chuàng)意特征與廣告特征的交叉能力。

由于具有泛化能力和個(gè)性化的能力，深度優(yōu)選模型使廣告創(chuàng)意的優(yōu)選效果得到了進(jìn)一步的提升。