AI識別技術,在改變全球流媒體
文章從AI識別技術出發,對其應用進行了分析探究。AI識別技術的商業應用以視頻推薦和廣告投放為主,作者對其未來發展進行了展望,與大家分享。
話說,最近這高質量網綜也太多了吧,都看不過來!
我這時間,全耗在各種職場、偵探、語言、演技類節目里了。
那今天,咱就來說說,這些流媒體平臺吧。
我一直覺得啊,咱互聯網企業的“落地”能力,那是杠杠的。
同樣類型的App,對比國外App,國內大廠總有各種新奇的功能,真引領世界。
周末,我看《奇葩說》的時候,就發現愛奇藝在推廣一個新玩意兒—— “掃一掃”。
視頻旁邊,會有個掃面按鈕。開始我還不知道,這是干嘛的。
點擊了之后才發現,原來是對內容掃描啊,進行人臉識別。然后,會告訴你視頻里的人都是誰,還有相關百科。
哇,完美解決觀眾常見需求—— “這人誰?。俊?。
仔細想想,技術上,還真挺難的。
要知道,這可不是機場里面那種 1:1 人臉識別,你可以正對著攝像頭,讓系統認出來。
你看,誕總和蟲仔,視頻里根本沒看鏡頭,機器只能根據一部分側臉做出判斷。
在我看看來,類似“掃一掃”的創新功能,改變的可不僅僅是優化用戶體驗。
通過這小小的功能,我看到的是全球流媒體平臺們暗潮涌動的技術整體實力的競爭,以及在“識別”這個動作下,人、場、物,正在技術賦予的想象力中串聯在一起。
來,我們先“認識”一下
“掃一掃”是眾多AI在視頻里應用的一個小例子,實際上,AI已經充斥在視頻各個環節。
要讓AI得到更充分的應用,第一步,當然就是要認識視頻里的內容。
這個能力沒有,后面都沒法玩兒。
來,咱直接先看一個AI最復雜的應用場景—— 藝術創作。
今年7月,Netflix財報披露:公司正在研究利用AI生成預告片。
很快,Netflix就可以快速、大量地,對海量內容自動生成預告,質量還非常高哦。
在降低剪輯師人工成本的同時,這千人千面的預告片,又會增加影片點擊率和觀看時長。
其實,在2016年時,21世紀福克斯和IBM就推出了Watson系統給自家的驚悚片Morgan自動生成預告片了,只不過不能像Netflix這大批量搞。
這背后的原理其實都類似,一共分兩步。
第一步,就是識別并理解內容
把剪輯好的全片直接倒入,系統首先就會開始對內容進行識別。
比如,進行復雜環境下的人臉識別,認出演員是誰,還能知道誰是主角,誰是群演。
除了人,還會對景色、物體識別,貼上各種標簽,比如“公園里”,“家里近景”等等。
另外,還會對臺詞和配樂分析,識別各個片段的情感,是驚悚還是溫情,一目了然。
這一過程想要做到詳細,是很耗費時間的,因為要跟其他來源的數據對比。比如IBM的Watson,就需要24小時來完成。
第二步,就是根據既定工業化套路生成預告
比如,同樣是30秒的預告,可以有各種風格,和各種模版音樂,按照相關標準生產即可,再根據用戶喜好投放。
假設,讓你用AI剪輯沈騰的喜劇電影合集,那可以想象出來,這最起碼可以有“感人風格”和“爆笑風格”兩種模版。
上面這兩步里,第一步的“識別”是基礎,第二步的“生成”則是應用。
當然,第一步最為重要也是必須,而且同一部影片,系統理解一次之后,結果可以重復利用,賦能更多應用。
第一步的“識別”還真是“基礎武功”。正因如此重要,各大流媒體巨頭都在重點投入研發。
國內方面,老大哥愛奇藝在研究識別這件事上下了大功夫。比如愛奇藝計算機視覺的研究成果多次被包含ICCV在內的學術會議收錄,多次在挑戰賽獲獎。
愛奇藝還曾直接聯合了國內外頂級視覺和多媒體會議,如PRCV2018和ACMMM,首次發起“多模態視頻人物識別挑戰賽”,還公布了全球最大的明星視頻數據集(iQIYI-VID),聯手產學研,取得突破。
你問啥是多模態識別?
簡單說,就是基于人臉、聲紋、姿態、場景等綜合識別,這樣一來,即使在暗光下、化濃妝、側臉等等,都能準確識別,它對提升人物識別的精準度非常重要,屬于AI領域中前沿的技術。
開頭提到“掃一掃”能識別半張臉的蟲仔,核心能力就來自于這兒。所以這些應用看著好像沒什么,但沒點硬核技術還真不行。
比如愛奇藝辦的這兩場大賽,就讓它的人物識別精確度大幅提升。不然你以為一家娛樂公司為什么要天天搞技術研發。
當AI系統“識別”了視頻內容,那就算是“正式認識”了。在之后,更多的應用可能性,就可以展開了。
“認識”之后,事兒了就好辦了
如何利用AI已經“識別”好的視頻數據呢?
這時,就要想下流媒體平臺的位置了:鏈接「創作者」和「觀眾」。
對于「觀眾」們,就是要想辦法提高用戶觀影體驗,而對「創作者」,就可以幫助他們更快更方便的做出好內容。
先看「觀眾」端。
有了識別的信息以后,最簡單的應用就是…直接把結果顯示給用戶唄。比如,文章開頭提到的“掃一掃”。
TV端也有類似的,比如奇異果AI雷達—— 顯示明星信息,進入泡泡社區等。
其他相關的應用還有——「只看TA」,騰訊視頻和愛奇藝也都支持。
點了之后,用戶就可以只看自己愛豆的cut了,比如看一萬遍“坤坤唱跳籃球Rap”合集。這背后,就是利用了各種識別技術,人臉、表情、場景等等。
誒?于此推演,我有一個腦洞。
那就是,“只-不看TA”。想一下,是不是對于某些劇啊,綜藝啊,你老覺得有些地方比較多余?比如,《親愛的》里面的回憶畫面,還有《破冰》里面的陳珂。是不是感覺,你需要這個功能。
其他的,還有對特定人群的使用優化,比如騰訊視頻的兒童模式保護,愛奇藝的AI手語主播片段生成,B站等彈幕網站的智能防擋臉功能等等。
好,那再來看看對「創作者」的應用。
上面提到的預告片自動剪輯,就是一個高級的例子。
國內方面,AI也已經被主要用到兩個方面:智能選角色,還有,智能剪輯。
AI選角,可以根據劇情需要和演員信息智能匹配,大大提升選人效率和成功率。愛奇藝的“藝匯”和優酷的“魚腦”系統,都已經正式商用。
選角的結果,就有《泡沫之夏》的張雪迎、《最好的我們》的劉昊然,還有《長安十二時辰》的雷佳音等等。
剪輯方面,目前已經商用的,更多的,是一個“助手”角色。比如,拍真人秀的時候,需要FollowPD時刻記錄,還要后期各種人工打標簽,剪輯的時候超級費勁。
有了AI的加持,系統可以快速掃描內容,然后按照明星角色分類,還可以識別各類場景,甚至人物的語言和情緒,給各個片段都打上有用的標簽。
比如,在《中國新說唱》后期制作的時候,AI就幫助剪輯師通過特定標簽,精準找到需要片段內容,數秒內就可以調出特定人物素材,大大縮短制作時間。
類似的系統和功能,國內各大產都有投入,愛奇藝的智能剪輯,騰訊智能云剪輯,優酷的鯨觀剪輯等等。
當然,AI的能力不僅在于提升體驗,最重要的,還是幫平臺賺錢。
“識別”與流媒體平臺的“賺錢引擎”
AI怎么幫流媒體平臺賺錢?這里有兩個重點應用:視頻推薦以及,廣告投放。
當然,這背后都有統一的關鍵詞“匹配”——內容和人,廣告和人。
當用戶能更快的看到自己想看的內容,會員就會不退訂。當用戶能發現自己喜歡的商品,廣告主就不會停止花錢,這樣整個機器就會運轉。
根據Netflix,其平臺80%的觀看量都來自于推薦引擎。他們希望用戶能在1分鐘之內開始觀看節目,否則用戶很有可能會有關掉整個App。
除了常見的,在網站和App上,根據推薦位的權重不同,以及用戶的喜好程度推薦視頻之外,Netflix還可以利用智能識別到的視頻圖像信息,生成個性化的視頻封面。
比如,一部劇里有很多演員,Netflix會先“識別”出不同的角色和演員,之后專門用你喜歡的演員當封面,類似的還可以應用在不同場景和色調上。
比如下面這個《奇怪物語》,就可以生成無數種不同的封面,角色、場景都不同。
另外,還可以根據你看視頻的時間和歷史內容,體會你的心情變化,推薦不同的視頻。比如,一部電影可以有「浪漫」和「驚險」兩種風格的封面。你大半夜的,剛看完一部恐怖片,那就會給你用浪漫風格推薦,平復一下心情。
國內方面,推薦能力各家均有部署。
愛奇藝推出了個性化海報,可以根據用戶的喜好,“識別”用戶喜歡的海報并推送。去年3月,奇異果TV的首頁個性化長視頻推薦功能落地,為用戶提供千人千面的推薦服務。
除了賣會員,廣告也是流媒體平臺的重要盈利方式。
在之前,視頻的貼片廣告,就只是隨便地插入到視頻里,再正常播放就完事了。廣告和視頻本身幾乎分離,用戶體驗很差,廣告轉化率也很低。
后來,YouTube和愛奇藝等頭部企業,探索了智能廣告插入點,也就是,在適合的情況下插入廣告,以減少用戶體驗的損失。
最近兩年,大家又開始探索,怎樣能讓廣告也和視頻內容完美切合。
比如,愛奇藝的創可貼廣告,會根據AI對視頻內容“識別”的結果,比如不同的場景、角色、演員、情緒、動作、臺詞等,選取廣告點位。
之后,在影片播放過程中,以浮層展示不同品牌形象的廣告。
基于不同劇情而推送的廣告,其內容與視頻情節有了關聯,用戶體驗和商品轉化率都大幅提升。
去年爆款大劇《延禧攻略》上,這類情景廣告就有廣泛應用,大受廣告主喜愛。
看到愛奇藝最新的“掃一掃”功能,我覺得,全新“電視購物”的時代要來了。
自動識別內容+ 電商鏈接,絕對是一個新亮點。隨便看一個什么綜藝啊,現代劇啊,就約等于電視購物。
看到節目里面的明星們,在穿啥用啥吃啥,你突然種草了的話,那就直接“掃一掃”視頻畫面唄,然后你會知道這些商品是什么,然后去直接購買。
這一定是一個新的電商流量入口,再也不用自己去搜什么“xx同款”了?;跍蚀_的識別,實現了人、貨、場的連接。
國際方面,YouTube在2017年就嘗試廣告內容個性化方案,推出Director Mix工具,方便讓廣告主根據不用用戶定制化廣告。
比如,同樣一款湯類產品的廣告:
- 如果你在看《星際穿越》,那么貼片的廣告語就會是“感到世界之外的饑餓了嗎?”
- 而如果你在看《女子監獄》,廣告語就變成了“牢里的飯不好吃?我們的湯好吃?!?/li>
- 要是你在看碧昂斯的《SingleLady》,那就說“一個人吃晚飯?”
根據YouTube,這種和視頻內容極度切合的廣告方案,讓這款新的湯品的品牌認知度提升55%。
“識別”技術和未來
AI在流媒體中的應用,重點就是視頻識別技術的各種落地。
從Netflix和愛奇藝等中美流媒體巨頭的動作,我們可以看出這些年的布局特點。
首先,重點鋪研發。從Netflix早年舉辦轟動業界的百萬美金推薦引擎大賽,到愛奇藝最近的識別大賽,都是企業在貼近學界,布局基礎能力。
之后,要利用識別到的數據,展開落地應用探索。流媒體們,作為中間平臺,向下游,要嘗試提升用戶體驗的功能,向上游,則要方便節目選角和影片制作。
重點,是要通過強大的AI能力來賺錢,更好的推薦引擎,更優化的廣告技術甚至嘗試融合電商,都是流媒體們商業化探索的成果。
2019年,隨著蘋果TV+和迪士尼+正式商用,流媒體的競爭更激烈了。
流媒體的競賽,除了內容自制和版權領域外,最大的戰場就在AI,就在視頻識別能力的突破,以及像樣兒的落地應用。
5G時代下,沒有卡頓的體驗和越來越強的AI,將會把用戶的最后一滴時間“榨干”,你準備好了嗎?
#專欄作家#
Han,著有《硅谷思維》一書,微信公眾號:涵的硅谷成長筆記(ID:HanGrowth),人人都是產品經理專欄作家。硅谷一線工程師,專注電商、零售、社交、商業化、人工智能等領域。
本文由 @Han 原創發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自Unsplash,基于CC0協議
厲害了,讓我大開腦洞