AI產品分析(一):抖音黑科技背后的計算機視覺技術

4 評論 15824 瀏覽 60 收藏 15 分鐘

此次準備專門寫一系列的文章介紹AI產品,以人工智能技術相關的產品體驗為主,指明其后背的核心技術關鍵詞,這是一個更加貼近工業實踐的嘗試。

首先選取爆紅大佬抖音作為第一個代表,為了更具針對性,我們只體驗抖音基于計算機視覺技術實現的幾項高大上功能,主要從該項功能點使用的基本流程、滿足的用戶需求、技術關鍵點及體驗的整體感受進行分析,希望可以加深大眾對計算機視覺技術及人工智能產品進程的認知。

抖音提供的功能很多,照片視頻都不在話下,搞笑如各式貼紙、妝容術、換頭換臉、圖像風格遷移等,浪漫如“吹蒲公英”,嚴肅如后臺的“鑒黃”,話不多說,開始我們的體驗吧~

1. 美丑胖瘦收放自如

不管有沒有玩過抖音,大家或多或少都在朋友圈或微博看見過如下類似的搞笑照片。所以,大家應該就更加能理解,為什么這么多人每天活在抖音里“醉生夢死”,因為比起苦難的生活,這里真的比較輕松有趣對吧?

【AI產品】產品小姐姐分析抖音背后的計算機視覺技術

這些看似搞怪的圖片,在抖音里實現起來其實很簡單。

其基本流程如下:打開抖音app,點擊屏幕正中間的“+”按鈕,進入照片/視頻模塊,選擇道具圖標,然后在圖標工具庫中選中自己想要的效果,則人在畫面中的成像,就可以開始各種作妖。尤其是眼睛、眉毛、嘴巴、鼻子等臉部主要關鍵部位,可發生明顯變形,打造出各種連親媽都難以辨認的形象。

同時,在錄制小視頻的過程中,除了可以感受到臉部發生變形,同時可能還會相應地配備一些配飾,比如:在頭頂配合靈活的“蝴蝶結小辮兒”,畫面十分生動、形象。簡言之,體驗的流程簡單且充滿樂趣,對于很多抖音用戶而言,他們十分樂意去探索這樣多面搞怪的自己。

【AI產品】產品小姐姐分析抖音背后的計算機視覺技術

如圖,是抖音道具圖標的極小部分截圖,從中可以感受到整體功能設計呈現出多樣性、娛樂性、趣味性的效果。任何產品的功能設計,其定調都緊緊圍繞著產品的目標用戶,抖音主要的目標用戶群體定位為90后追求潮流個性的年輕人,而這類人群喜歡刺激、渴望表達,但又相對情緒化,所以他們具有觀看或發布新鮮內容以打發無聊時光及獲得表達自我價值的需求。

為了更好地滿足用戶的上述需求,抖音提供變美、變丑、變瘦、變胖等功能,使得年輕人的互動被極大地多元化,且整個操作的過程成本極其低廉、步驟也十分簡單。

同時,由于抖音平臺本身的算法優勢,功能的實時響應性能也很優秀,基本只要臉一進入畫面,立馬就能實現拉伸和變形,用戶基本感受不到延時,體驗十分流暢。這進一步體現,抖音的成功,更多的是因為他們擅長于結合技術,以更輕松的方式解決年輕人的需求痛點,抓住大部分用戶的心。

上述臉部變換的功能主要基于人臉關鍵點檢測技術實現,該技術通過定位臉部關鍵部位,并在關鍵部位上對像素點進行變換,達成各種不同的效果。人臉關鍵點檢測技術也被廣泛地應用于直播及短視頻,如網易的游戲直播、YY直播等,基于該技術衍生出了很多有趣的功能,帶給用戶越來越新奇刺激的體驗。

技術關鍵詞:人臉關鍵點檢測。

2. 換頭不是夢

上一項功能只是變形,抖音里還有更神奇的技能。如圖,為了實現“換頭”效果,同樣地其制作流程操作為:啟動抖音來到拍攝頁面,選中“狗頭”或“豬頭”圖標,則畫面中自己的臉部就會被完全遮蔽。同時,如果用戶眨眼或張嘴,會看到畫面中的相同部位同步變換,錄制小視頻時眨眼的豬頭十分憨萌,用來撒嬌應該百試百靈吧,整體體驗十分新奇。

【AI產品】產品小姐姐分析抖音背后的計算機視覺技術

該項功能進一步提升了對年輕用戶的刺激感,因為對某些用戶而言,他們一方面想要尋求刺激、內心具有有強烈的表達自我的意愿,但同時又不可避免地想要制造一定的神秘感,或用戶本身略帶羞澀感,而這一功能正好滿足了這部分的需求。

那么,到底是基于什么樣的計算機視覺技術,可如此精準地定位并恰到好處地實現“偷梁換柱”呢?

實質上,該項功能的實現主要應用了圖像語義分割技術。具體地,抖音通過對人體進行語義分割,獲得人體各個部位如頭、臉、手、腳的位置及標簽,并通過用戶選定的工具模板,將對應部位替換,實現最終的“換頭”。

相比目標檢測而言,圖像語義分割是精確到像素點的分類,因而替換的過程看起來也更加地智能和精準,用戶體驗更佳。但體驗中發現不足的是,或許是算法分割準確率的問題,嘗試張開嘴巴時,隨之張開的卻不是頭像里狗的嘴巴,而是自己的血盆大口,而有些道具在使用中就不會出現類似情況,這可能也是當前產品的一個小Bug。

技術關鍵詞:圖像語義分割。

3. 想要的風格全都有

計算機視覺里比較熱門的圖像風格遷移技術,在抖音里也有所體現。

【AI產品】產品小姐姐分析抖音背后的計算機視覺技術

如圖所示,上述功能實現的流程為:啟動抖音app進入拍攝頁面后,在道具庫中選中白色的素描花朵圖標,隨后對輸入的鍵盤畫面即可進行風格的實時變換。原來低調科技風的鍵盤,瞬間變成了漫畫素描式風格。

【AI產品】產品小姐姐分析抖音背后的計算機視覺技術

同樣地,也可以實現對人像的風格變換,看到自己的臉在畫面里變成“漫畫臉”,感覺也挺有意思的。

【AI產品】產品小姐姐分析抖音背后的計算機視覺技術

基于圖像風格遷移,還可以實現妝容變換。如圖,是抖音里的一個貼紙妝的效果,通過妝容的遷移,用戶本身可能不帶妝,但清晰可見畫面中眼線、眉毛、嘴唇都被化上相應的妝容,且效果自然貼切。同時妝容切換只需要重新點擊選中另一個圖標即可,可以很好地幫助那些小仙女用戶實現快速變妝拍照。

該項功能主要是為了迎合部分追求文藝風格的用戶,及大部分愛美女性用戶的需求。

試想若一個產品可以使得用戶以超低的成本,隨時體驗自己不同風格的美,極大地滿足用戶的虛榮心,則該產品的用戶黏度會越來越高。但體驗中也有一個感受是,抖音里某些功能存在相近或冗余,比如:之前大火的所謂控雨術,在體驗中發現并沒有什么“控制的效果”,同時對于道具的分類也不是十分清晰,有點混亂,可能也是由于功能選項實在是太多了。

技術關鍵詞:風格遷移。

4. 帶心愛的她去吹“蒲公英”

大家覺得程序員都是呆板、木訥的,然而抖音程序員實現的“蒲公英”功能卻可以說是相當浪漫了。

【AI產品】產品小姐姐分析抖音背后的計算機視覺技術

如圖所示,該功能的基本流程邏輯為:啟動抖音app來到拍攝頁面后,選中“吹蒲公英”工具圖標,畫面里就可以看到有幾株漂亮的蒲公英,用戶只需要對著屏幕,張大嘴巴做吹氣狀,則畫面里的蒲公英就會像真的蒲公英一樣四處散開,營造出一種唯美的意境。

想象一下拍攝小視頻時“吹蒲公英的現場”,畫面感很真實,甚至于相比大自然的真實場景,更加美好。而且由于是虛幻的,蒲公英永遠都吹不完,這應該戳中了許多抖音小仙女的心。

該功能是抖音獨創,有了它,你就可以帶心愛的她天天吹蒲公英了。

而提出該項功能需求點的初衷,一方面是為了滿足平臺用戶少女的浪漫情懷,而另一方面也是為了幫助單身男青年實現低成本“求偶”。同時這也進一步強化了抖音音樂化、文藝化的定位和格調。

“蒲公英”功能的實現,主要采用了人臉表情識別技術。但是在該項功能中,體驗不足的是,用戶只有將人臉放置在屏幕正中間,蒲公英的吹散效果才比較好,而且通常都是檢測到動作后,一旦觸發,就會把屏幕中所有的蒲公英都吹散開,沒有辦法實現單獨吹某一朵蒲公英的行為??赡苁钱斍八惴ㄔ趯嶋H運用中,仍無法十分精準定位和檢測的緣故吧。

不可否認,抖音的成功還在于,它通過冰冷的技術,創造性地為用戶帶來了暖心的情懷和浪漫,這也是值得許多人工智能產品借鑒的一種精神。

技術關鍵詞:表情識別。

5. 時刻睜大的“鑒黃”雙眼

自直播、短視頻應用興起后,各種監管問題層出不窮,而對于抖音而言,用戶生成的內容是海量的,基于此,抖音在用戶看不見的后臺,采用了基于深度學習的“圖像分類”技術對用戶上傳的圖片、視頻資料進行智能監管。

【AI產品】產品小姐姐分析抖音背后的計算機視覺技術

在訓練鑒黃系統的過程中,輸入如圖所示的大量訓練數據,并且這些數據都攜帶有對應標簽,標簽值標明了該圖片是否屬于黃色圖片范疇。則模型通過學習并“記住”黃色圖片的特征,并在面臨新的輸入圖片或視頻時,提取相應特征后,結合學習的經驗判斷,該圖片屬于屬于黃色圖片的概率,最終分類概率高于一定閾值的內容會被標記敏感選項,需進行二次分流檢測或人工鑒別。如此對圖片/視頻資料進行分類篩選,以保證內容的健康性。

在體驗時也發現,相較其它短視頻或直播類的平臺,抖音的整體環境的營造以及內容的調性相對優良,色情、暴力及敏感內容較少,則抖音背后強大的算法技術功不可沒。

抖音屬于頭條系產品,在算法的性能及應用上本身就具有一定的優勢,假以時日,一定可以推動鑒黃算法朝著自動化及智能化更上一層樓。

技術關鍵詞:圖像分類。

總結

綜上,我們可切實地感受到,計算機視覺技術已不僅僅停留在理論層面,而是落地到許多產品中,為用戶帶來了許多活力與驚喜,而且往往在落地的過程中,“腦洞”和用戶痛點的捕捉十分重要,因為技術本身沒有溫度。

但是出色的AI產品人,一定懂得如何結合用戶的需求,從技術中看到無限可能,為用戶創造更優秀新奇的體驗,這也是人工智能落地的核心要義所在。

人工智能正不知不覺地慢慢改變人類的生活,作為計算機視覺的從業或愛好者,也應當保持對行業產品動態的持續關注~

 

作者:Luna,公眾號:有三AI,一個專注于人工智能技術與產品落地的公眾號,希望可以和熱愛AI的人有更深入交流,一起見證AI改變生活!

本文由 @?AI產品小白菜 原創發布于人人都是產品經理。未經許可,禁止轉載

題圖來自 Pexels ,基于 CC0 協議

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 對刷抖音的年輕人的小小提醒:
    抖音里的虛擬世界是人創造的,不可避免帶有人的唯心主義色彩。天行健,君子以自強不息。地勢坤,君子以厚德載物。本就身為普通人,更要努力奮斗。娛樂并沒有錯,但是不可以沉溺其中。
    對政府的和企業的小小提醒:
    如果計算機技術用于工業可以給員工帶來更多經濟利益,我想會有更多的計算機人員為工業企業效力。我相信計算機專業人員的想象力會給政府和企業帶來巨大的經濟效益,給他們一個試錯的平臺和機會,不久之后他們就會政府和企業大吃一驚。
    對計算機專業人員的小小提醒:
    人性不僅僅只有惡的一面,國民也不僅僅是實驗的小白鼠。計算機技術只是工具,如果還懂國學的精神,自己不久就會成為家喻戶曉的大師。

    來自江西 回復
  2. 換頭這個并非基于分割實現,應該是人臉驅動加人臉關鍵點,avatar技術

    來自廣東 回復
    1. 問一下,那個人臉慢慢變老的技術是什么?

      來自廣東 回復
    2. 深度學習

      來自北京 回復