“不務(wù)正業(yè)”搞AI虛擬人,淘寶社交之心不死?

0 評論 518 瀏覽 0 收藏 15 分鐘

如今,虛擬人遍布直播間、電商平臺,在同行的夾擊下,淘寶搞AI虛擬人的目的是什么?本文對此進(jìn)行探討,一起來看看吧。

從各大直播間的虛擬人,到雙十一時(shí)各種大大小小的元宇宙空間,自元宇宙興起時(shí),淘寶就一直在入局元宇宙的邊緣瘋狂試探。

雖然如今復(fù)盤,在眾多大平臺中淘寶并不是元宇宙聲量最大的那個(gè),但在元宇宙浪潮消退后,淘寶人生這個(gè)一直不溫不火的虛擬分身板塊卻成為了為數(shù)不多堅(jiān)持到如今的元宇宙陣地。

而隨著這個(gè)誕生于2019年的應(yīng)用借助AIGC的興起迭代到2.0版本,關(guān)于AI虛擬人可能存在的另一條發(fā)展路徑,也在淘寶的探索下變得越來越清晰。

在同行夾擊下依舊在“不務(wù)正業(yè)”的淘寶,搞AI虛擬人的目的究竟是什么?

“不務(wù)正業(yè)”搞AI虛擬人,淘寶社交之心不死?

一、迭代中前進(jìn),穩(wěn)穩(wěn)的幸福

自2019年中上線以來,淘寶人生先后推出了兩個(gè)版本,淘寶人生1和淘寶人生2。

淘寶人生2作為淘寶人生1的延續(xù),相比于之前的卡通風(fēng)格更偏向于超寫實(shí)風(fēng)格,同時(shí)淘寶人生2也是市面上少有的將超寫實(shí)風(fēng)格落地到移動端的裝扮類應(yīng)用,這與市面上QQ秀等同類產(chǎn)品從2D到3D的發(fā)展路徑如出一轍。

雖然在主流視野中淘寶人生的存在感一直有限,但依托淘寶4億用戶的淘寶人生依舊是目前國內(nèi)用戶規(guī)模較大的虛擬人裝扮類應(yīng)用,圍繞淘寶人生已形成了具有一定規(guī)模的活躍圈層:

淘寶人生的微博超話目前有3.9萬粉絲,相關(guān)話題在小紅書上的瀏覽量也達(dá)到近1500萬,許多網(wǎng)民自發(fā)分享著自己在淘寶人生中關(guān)于穿搭、關(guān)于捏臉的心得體會;官方在不同社交媒體上的賬號也在定期更新著上新公告與版本介紹等內(nèi)容。

“不務(wù)正業(yè)”搞AI虛擬人,淘寶社交之心不死?

同時(shí)作為一款內(nèi)置在淘寶中最初為用戶提供虛擬分身的應(yīng)用,淘寶人生經(jīng)過多年的發(fā)展已經(jīng)在捏臉、換裝的基礎(chǔ)上衍生出許多其他功能。其中與AI強(qiáng)相關(guān)的首先虛擬人NPC等功能,內(nèi)置的“涂山赫言”“海夢學(xué)姐”等虛擬人NPC,前者可以為用戶計(jì)算每日運(yùn)勢,后者可以進(jìn)行日常交流。

同時(shí)基于淘寶作為購物平臺的特點(diǎn),淘寶人生還提供了許多基于購物的AI相關(guān)的玩法:

比如購買淘寶實(shí)體服裝后,可以為用戶生成一套該樣式的虛擬服飾資產(chǎn)并穿搭到自己捏好的虛擬形象中;照片風(fēng)格化可以將捏好的形象二次創(chuàng)作,實(shí)現(xiàn)類似妙鴨相機(jī)的功能;此外,用戶也可以通過AI服飾涂鴉的方式自制服裝。

“不務(wù)正業(yè)”搞AI虛擬人,淘寶社交之心不死?

隨著一步步探索淘寶人生背后應(yīng)用的AI技術(shù),關(guān)于“不務(wù)正業(yè)”的淘寶在元宇宙領(lǐng)域的野心,也變得越來越清晰。

二、AI服飾涂鴉,方向?qū)α?/h2>

在淘寶人生的諸多AI功能中,最能引起元宇宙新聲好奇的就是AI服飾涂鴉功能。

這項(xiàng)功能允許用戶通過自由涂鴉或輸入文本描述,在選定的底圖上創(chuàng)作服飾,隨后利用AIGC算法技術(shù)轉(zhuǎn)化為高質(zhì)量的圖像,實(shí)現(xiàn)用戶創(chuàng)意的可視化——可以說確確實(shí)實(shí)滿足了一把為虛擬分身穿上心儀服飾的癮。

作為當(dāng)前虛擬人領(lǐng)域較為少見的定制化功能,AI服飾涂鴉背后依托的是一系列先進(jìn)技術(shù),包括Stable Diffusion、ControlNet和LoRA等。

Stable Diffusion技術(shù)通過變分自編碼器和擴(kuò)散模型結(jié)合,基于文本描述生成高質(zhì)量圖像,為AI服飾涂鴉提供了強(qiáng)大的圖像生成能力。ControlNet技術(shù)進(jìn)一步增強(qiáng)了圖像生成的精確性,允許更細(xì)致地控制生成圖像的結(jié)構(gòu)和布局,確保用戶涂鴉的細(xì)節(jié)得以精準(zhǔn)呈現(xiàn)。LoRA技術(shù)則通過對模型進(jìn)行微調(diào),優(yōu)化了特定風(fēng)格化任務(wù)的處理效率,減少了對算力和數(shù)據(jù)的需求。

“不務(wù)正業(yè)”搞AI虛擬人,淘寶社交之心不死?

此外,AI服飾涂鴉項(xiàng)目采用了基于diffusers庫的SD生圖框架,提高了圖像生成的效率,并通過模型管理和服務(wù)部署的優(yōu)化,提供了穩(wěn)定高效的在線服務(wù)體驗(yàn)。中心化的請求服務(wù)器策略優(yōu)化了負(fù)載均衡,確保了服務(wù)的快速響應(yīng)和穩(wěn)定性。

通過這些關(guān)鍵技術(shù)的集成和優(yōu)化,AI服飾涂鴉功能可以在保證用戶創(chuàng)作出高質(zhì)量且具有個(gè)性化的服飾圖像的同時(shí),確保用戶體驗(yàn)的穩(wěn)定性和高效性。正是這一功能,在最初引起了元宇宙新聲對于淘寶人生的關(guān)注。

而除了AI服飾涂鴉這一功能外,在傳統(tǒng)的捏臉與換裝領(lǐng)域,AI對淘寶人生的介入同樣越來越深入。

作為幾乎所有元宇宙應(yīng)用都躲不開的功能,捏臉功能的質(zhì)量決定了應(yīng)用能否在第一時(shí)刻就吸引用戶——在淘寶人生,用戶可以通過上傳一張照片快速生成專屬于自己的3D數(shù)字人形象。

在預(yù)處理階段,系統(tǒng)首先確保上傳的圖片符合要求,排除不合格和敏感內(nèi)容。接著,通過五官關(guān)鍵點(diǎn)檢測為后續(xù)的3D建模提供必要的數(shù)據(jù)支持。利用3D Morphable Model(3DMM)技術(shù),將2D照片中的人臉特征轉(zhuǎn)換到3D模型上,這一步驟不僅重建了用戶的3D人臉,還能將真實(shí)人臉特征遷移到淘寶人生2的3D卡通形象上,實(shí)現(xiàn)風(fēng)格化同時(shí)保留用戶的獨(dú)特特征。

此外,非面部屬性模塊通過細(xì)粒度分類,如眼鏡、發(fā)型和眉型,進(jìn)一步提高個(gè)性化和整體相似度。最后,所有這些數(shù)據(jù)和素材ID結(jié)合起來,通過渲染引擎生成最終的3D數(shù)字人形象。

“不務(wù)正業(yè)”搞AI虛擬人,淘寶社交之心不死?

為了評估技術(shù)成果,淘寶人生采用了Normal Mean Error(NME)指標(biāo)并結(jié)合主觀評價(jià)進(jìn)行打分,以此衡量3D數(shù)字人形象與原始圖片的相似度。

如何將真實(shí)人臉特征與風(fēng)格化3D模型融合的問題,一直是虛擬人捏臉領(lǐng)域的挑戰(zhàn),但淘寶人生通過采用3DMM和圖形學(xué)變形技術(shù)以及MLP映射模型,讓這一難題得到了一定解決。

而在去年妙鴨相機(jī)掀起一波AI寫真熱潮后,淘寶人生也開始在相關(guān)功能上精進(jìn):

在當(dāng)前,AI寫真主要依賴兩種策略:一是基于角色的LoRA訓(xùn)練,通過收集和訓(xùn)練定制人物的大量圖像來表達(dá)角色身份;二是基于圖像特征的注入,這種方法可以避免復(fù)雜的訓(xùn)練過程,快速生成所需圖像,適合迅速獲得結(jié)果的應(yīng)用場景。

而淘寶人生的AI寫真算法實(shí)施過程分為三個(gè)核心步驟。首先,圖像預(yù)處理階段包括美膚和人臉增強(qiáng)處理,以及對人臉和頭發(fā)區(qū)域的分割和裁剪,為圖像生成做好準(zhǔn)備。

接下來,在圖像生成模型階段,通過LoRA訓(xùn)練和圖像特征的注入控制生成圖像的身份信息,特別是改進(jìn)的參考圖注入技術(shù),優(yōu)化了生成過程,確保了圖像質(zhì)量和身份一致性。

“不務(wù)正業(yè)”搞AI虛擬人,淘寶社交之心不死?

最后,在模型后處理階段,從生成的圖像中篩選出質(zhì)量最高的圖片,并利用人臉融合算法和圖像超分辨率技術(shù)進(jìn)一步優(yōu)化結(jié)果,保證了最終圖像的高質(zhì)量和身份一致性。

目前淘寶人生已構(gòu)建起約50種不同風(fēng)格的模板庫和LoRA模型庫,使用戶能夠根據(jù)特殊節(jié)日或活動選擇獨(dú)特風(fēng)格。

分析到這里其實(shí)不難看出,隨著元宇宙與AI技術(shù)進(jìn)步與應(yīng)用普及,過去困擾個(gè)人虛擬人發(fā)展的種種挑戰(zhàn),如用戶接受度、社交互動的真實(shí)感以及對于個(gè)性化、多樣性的需求等正逐步得到解決。

從AI服飾涂鴉再到AI捏臉與AI寫真,依托平臺優(yōu)勢,淘寶人生已經(jīng)為虛擬人的發(fā)展做出了許多具有現(xiàn)實(shí)意義的探索。

三、淘寶人生雖強(qiáng),但社交之路漫長

在迭代到2.0版本后,淘寶人生的超寫實(shí)風(fēng)格設(shè)計(jì),提高虛擬形象的逼真度的同時(shí)增強(qiáng)了用戶在社交互動中的情感共鳴。此外虛擬服飾資產(chǎn)生成、AI NPC互動等功能的加入也增加了用戶間的互動性和趣味性,進(jìn)一步提升了用戶在與虛擬人社交互動時(shí)的真實(shí)感。

淘寶人生在個(gè)性化和多樣性方面做出的嘗試,可以說對當(dāng)下虛擬人的發(fā)展最具有借鑒意義:

通過AI涂鴉等功能,用戶就可以高度定制化自己的虛擬形象;同時(shí)將真實(shí)商品的虛擬版本融入虛擬形象中的設(shè)定,更是讓淘寶人生在虛擬與現(xiàn)實(shí)兩個(gè)維度實(shí)現(xiàn)了交融。

“不務(wù)正業(yè)”搞AI虛擬人,淘寶社交之心不死?

可以說這是目前淘寶人生虛擬人最大的優(yōu)勢,亦是其他個(gè)人虛擬人平臺最大的短板。而虛實(shí)交融間,隱藏在淘寶人生之下淘寶對于社交的野心已經(jīng)無需多言。

不過淘寶人生雖在個(gè)人虛擬人發(fā)展領(lǐng)域已經(jīng)算是優(yōu)秀的存在,但距離可以引領(lǐng)淘寶轉(zhuǎn)型社交還有很長的路要走。

近年來,淘寶一直想努力突破其作為購物平臺的角色,向更加豐富的社交和娛樂功能擴(kuò)展——畢竟即便是極為成功的購物App,也難以確保消費(fèi)者的每日訪問,但增加游戲和社交功能能有效提高用戶活躍度和對平臺的依賴。

從每年雙11的好友PK到曾經(jīng)風(fēng)靡一時(shí)的“疊貓貓”活動,再到更早之前引進(jìn)旅行青蛙的國內(nèi)版本,淘寶一直想通過團(tuán)隊(duì)合作和游戲化設(shè)定,提高用戶間的社交聯(lián)系和對平臺的忠誠。

但在被某多多和某東前后夾擊的當(dāng)下,淘寶真的是因?yàn)樯缃粚傩缘膮T乏才缺乏逆轉(zhuǎn)局勢之力的嗎?

“不務(wù)正業(yè)”搞AI虛擬人,淘寶社交之心不死?

與此同時(shí),在SOUL等提供類似功能的應(yīng)用熱度逐漸消退后,淘寶人生自身能在多大程度上保持現(xiàn)狀,保證平臺具有一定活力也是一個(gè)不得不面臨的問題。

雖然官方并沒有披露淘寶人生較新的日活數(shù)據(jù),但目前已經(jīng)形成的穩(wěn)定圈層,不論在影響力還是知名度上,較之淘寶龐大的用戶數(shù)量未免還是有些太小。

不過好消息是,在淘寶人生社交平臺官方賬號的評論區(qū)許多用戶都在積極與官方交流,表達(dá)想法、傳遞意見,這樣一個(gè)已經(jīng)形成的穩(wěn)定圈層就是淘寶繼續(xù)耕耘社交領(lǐng)域的底氣。

同時(shí),已經(jīng)在AI虛擬人領(lǐng)域做出大量技術(shù)探索的淘寶人生只要可以保持迭代,對元宇宙可能迎來的復(fù)興,就也是一個(gè)不錯(cuò)的消息。

作者:高樂

來源公眾號:元宇宙新聲

本文由 @元宇宙新聲 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!