分析:關于蘋果WWDC 2018 的AI人工智能技術及直播應用

1 評論 3361 瀏覽 4 收藏 12 分鐘

這篇文章是從產品經理的角度,去淺談一下對WWDC大會所涉及的人工智能。也是當時面試歡聚 YY AI產品經理其中六輪面試中第三輪中一些問題的梳理總結,后面得了Offer。(由于利益關系去掉了一些內容)對AI產品經理的相關面試和準備有興趣的小伙伴,歡迎關注~

目錄:

一、蘋果發布會-涉及智能科技

1. ARKit 2

USDZ

Measure

樂高+ARkit2(多人共享)

2. 人臉識別升級——Memoji動畫表情

3. Facetime

4. 照片應用

圖像識別

For You

5. Siri-Shorcut

二、AI 產品經理面試談到的技術

1. 游戲直播

2. 對戰游戲

3. 戶外尋寶

談這個和AI PM有什么關系呢?

因為AI PM是需要將AI技術與現有業務場景結合、落地產品化的,而2018 WWDC大會是恰逢app store 10周年,從大會內容及開發者角度去看,這對互聯網、人工智能行業都蠻多意義的。

WWDC 2018發布會側重是“軟”功能上的升級,這或許是迎合App Store10周年,也可能是生態布局的鋪墊。從發布會的功能看,主要是以蘋果為樞紐,聯結開發者和最終用戶。

其中大會功能點大概梳理如下:

一、蘋果發布會:涉及智能科技

1. ARKit 2

蘋果發布會中,首先介紹了 ARKit 2,并公布了新的 AR 的專用文件格式 USDZ,ARKit 2主要有兩項更新:與Pixar合作的新的文件格式USDZ和多人共享AR。

(1)USDZ

USDZ是一個獨立的AR文件格式,可以直接在 iOS 系統中打開與分享,也可通過蘋果的File、Safari、mail、message等應用分享。所以當打開文件,將AR效果直接置于現實環境中,就可以完成便捷的AR效果體驗。而Adobe、Autodesk、Sketchfab、Quixel這些工具都可以創作出USDZ格式的AR文件。

那么,不會使用Unity等專業的軟件設計工具的非專業人員也能創作出AR內容,這將會極大地豐富AR內容生產。

(2)Measure

同時,蘋果還推出了一款名為Measure(測量)的應用,顧名思義,就是在AR中測量物體尺寸的工具。它可以利用 AR 交互和 AI技術來測量現實物體的長度,還可以自動感應照片等平面物體并計算它們的面積。

(3)樂高+ARkit2(多人共享)

ARKit 2可以實現更好的識別技術,并且增加了多用戶支持,可以多人共享一個 AR 環境,譬如:兩個人一起玩同一個 AR 游戲。這次蘋果與樂高達成合作,現場演示如何在樂高建筑模型上體驗直接生成的 AR 游戲舞臺,將虛擬與顯示結合,大大提升游戲的沉浸感,還可以兩個人一起。其中包括更好的細節渲染、兩臺 iOS 設備在 AR 場景中進行交互的場景。

2. 人臉識別升級:Memoji動畫表情

去年,蘋果的人臉識別技術,加上iPhone X的攝像頭和3D結構光處理優勢,蘋果發布了人臉識別動態emoji,也即Animoji。今年,Animoji也有升級,名字叫做Memoji。

全新的功能Memoji,用戶可以制作屬于自己的動話表情,新增 Memoji(根據人的面部容顏自定義多種 Emoji),自拍新增多種 Animoji 濾鏡。

原理還是人臉識別動態捕捉用戶表情然后轉化為3D emoji,這次蘋果提供了大量的數據庫,從發型、膚色到眼鏡等裝飾品,便于用戶創造屬于自己的Animoji形象,也即Memoji。此外,Memoji在生成時,攝像頭可以使用各種濾鏡,在生成前給出更多效果。

(這個功能的理想形態還是用結構光掃描人臉,自動生成一個 3D 形象,現在還是需要完成類似“捏臉”的過程。)

用戶可以使用這個功能,錄一段話,生成一個用自己的聲音和表情說話的Memoji,并將它發送給朋友。

3. Facetime

新增 Group Facetime 功能,與 Group Chat 整合,最多支持 32 人實時通話。同時 Facetime 新增實時 Animoji 濾鏡。這一功能在 iPad、iPhone 和 Mac 上可用。

交互界面經過了重新設計,在講話中的人的窗口會放大,同時上文提到的濾鏡和貼紙也可以應用到視頻聊天中。(社交通信產品會不會跟進這一功能呢?)

4. 照片應用

(1)圖像識別

提供了圖像識別功能,照片也可以根據事件、地點、事件進行分類聚合。在你搜索之前,系統會給你提供搜索建議。對各種各樣的個性化標簽(地名、場景等)搜索,并且可以自動生成的個性化的 For You 照片專輯——毫無疑問運用了端側人工智能。

(2)For You

新功能“For You”,是專門為用戶生成的推薦集,有“去年今日”等不同的主題。另外,iOS 12 在照片分享上也會給出建議,點開用戶可以首先快速勾選這一次旅行中的哪些照片可以分享,然后系統還會根據通信錄頭像、以及分享照片中的人物推薦你在分享時候需要提醒誰。最后被你提醒的用戶還能直接訪問你旅行的整個照片集,可以說是一整套“異常自動化”的旅程分享產品了。

5. Siri-Shorcut

iOS 12 的解決方案讓用戶“教育” Siri。去年,效率工具 Workflow 被蘋果收購,如今,它被深度整合到了 Siri 當中?,F在你可支持自定義喚醒詞,并且可以實現一系列的相關操作。

這項功能被蘋果命名為 Shorcu。簡而言之,有了Siri Shortcuts,每個應用都可以將一些快捷功能提供給Siri,讓Siri以更智能、更便捷、更符合用戶行為習慣的方式執行。

設定一系列操作,并且通過一個命令激活完成,提高效率。例如:通過設定短語“I lost my keys”幫助尋找鑰匙的應用Tile App可以添加一個Shortcuts給Siri。然后當你說出這句話時,Siri可以自動打開Tile,并且在Siri的界面直接調動尋找鑰匙這一功能,而無需去到應用里。

可以想象以后,假設對 Siri 喊“我要回家”,得到反饋后,會完成路線導航—推薦車載音樂—打開家中空調等一系列操作。

同時,也加入了建議功能,Siri 會根據用戶習慣給出一些建議,并且添加到鎖定屏幕。比如:若你每天在應用程序中做同樣的事情,Siri會記下來并提醒你;比方說:早上點杯你過去經常購買的咖啡,或是當你上班遲到了,可以觸發操作給同事們都發送一條消息。你可以“分享”應用添加這個流程當中,讓 Siri 更聰明。

二、AI 產品經理面試談到的技術

談到發布會能共享場景的技術應是ARKit2的多人分享,蘋果在AR上的技術進步其實也是來自于AI技術的發展,ARKit所需要的環境識別、3D渲染其實都需要AI技術提供支持。全新的Memoji功能也說明了蘋果的AR和AI 不分家的特點。

基于此聯想一些能落地到直播中的場景:

1. 游戲直播

首先,通過設計一些通用的、有趣簡單的關卡游戲。再讓主播開啟AR游戲模式,掃描現實中某種符合識別的、有趣有挑戰性的場景。最后利用AR對現實場景進行增強游戲化。

用戶能觀看不同場景下的游戲化AR直播,同時游戲本身也能趣味性、強互動性,能給予主播相關的提示、獎勵等等。

2. 對戰游戲

通過連麥的方式,可以開啟游戲的對戰模式。讓主播上傳某場景作為主場地,邀請其他主播進行PK。

3.?戶外尋寶

去年YY開啟過戶外AR尋寶,其互動模式大概是主播尋找+用戶提示, 若利用這技術,或許能支持多個主播參與,進行小隊合作等??梢允歉髦鞑ザ加歇毺氐募寄堋㈣€匙,當其他主播發現了寶箱或者專屬主播的藏寶圖,可以進行掃描分享,以此邀請主播進行開啟,一并完成任務。

以上幾點就是關于2018蘋果 WWDC大會關于AI相關技術與落地的個人總結內容,希望能幫助在AI理解上有所啟發,謝謝。

 

本文由 @鳳城狂客 原創發布于人人都是產品經理。未經許可,禁止轉載

題圖來自網絡

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 謝謝

    來自天津 回復