前段時間的WWDC，蘋果終于如愿以償公布了AI的相關消息。從iPhone、iPad到Mac，無不被生成式AI覆蓋。與安卓陣營只是簡單地把大模型塞進手機里不一樣，這次蘋果用他們的做法告訴了大家，什么才是LLMs+OS的正確打開方式。

在生成式AI的浪潮下，今年的蘋果開發者大會WWDC 2024，AI毫不意外的成為了大會絕對的主角。

從iPhone、iPad到Mac，無不被生成式AI覆蓋。大家早已期待的新 Siri 只是蘋果 AI 能力的一小部分，橫空出世的Apple Intelligence才是這次的重頭戲，從圖像到文本，從iPhone、iPad到Mac，Apple Intelligence讓蘋果全系產品有了史詩級升級。

相較于安卓廠商對于大模型的小打小鬧，只是簡單將大模型作為Copilot塞進手機里，除了更新語音助手外，就是找幾個還算能唬人的場景加上大模型的能力，最后還明目張膽將其定義為AI手機，這次蘋果用他們的做法告訴了大家，什么才是LLMs+OS的正確打開方式。

蘋果，重新定義了AI：Apple Intelligence！

01. Apple Intelligence是什么？

Apple Intelligence定義為iPhone、iPad和Mac的個人智能系統，利用蘋果芯片的能力來理解和創建語言和圖像，以及跨應用采取行動。

蘋果 CEO 蒂姆?庫克說：蘋果的目標一直是構建以人為本，最為易用方便的個人設備，提升人們的生活效率。

在這個目標下，蘋果提出了他們的AI產品理念：體驗足夠強大、直觀易用、完全整合到系統體驗中、個性化且保護隱私，于是他們基于蘋果自研的A 和 M系列芯片，走了一條自研本地大模型加三方云端大模型的策略。

在其他廠商瘋狂砸錢買GPU訓練模型的時候，在想方設法將大模型塞進手機存儲的時候，蘋果卻換了種做法，不卷大模型，不卷本地化，還能給用戶提供更好的使用體驗！

這點就能看出來，蘋果的出發點一直是為了提升用戶的生活體驗，他們明白自己做的是產品，而不是拿著錘子找釘子，死卷大模型。

庫克表示，Apple Intelligence 是蘋果創新的新篇章，將改變用戶使用產品的方式。蘋果獨特的方法結合了生成式人工智能和用戶的個人信息，能提供真正有用的智能服務。此外，Apple Intelligence 能夠以完全私密和安全的方式訪問信息，幫助用戶完成對他們最重要的事情。這是蘋果獨有的 AI 體驗。

先具體看看Apple Intelligence能做什么？

簡單來說，跟錄音、GPS等一樣，蘋果將AI融入IOS系統，為用戶和開發者系統提供一系列原生AI能力?？梢哉f，這些都是原生的人類 API。

文本工具writing tool

在蘋果的自帶的文本應用如郵件、備忘錄、Safari瀏覽器、Pages、Keynote和三方應用如微信、小紅書等中，提供文本潤色、重寫，校對，改寫（如語氣變化）、總結和文本轉表格等能力。

在它的幫助下，無論是寫文章、發帖，為用戶解鎖了提升寫作和更有效溝通的新方式。

圖像工具

Image Playground，只需幾秒鐘即可生成素描、插圖、動畫三種風格。這些功能在系統中所有app都可用，包括Notes，Freeform，Keynote，Pages等等。

Image Wand可以將你的素描草圖轉換為 Notes 應用中的相關圖像。使用手指或 Apple Pencil 在你的草圖周圍畫一個圓圈，Image Wand 會分析其周圍的內容以產生互補的視覺效果。

還可以生成emoj表情等等。

Siri新升級

在Apple Intelligence的加持下，Siri變得更自然、更能理解我們了！

除了更好的自然語言理解和多輪交互外，Apple Intelligence還會為Siri帶來屏幕內容感知功能，這樣，它就能理解屏幕上的內容，執行相應的操作。

比如朋友發消息告訴你ta的新地址，你可以直接在信息對話中說，「把這個地址加入ta的聯系人名片中」。

最牛的來了，Siri也可以完成跨app操作。

例如“將我起草的電子郵件發送給 April 和 Lilly”，Siri 知道您引用的是哪封電子郵件以及它在哪個應用程序中。當然這些增強功能，也并不限于蘋果開發的APP。

那如果復雜任務Siri無法用本地模型執行，則會主動詢問是否可以叫ChatGPT處理，同時ChatGPT也被集成到了系統的writing tool中，可以改寫潤色等。

隱私保障

蘋果出了一個“私有云計算”的概念：“不得不上云運作”的AI功能，將在使用蘋果芯片的專用服務器上啟用云計算模式，確保用戶數據的私密性和安全性。

02. Apple Intelligence背后的大模型

Apple Intelligence 由多個功能強大的大模型組成，這些模型專門用于輔助完成用戶的日常任務，并可以根據用戶的當前活動進行動態調整。

這些模型可以分為三類：

本地模型（On-Device Language Model）

這部分包含3B的語言模型、擴散模型DIffusion Model和用于Xcode的編程模型，另外還有用來做 RAG 的 Semantic Index (語義索引)和 App Intents Toolbox（應用意圖工具箱）。

這些模型都針對日常的任務進行了一系列的微調，幫助用戶完成各種系統級的任務。

比如前面提到的文本工具的摘要、潤色、改寫、回復郵件、圖像生成、通知進行優先級的排序、跨應用的交互等。

此外在這些微調模型之上有個適配器（Adapters），適配器是覆蓋在通用基礎模型上的一小批模型權重。它們可以動態加載和交換，使基礎模型能夠針對手頭的任務即時進行專門化。

簡單來說就是根據任務來給模型選擇合適的權重，讓模型輕松適應不同領域專家的角色。

私有云計算（Server-Based language Model）

這個基于服務器的大語言模型，對于本地模型滿足不了要求的任務，蘋果會傳到云端運算。

為了確保數據的安全性，蘋果采用了私人云計算技術。每當用戶的設備發起請求時，它會通過一個端對端加密的通道與特定的私有云計算集群進行連接。僅限于被指定的集群有權限解開這些加密的請求數據。應答數據發送回用戶后，相關信息不會被存儲，且蘋果公司也不具備訪問這些數據的能力。

第三方 LLMs

如果蘋果自己的大模型搞不定的任務怎么辦？

那就交給現在專門的模型廠商處理，專業的人做專業的事情嘛！

目前已經接入了 OpenAI 的 GPT-4o，但按照蘋果的說法，后續還會有更多家的模型接入，比如Gemini 等。

另外，考慮到國家政策，蘋果在不同國家地區的接入的大模型廠商可能不同，那Open AI和Meta的大模型肯定在國內無法使用，沒有通過工信部備案，根據之前的傳聞，國內首先接入的應該就是百度的文心一言了！

03. App Intents：給開發者的Framework

剛才講了，蘋果希望可以跨應用完成用戶的需求，比如使用Siri就能直接完成郵件發送，圖像修改等，不需要進入 app 里面，這個體驗很絲滑流暢。

1. 蘋果允許操作系統和應用程序的所有部分通過「函數調用」進行互操作；內核進程 LLM 可根據用戶查詢安排和協調它們之間的工作
2. 無摩擦。蘋果以一種高度流暢、快速、always on 和上下文的方式全面集成這些功能。無需四處復制粘貼信息、提示工程等。還對用戶界面進行了相應調整。

但具體要怎么實現呢？那就得用到給開發者提供的App intents工具，這又是一次操作系統廠商和開發者的博弈戰。

App Intents 框架提供的功能可將三方的 app 操作、內容與跨平臺的系統體驗（包括 Siri、Spotlight、小部件、控件等）深度集成。借助 Apple Intelligence 和 App Intents 增強功能，Siri 會獲得在 app 內和跨 app 執行操作的能力。

如此，開發者們可以允許用戶通過以下方式使用自己的產品：

• 與Siri互動，也可以利用Apple Intelligence的個人環境感知和行動能力
• 通過Spotlight建議和搜索進入產品，比如微信。
• 等等。。

舉個例子，比如郵件應用，他們通過App Intents框架向蘋果提供一個操作來表示某個意圖，比如發郵件或者刪除郵件。然后，用戶可以隨時要求Siri代表他們執行這些意圖，無論此時有沒有打開郵件應用。

簡單來說，蘋果一方面讓開發者將意圖理解能力引入App中，方便Siri等調用App的功能，一方面又可以將Apple提供的文本、圖像等功能集成到App中。

這才應該是AI OS真正干的事情！