人工智能對于我們的影響越來越廣泛，本文就多模態人工智能的興起對智能產品的影響以及未來需要具備的跨界能力進行分析，一起來看看。

今天是匯聚 IOT 的時代，在物理世界機器傳感、互聯的情況下，如何設計新的智能產品，如何更好的提升用戶體驗，是各行各業一個非常重要的話題。

“如何實現性能驅動的高附加值制造？” 是2022年高端制造前沿的十大科學問題之一。這一問題和 User Experience非常相關。例如蘋果公司，它的制造技術包給了富士康，現在富士康的鄭州工廠有30、40萬的工人每天在做制造的部分。但 iPhone的價值，不在于制造的技術，而是在它的用戶體驗，是用戶體驗造就了蘋果的成功。

從這個角度來講，如何讓中國制造從簡單的加工完成一些技術指標到功能再到如何實現用戶體驗的最大化，這些問題不僅對用戶體驗部門，而且對中國的整個高端制造全生命周期都有著重大的意義。

在應用的領域方面，未來真正的人工智能和機器人已經從工廠延伸到社會的各個角落，從制造到未來交通出行、醫療應用、農業應用、家庭應用、教育應用。

如何把 User Experience作為一個交叉學科貫穿到各行各業，是一個特別值得深入討論的問題。未來的人類社會生態的新平衡，需要深度融合人工智能大數據、VR/AR、機器人、可穿戴設備、5G通訊、User Experience、能源、新的材料等。

在中德的跨模態學習的項目中，我們每天在做的都是元宇宙的一些技術，今天把多模態的元宇宙作為 User Experience的重要概念，還是值得一提的。

一、多模態人工智能的興起對智能產品的影響

當下的人工智能不僅和工科方面相關，而且和人文學科交叉，包括認知學科、心理學科、生物學科、語言學、腦科學，甚至和藝術與設計的融合也變得越來越深入，越來越有價值。在另外一個信息空間里，除了現有的掌上手機、可穿戴設備等，可以融入更多智能方面的產品、模塊、大模型的認知甚至到意識等，使得未來在交互方面，不只是 Audio Video的信息的交互，而且有物理的交互。

具身智能（Embodied Intelligence），是現在國內一個特別火爆的課題，實際上這個行業已經提出了有20年之久。未來從信息的交互到物理的Embody的交互是一個重要的方向。如何理解人類的心智和大腦的多傳感過程，這是參考未來的多模態設計非常重要的一個方向。未來的整個多模態的界面，除了視覺，聽覺和觸覺之外，還會有更多的高層，包括 BCI，腦機接口，手勢，感情，甚至物理動作等。這些都是未來設計和用戶體驗的重要話題。

我的博士生菲利普做了一款可以伸拉的、柔性強的觸覺皮膚，可以戴在手上且不影響正常操作，可以量化觸覺的信息。對于未來的 User Experience的量化也是一個重要的工具。

1. 人工智能的數據

因為摩爾定律，計算機整個在硬件和算力方面的增長，遵循了一個指數規律。從數據的存儲方面幾乎是一個摩爾定律的增長。以前一臺計算機從幾十K到今天幾十T，可以把收集來的任何 Audio Visual、還有多模態的數據都能整合起來，能夠自動分類，甚至到自動決策，使得我們在大計算的計算引擎方面有了足夠多的燃料，在智能制造和數據信息處理方面有著日新月異的發展。

2. 算法方面

智能技術使得現在人類的語言和它的信號聽覺處理方面有了一定的進展，現在的大模型是做一些行為 Level，能夠模擬人的語言功能的一部分，但是未來真正要實現的人腦的多模態功能，實際上要把聽覺、視覺，還有物理的控制都要整合在一起，這也是現在跨模態學習的一個機制，也是多模態系統的一個重要的具身智能的研究點。這種基于經驗的學習，包括機器人和人在不斷地交互之間如何能夠學到高層的知識，是未來用戶體驗量化的一個很好的例子。

3. 例證

我們和歐盟有個項目。通過人和機器的學習，讓機器人學到了八種知識，包括空間模型、語言模型、動作模型、對時空的理解，如先上盤子，咖啡要在熱的時候上，放在客戶的哪一個位置等等。未來的智能設備，它不只是一個簡單的、被動的設備，而是有具體的認知模型，這叫 Finest Idea Model，即智能系統跟真正世界的模型的誤差，應該通過學習降得越來越小。

現在的大模型，包括它如何擺脫計算成本，尤其是能夠在具身智能里面進行應用，都將面臨著巨大挑戰。我們最近也發了一篇 Robot GPT，如何使用GPT，使得它的交互變得更便利，能夠自動產生出各種各樣的制造的成本。

還有我們現在的 ChatGPT for Industry，通過公司可以用自然語言跟工業的數據進行 Chat，來找出你當天不良率的原因是什么，這些對未來的制造和用戶界面有著非常的重要的一個引導意義。

二、未來：具有更多跨界的能力

如何讓新一代的人工智能里的語言和可解釋性能夠實現，讓更多的深度的人機交互的場景能夠實現，這些都給用戶體驗交互設計提出了一個非常高的要求，這也是我們和用戶體驗和設計界能夠合作的點。很多人說，現在二維設計已經是前 ChatGPT的天下了，我想對這些年輕人講，未來你們的設計要增加自己的模態，包括觸覺與質感的模態。

你們要懂算法，知道人工智能能干什么，不能干什么。另外要學會怎么使用GPT，而不是拒絕 ChatGPT，要發揮你們更大的想象力并且具有更多跨界的能力。

不能只學設計，要理解整個人類的更深層的需求。這不管是在未來的設計教育，還是用戶體驗的研發方面，都具有非常重要的意義，這也是我們要跨界合作的最重要的一點。