隨著5G的發展，智能座艙中新技術、新場景、新模式不斷涌現，車載交互設備的數量已經快速地達到了上限，設計師需要考慮如何讓駕駛員在駕駛車輛時有安全、高效、舒適的人機交互體驗，多模態交互將會成為未來人機交互的主流。本文主要從智能座艙和多模態交互的概念、智能座艙的常見模態及優缺點分析、多模態交互的重要性及應用、多模態交互面臨的問題等做討論。

一、什么是智能座艙與多模態交互

1. 什么是智能座艙

“智能座艙”目前還沒有一個統一的定義，它的概念本身一直隨著外界環境的發展而不斷變化著。跟傳統座艙相比，智能座艙的“智能”主要體現在以下幾個方面：

• 儀式感：App遠程控制、車門迎賓燈+交互式大燈、智能形象+語音歡迎語等；
• 科技性：ADAS駕駛輔助、高精地圖、智能導航、駕駛員疲勞監測、主動調節駕駛坐姿等；
• 易用性：多屏互聯（中控屏、副駕駛娛樂屏、儀表盤、HUD）、智能語音、多模交互等；
• 安全感：底盤操控、駕乘品質感、先進技術加持等；
• 人性化：模式調節、自動泊車、尋找充電樁、自動充電等；
• 第三空間：沉浸式座艙、k歌模式、智能游戲、社交互聯等。

二、什么是多模態交互

“模態”（modality）一詞是由德國生理學赫爾姆霍茲提出的生物學概念，即生物憑借感知器官與經驗來接收信息的通道，例如人類可以通過五感來獲取外界信息?！岸嗄B交互”就是融合了人的視覺、聽覺、觸覺等多種感官，計算機利用多種通信通道響應輸入，并充分模擬人與人之間的交互方式。

二、智能座艙中常見的模態有哪些？

目前智能座艙的模態包括視覺、聽覺、觸覺、手勢和嗅覺，以下將會分別介紹這幾個模態在智能座艙中對應的載體有哪些

視覺：HUD+儀表盤+中控+后視鏡+氛圍燈

聽覺：音樂+語音交互+警示音

觸覺：方向盤+按鍵+中控+擋位+座椅+安全帶更多用于提示場景

手勢：隔空控制音量、切換歌曲、控制車窗等場景

嗅覺：不同氣味用于不同場景，疲勞場景可用于提神 （理想L9）

三、智能座艙常見模態的優缺點

整個智能座艙的大部分的信息都放在視覺通道里面，這無疑會增加駕駛員的認知負荷，單模態交互難以滿足復雜的駕駛場景，各模塊彼此間的關聯性不強，大大降低了信息感知的價值。

如何實現高效、安全、易用的人機交互，避免駕駛員注意力分散，降低交互認知和改善人車交互體驗是值得思考的問題。

因此，這也是接下來要討論的多模態的交互如何改善駕駛過程的安全與效率。

四、智能座艙為什么需要多模態交互

經研究表明，人類更習慣多模態交互，尤其高優先級消息以多模態的冗余增益可以加快處理時間，例如視覺+聽覺或視覺+振動觸覺警告比單模警告擁有更快響應。

以下將?通過【多重資源理論】和【態勢感知】兩個模型來進行分析

多重資源理論：一個通道接收的信息是有上限的，當信息過載時，會導致人的認知負荷，從而降低效率。為了避免視覺通道超負荷，可以將部分信息通過聽覺通道呈現，這能有效降低司機的工作負荷。

態勢感知：態勢感知（Situation Awareness，SA）是一種感受者根據環境因素而動態、整體地理解當前情境的能力，由此可以提升對安全風險的發現識別、理解分析及響應能力，以便于做出最終的決策與行動。

對于新手司機來說，在駕駛過程當中，會比較關注路面，這時候如果在視覺上彈出信息，就很容易造成他們的注意力分散，這就是態勢感知的喪失。這時如果通過語音或者觸覺的通道去反饋，可以保證駕駛員注意力不被分散，從而也提高了安全性和效率。

智能座艙多模態交互的重要性

對駕駛員行為和狀態進行多模監測

通過對方向盤的轉向，行駛軌跡，油門的加減速，以及視覺攝像頭的分析，可以判斷駕駛員是否在開啟ADAS系統后，處于瞌睡、疲勞、分心等脫離駕駛狀態中。

多模提示讓駕駛員保持良好的態勢感知

當車輛開啟ACC（Adaptive Cruise Control，ACC）功能時，車輛監測車外環境，包括其他車輛的運動狀態、特定工況等，結合車內動態信息顯示在AR-HUD上，比如當下時速、車距、基本車輛信息，幫助駕駛員判斷前車運動軌跡，增強態勢感知，降低駕駛員工作負荷，及時作出有效判斷及行動。

五、智能座艙多模態交互的應用

1. 語音+視覺

語音交互在實際應用中本身是不可見的東西，如果不與視覺模態進行融合，駕駛員很難預判出他們發出的指令處于哪個狀態，從而失去把控感。比如在進行語音命令時，它產生的狀態有：喚醒-聆聽-識別-播報-持續傾聽，通過中控屏幕上的語音虛擬形象或者實體機器人的空間方位和狀態來區別不同階段，可以提高駕駛員的安全感。

2. 視覺+觸覺

小鵬P7打開車道輔助時，為了減少駕駛員在開車時低頭看儀表盤，方向盤會通過抖動的方式來提示目前車輛壓線了；另外，還可以通過方向盤的物理按鍵喚醒語音，語音虛擬形象的狀態變化顯示在中控屏上。

除了常規的多模態交互以外，在廣義的模態交互還包括了什么？

• 通過面部特征識別分析當前駕駛者的坐姿設置，自動調節座椅和方向盤高度
• 通過眼動追蹤、心電、呼吸特征監測駕駛者是否疲勞、身體異常、分神等異常情況，進行多模態警示，來保障駕駛者的安全

六、多模態交互面臨的挑戰

1. 不同模態的識別精度有待提高

眼動追蹤在短期內精度無法再提高，這容易導致AR-HUD貼合和疲勞檢測出現部分問題。

2. 不同模態融合準確率有待提高

以分神駕駛為例，眼動追蹤、頭部追蹤、方向盤旋轉角度、道路偏移等參數整合時存在一定的不客觀性（環境因素、個體差異等等）。

3. 多模態識別需要的算力在目前無法提供

眼動追蹤、手勢識別、頭部追蹤都需要實時計算，且需要的算力無法滿足。

七、思考：什么是好的多模態交互？

我認為好的多模態交互首先要滿足智能座艙的安全，再在此基礎上讓交互變得更舒適和高效，符合人體自然的使用習慣和感知需求，比如主動調節駕駛坐姿、 溫度讓駕駛者和乘坐者獲得最舒適的駕乘體驗，人的視線可以自然看到信息而不需要低頭，手可以觸碰到操作功能而不需要彎腰等等。未來智能座艙的交互系統會更加智能化、理解用戶意圖，汽車將成為更好的生活空間。

（以上內容僅用于學習交流討論）

【1】譚浩, 譚征宇, 景春暉. 汽車人機交互界面設計[M]. 北京: 電子工業出版社, 2015.
TAN Hao, TAN Zheng-yu, JING Chun-hui. Automo- tive HMI Design[M]. Beijing: Electronic Industry Press, 2015.

【2】黃超俊. 智能座艙開發中的人機與交互布置研究沙龍.

【3】王建民, 劉宇佳，李陽，由芳. 基于態勢感知的汽車人機界面設計研究, 2021.

https://www.researchgate.net/publication/350871476_jiyutaishiganzhideqicherenjijiemianshejiyanjiu_wangjianmin

【4】車載多模交互設計 https://zhuanlan.zhihu.com/p/172438084

【5】薛志榮. 智能座艙多模交互體驗設計沙龍