多模交互如何提升智能座艙駕駛體驗，是值得我們長期探索的一個課題。這篇文章里，作者就分享了多模交互在智能座艙中的價值所在，以及設計多模交互體驗的幾個要點，一起來看一下。

在HMI設計中，視覺、聽覺、觸覺和嗅覺都能發揮不同的作用。人類通過視覺接收的信息占所有感官通道接收的信息83%，在座艙中駕駛員的眼睛會分別從儀表盤、中控、后視鏡、HUD、氛圍燈以及車外環境獲取相關信息。

在智能座艙中，除了基于觸覺感知的觸控屏、實體按鍵等交互方式，隔空手勢、人臉識別、姿態識別、眼動追蹤、心電監測、呼吸監測等交互和識別手段都在逐漸往座艙落地，這讓多模交互的形式和內容更加豐富多樣。

通過多模交互實現安全、高效和舒適的車內交互體驗正是多模交互在智能座艙中的價值所在，那么怎么來理解安全、高效和舒適呢？

一、多模交互的應用價值

在 【智能座艙設計的人機工程學和人機交互理論】文中提到了態勢感知、SRK模型、多重資源理論及耶德定律，這四個模型相互結合可以解釋為什么智能座艙體驗設計需要考慮多模交互。以SRK模型和耶德定律結合為例，為什么新手司機需要非常專注地看著前方開車，因為他們的駕駛操作仍處于知識層面，這時新手司機認知負荷處于較高水平，當有其他事項影響到新手司機導致認知資源過載時，容易發生危險。

但對于駕駛熟練的司機來說，駕駛操作已經成為技能，他們無須將大部分的認知資源放在路面上，許多簡單的任務可以同時進行。盡管經驗豐富的司機可以同時處理多項任務，但是遇到不熟悉及惡劣環境時仍是需要非常專注地開車，因為這時他對環境的理解處于知識層面。

以態勢感知和耶德定律結合為例，在手動駕駛狀態下，駕駛員的開車過程就是對周圍環境進行數據采集（感知），然后加工處理（預測和決策）并采取行動操作車輛。當汽車處于智能駕駛狀態時，由于駕駛員很可能沒有把注意力放在駕駛任務上，一旦出現問題需要駕駛員接管，此時駕駛員需要在極短時間對環境進行感知、預測和決策并做出行動，認知負荷很可能從較低瞬間提升到較高甚至過高水平，從而導致分心或者焦慮。

從多重資源理論的角度來看，好的駕駛體驗應該是將需要駕駛員關注的信息通過不同通道去呈現,從而降低駕駛員的認知負荷除了認知負荷，前面提及的人臉識別、姿態識別、心電監測、呼吸監測等交互和識別手段都是為了保障駕駛員處于一個良好的駕駛狀態，從而保障乘客和車輛安全。

方向盤按鍵、語音交互、隔空手勢和眼動追蹤等交互方式都能有效提高駕駛員的操作效率，并且讓駕駛員可以在背部不離開座椅的前提下操控整輛汽車有效提升操作時的舒適度，而這些目的的背后依然是讓駕駛員更安全地操控車輛。

二、設計多模交互體驗的4個要點

如何通過多屏交互、語音交互、氛圍燈交互、觸覺交互等交互方式實時讓用戶清晰地知道當前發生了什么？這一直是目前學術界和工業界都在探討的前沿課題。下面是行業內總結的在設計多模交互時需要關注的四個要點。

1、信息可以通過多通道冗余的方式呈現，尤其是高優先級甚至緊急的信息

通過研究證明，“視覺+聽覺”或者“視覺+振動觸覺”警告已證明比單模態警告的響應時間快，這跟多模交互的冗余增益可加快信息的處理時間有關。

聽覺或振動觸覺信號是短暫的，因此信息可能會被遺漏或遺忘，這在關鍵信息的情況下尤其重要。而當駕駛員因自身原因或者環境原因導致視覺或者聽覺接收信息存在障礙，例如黑暗環境或者吵鬧環境，多通道傳遞信息能盡可能避免駕駛員無法接收信息的問題

2、重要信息應該在感知上最顯著，尤其是警告信息應引導用戶朝向危險源

由于駕駛過程中有大量的信息發生在不同方位上，當即將有緊急事件發生時，應當讓駕駛員在適當的時候看向即將發生危險的方向，例如車輛的前/側/后方位此時基于視覺的氛圍燈和基于聽覺的警示音都能有效引導用戶朝向危險源。

3、每個模態傳達的信息是可理解的，尤其是模態聯動時

座艙HMI中很多信息都會通過GUI界面的文字和符號表示，但這些信息被轉化成語音甚至對話時是否容易被理解是個問題，尤其是符號為非標準符號或者具有二義性。因此在設計GUI信息時應當考慮等效的語音信息是什么。另外，不同優先級的信息應當可以相互區分，尤其是觸覺信息，因為大部分實現觸覺反饋的器件分辨率較低，用戶很難區分相近的振動反饋差異點在哪。

4、信息的輸入和輸出是合理的，避免引起人的不適

在黑暗環境下突然出現一道高亮的光線容易引起人的眼部不適，同理聽覺、觸覺和嗅覺的輸出也要考慮避免引起人的不適。過高響度的聽覺信號讓人難以受甚至致聾；過高強度的觸覺信號會讓人感受到疼痛；過高濃度的嗅覺信號容易引起刺鼻甚至嗅覺失靈。

在信息輸入方面，輸入效率過低和文化差異也會引起人的不適。例如語音交互過程中用戶發出的指令拗口或者朗讀時長需要數秒會引起用戶的不滿；同一個手勢在不同文化習俗中可能有著不一樣的解讀。以“OK”手勢為例，在美國、英國、中國的文化中該手勢意為“沒問題”，但是在土耳其、希臘、巴西和德國的部分地區，“OK”手勢是一種極具侮辱的冒犯性手勢，該問題在涉及國際化設計時尤其突出。

三、多模交互的未來發展趨勢與突破點

目前不同車企已經有較多的多模態技術投入到智能座艙中，例如語音交互、手勢識別、人臉識別、姿態追蹤等，但如眼動追蹤、心率識別等技術因為精度不夠暫未使用到智能座艙上。當缺乏了眼動追蹤技術，AR-HUD的內容與路面信息貼合會存在較大問題，從而使駕駛員在做決策時發生誤判。盡管以上多模態技術已經投入使用，但精度會隨著環境和不同駕駛員之間的個體差異發生改變，例如2022年一位小鵬汽車車主在使用NGP輔助駕駛功能時，因自己眼睛小，被系統判定為“開車睡覺”，智駕分因此被扣掉了4分。

要大幅度實現技術精度的提升并不是一件容易的事情。以語音識別準確率為例，在2015年，中文語音識別準確率在實驗室環境下已經達到97%，但后續幾年內并沒有看到這一數字有明顯的變化。

當單個模態因精度問題導致結果不準確時，模態與模態之間融合則存在更大問題，尤其部分模態涉及環境和人為因素時。例如一位駕駛員正在“聚精會神”看著前方道路，而且方向盤旋轉角度、道路偏移等參數都沒有異常，那么我們可以判定這位駕駛員正在認真開車嗎？

答案是否定的，因為這位駕駛員可能正在發呆，此時已經處于分神狀態。為什么出現這種情況?因為人在發呆時，他的眨眼、頭動等動作并不會表現出分神和疲勞現象，系統無法感知到這名駕駛員是否在正常開車。因此通過模態融合實現的各種“黑科技”背后很有可能存在較多不確定性者在解決類似問題時一定要關注方案的客觀性和準確性。

除了多模交互仍有大量技術問題需要攻克，在落地過程中還有一個最大的阻力，就是算力不足。盡管車企將更多的攝像頭和傳感器接入到座艙中，但是算法是否足夠成為問題。在智能座艙中，除了多個屏幕、界面和動效渲染、以及各種常見應用占用算力，多模態使用到的技術，例如語音交互的聲源定位、喚詞識別、聲音降噪、ASR（語音識別）離線指令識別、人臉識別、手勢識別、DMS（駕駛員監測系統）、AR-HUD 導航地圖導航等，同時運行在一顆車載芯片上并保證用戶體驗流暢是不容易的。

目前車載芯片要比當前手機芯片晚2~3代，盡管在未來算力帶來的瓶頸問題將逐漸減少，但不可否認的是未來定會有更多新問題出現，例如輔助駕駛和自動駕駛更加成熟，AR-HUD、影音、游戲娛樂會對算力有更多的要求，此時預留給多模交互技術的算力剩下多少也是一個問題。

總的來說，多模交互的難點不僅在于各種計算機技術的研究，還有對人類行為特別是人機工程學的研究，更重要的是將這些行為及背后的意圖正確地識別出來，因此多模交互是一項涉及心理學、人機工程、計算機等多個學科的系統工程。在各個技術尚未成熟前，多模交互如何提升智能座艙駕駛體驗將是一個長期值得探索的課題。