中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

在當(dāng)今的數(shù)字時(shí)代，我們?cè)絹碓蕉嗟嘏c技術(shù)互動(dòng)，而這些互動(dòng)往往是通過多種感官進(jìn)行的。本文將帶你走進(jìn)多模態(tài)交互的世界，探索如何通過結(jié)合人類的感官能力與設(shè)備的技術(shù)能力，設(shè)計(jì)出更自然、更直觀的交互界面。

人類是多感官生物，人類的交互也是多感官的，交互界面也應(yīng)該是多模態(tài)的。

針對(duì)多模態(tài)交互好的書籍不多，想起當(dāng)年剛工作的時(shí)候讀過一本書叫《DesigningAcrossing Senses》，在這本書里讀到很多有趣的案例和觀點(diǎn)，最近又重新拿出來翻看，同時(shí)也想把多模態(tài)產(chǎn)品設(shè)計(jì)寫成一系列文章，結(jié)合平時(shí)工作里的一些感悟一起沉淀一下，賦能認(rèn)知，構(gòu)建知識(shí)護(hù)城河（??）

??這世界就是一個(gè)巨大的「多模態(tài)」

幾乎所有的產(chǎn)品和環(huán)境都是多模態(tài)的。我們看到一扇門，去敲，再等待門打開或聽到里面有人問是誰。我們用手指在鍵盤上打字，看到字符出現(xiàn)在我們眼前的屏幕上。我們向 Siri 提問，然后看到類似示波器的波形。我們接到一個(gè)電話，感覺到振動(dòng)，聽到鈴聲，通過屏幕上的顯示知道來電人的名字。我們玩電子游戲的時(shí)候，沉浸在來自屏幕、揚(yáng)聲器和手中隆隆聲沖擊控制器的感官信息中。

多模態(tài)產(chǎn)品將不同的模態(tài)緊密地融合在一起，它們使我們能夠像體驗(yàn)日常生活一樣體驗(yàn)技術(shù)：跨越我們的感官。

好的多模態(tài)設(shè)計(jì)有助于我們專注于我們正在做的事情，而糟糕的多模態(tài)設(shè)計(jì)會(huì)因笨拙或脫節(jié)的交互和不相關(guān)的信息而分散我們的注意力，輕則令人惱火，重則讓人陷入危險(xiǎn)。

而設(shè)計(jì)多模態(tài)交互，與了解人類的感官是如何運(yùn)作的分不開。

????????回歸我們的感官

我們的感官是通往富有的，多樣的，讓人愉悅的，有意義生命體的通道。

視覺起源于數(shù)億年前寒武紀(jì)大爆發(fā)期間，作為單細(xì)胞生物體上基于蛋白質(zhì)的光感受器斑塊，自羅馬時(shí)代以來，追蹤犬就開始使用。警犬已經(jīng)存在了一百多年。人類大約有 500 萬個(gè)氣味腺，而狗有 1.25 億到 3 億個(gè)。他們的嗅覺比我們好 100,000 倍。

在過去十余年內(nèi)開發(fā)的技術(shù)可以擴(kuò)展我們的自然感知能力，使我們能夠看到亞原子粒子，聽到整個(gè)城市的聲音，監(jiān)視一個(gè)大陸，并觀察我們宇宙最遙遠(yuǎn)的地方。它讓我們以前所未有的方式使用我們的感官，但當(dāng)然也取決于我們最初如何自然地使用它們。

了解我們的感官是如何進(jìn)化的，以及我們現(xiàn)在如何使用它們，將有助于我們?cè)O(shè)計(jì)未來使用它們的新方法。

想想你的感官一整天的工作方式。陽光可以喚醒你。烹飪的氣味可以提醒您有多餓。雨聲可能會(huì)令人高興或失望。

我們的感官收集我們周圍的物理信息。這些信息無法通過 Google 搜索，但我們會(huì)一直在使用它。我們可以通過從窗簾滲入的光線來判斷現(xiàn)在是早晨。我們可以通過廚房里散發(fā)出的香氣來判斷晚餐吃什么。當(dāng)我們聽到雨聲時(shí)，我們會(huì)抓起雨傘。當(dāng)我們聽到一個(gè)笑話時(shí)，我們會(huì)笑。

在技術(shù)的幫助下，我們可以看出有人剛剛來到我們的前門，我們的電子郵件剛剛發(fā)送，或者我們面前的卡車即將倒車。

David Eagleman 是一位認(rèn)知神經(jīng)科學(xué)家，研究人類經(jīng)驗(yàn)和心靈如何相互塑造。他寫道：被封印在你頭骨黑暗、寂靜的房間里，你的大腦從未直接體驗(yàn)過外部世界，也永遠(yuǎn)不會(huì)。相反，來自那里的信息只有一種方式進(jìn)入大腦。您的感覺器官 — 眼睛、耳朵、鼻子、嘴巴和皮膚 — 充當(dāng)翻譯。它們檢測(cè)各種各樣的信息源（包括光子、空氣壓縮波、分子濃度、壓力、質(zhì)地、溫度），并將它們轉(zhuǎn)化為大腦的通用貨幣：電化學(xué)信號(hào)。

我們所知道、所做的和所說的一切都是通過我們的感官發(fā)生的——包括我們積累的信息以及我們一整天如何根據(jù)這些信息采取行動(dòng)。

??人類的體驗(yàn)是基于物理世界的

我們的感官始終開啟，通過我們的神經(jīng)系統(tǒng)向我們的大腦發(fā)送源源不斷的信息流。但很多時(shí)候，我們根本沒有意識(shí)到我們的感官。

花點(diǎn)時(shí)間感受一下您的腳。當(dāng)他們穿著鞋子時(shí)，我們幾乎不會(huì)注意到他們。而當(dāng)我們脫下鞋子赤腳走在草地上時(shí)，美妙的感覺可以完全占據(jù)上風(fēng)。

根據(jù)當(dāng)下場(chǎng)景的不同，人類具備從一個(gè)感官迅速切換到另一個(gè)感官的能力。當(dāng)我們聽到突然的巨響時(shí)，我們會(huì)轉(zhuǎn)身看。當(dāng)一條黏糊糊的魚在水下碰到我們的腳時(shí)，我們會(huì)不寒而栗。有時(shí)我們會(huì)有意識(shí)地選擇我們的注意力在哪里，有時(shí)我們的反應(yīng)會(huì)接管。

??人類的體驗(yàn)是基于多模態(tài)的

僅僅感知我們周圍的世界是不夠的。我們需要從這些信息中提取意義，并使用它來做出決策和采取行動(dòng)。

我們感知到的信息類型、我們解釋該信息的方式以及可以基于這些信息的決策和行動(dòng)類型都是相互關(guān)聯(lián)的。在我們的一生中，我們會(huì)發(fā)展出專屬于自己的不同感覺通道的模式，這些被稱為模態(tài)。它們也被稱為感覺運(yùn)動(dòng)模式。這些模態(tài)通常由它們的焦點(diǎn)感來描述，例如視覺、聽覺或觸覺。視覺依賴于我們的眼睛，聽覺依賴于我們的耳朵，觸覺依賴于我們的觸覺和運(yùn)動(dòng)感。將這些感官一起使用稱為多模態(tài)。模態(tài)塑造了我們使用感官信息來告知我們的行為的方式。

??感知 >>> 理解&作出決策 >> 采取行動(dòng)

我們大多數(shù)時(shí)候都是多模態(tài)同時(shí)運(yùn)作的，很少有人類行為是單一模態(tài)的。例如，走在街上結(jié)合了我們的平衡感、視覺、觸覺和運(yùn)動(dòng)。進(jìn)行對(duì)話結(jié)合了聽覺和視覺、我們創(chuàng)造語言的能力，如果您傾向于用手說話，也許還可以結(jié)合動(dòng)作和觸覺。

多模態(tài)互動(dòng)組合使我們的日?；?dòng)成為可能。在紅綠燈處，我們學(xué)會(huì)了在看到綠燈時(shí)踩下油門。黃燈讓我們考慮是否踩剎車。我們聽到水壺的汽笛聲，關(guān)掉了燃?xì)?。我們看到路徑?duì)面有一根樹枝，我們決定是跳過它還是繞過它。我們聽到手機(jī)鈴聲，掏出手機(jī)看看是誰在打電話。我們的感官支持廣泛的行為，使我們對(duì)世界、彼此和各種設(shè)備具有適應(yīng)性和響應(yīng)能力。我們使用每種多模態(tài)組合的次數(shù)越多，它們就會(huì)變得越強(qiáng)大，從而形成我們一生中使用的核心行為、習(xí)慣和技能。

通過閱讀、寫作和唱歌學(xué)習(xí)字母表，多模態(tài)教學(xué)已應(yīng)用于教育，讓孩子們具有更強(qiáng)的視覺、聽覺或觸覺以及其他感官結(jié)合的能力，各種媒介的教材都在往多模態(tài)方向不斷進(jìn)化。

?????設(shè)備的多模態(tài)能力

在很長(zhǎng)一段時(shí)間里，個(gè)人計(jì)算機(jī)的發(fā)展似乎都很穩(wěn)定：從鍵盤和鼠標(biāo)，到功能手機(jī)，再到智能手機(jī)。然后，它似乎突然加快了步伐：平板電腦、Siri、任天堂 Wii、XBox Kinect、谷歌眼鏡、Nest 恒溫器、可穿戴設(shè)備、無人駕駛汽車、Oculus Rift、亞馬遜 Echo 和 Google Home再到現(xiàn)在的AI自然語言交互。

為了讓人們能夠更自然的互動(dòng)，設(shè)備的交互方式一直在探索更多模態(tài)的融合。

設(shè)備多模態(tài)交互的構(gòu)建與人類多模態(tài)感知是一種映射關(guān)系。

同一種互動(dòng)場(chǎng)景可以有許多不同的交互方式，或者多模態(tài)同時(shí)交互來完成一個(gè)互動(dòng)。當(dāng)計(jì)算變得多模態(tài)（鼠標(biāo) / 鍵盤 / GUI / VUI）的那一刻，它才真正開始為每個(gè)人所用。

比如，撥打電話，您可以使用按鈕自行撥打電話（左）或讓 Siri 為您撥號(hào)（右）

?????人類的多模態(tài)感知 + 設(shè)備的多模態(tài)能力 = 自然的交互界面

交互技術(shù)現(xiàn)在可以嵌入到任何對(duì)象或環(huán)境中，無縫融入我們更廣泛的物理世界體驗(yàn)中。甚至可以直接融入我們的身體。屏幕、鎖、汽車、眼鏡和許多其他物體現(xiàn)在可以作為交互設(shè)備，所有交互設(shè)備都在往互聯(lián)和數(shù)字化發(fā)展。

我們與這些設(shè)備進(jìn)行的交互范圍已經(jīng)遠(yuǎn)遠(yuǎn)超出了屏幕點(diǎn)擊、滑動(dòng)等?？拷b有智能鎖的門可以解鎖它，而走開可以再次鎖上它。許多健身設(shè)備可以區(qū)分步行、跑步和騎自行車，從而觸發(fā)它們開始跟蹤活動(dòng)。（但不幸的是，我們?nèi)匀恍枰约哼M(jìn)行鍛煉，減肥這事兒害得自己來（）。

August 智能鎖，可以在檢測(cè)到主人靠近時(shí)自動(dòng)開鎖

??單一模態(tài)的感官也具備不同層面的信息含義

VUI （語音交互界面）就是一個(gè)例子。韻律和節(jié)奏是包含在我們的日?？谡Z表達(dá)中的。對(duì)話中的語調(diào)、語氣、重音和節(jié)奏都表達(dá)了超越語言的意義和情感。語調(diào)和重音的變化可能表明諷刺，還可以將陳述語氣更改為疑問語氣。韻律對(duì)于設(shè)計(jì)語音界面也很重要，尤其是對(duì)所有聲音設(shè)計(jì)。游戲設(shè)計(jì)師在游戲設(shè)計(jì)中會(huì)使用韻律，比如加快背景音樂的速度，讓玩家知道他們的時(shí)間不多了。勝利的音樂往往是音調(diào)上升的，而挫折則以下降的音調(diào)為標(biāo)志。

視頻游戲 Vilmonic 使用音調(diào)音效和短旋律來加強(qiáng)戲劇感和敘事感

感官之間的相互替換

人們用一種感官來替換另一種感官也是很常見的現(xiàn)象。這種行為被稱為「感官替換」（Substitution），允許我們?cè)谝环N感官被限制的時(shí)候使用另一種感官模式。

• 天黑時(shí)，我們把手伸到面前，腳下摸索著走，這樣即使看不到路也能避免路上的障礙。
• 當(dāng)環(huán)境噪聲很大時(shí)，我們可能會(huì)更仔細(xì)地觀察一個(gè)人嘴唇的動(dòng)作，并使用更多的手勢(shì)來交流。
• 許多人行橫道使用聲音來指示信號(hào)的變化。
• 字幕起源于幫助聽力障礙者觀看電影和電視，現(xiàn)在也廣泛使用在體育酒吧觀看賽事，因?yàn)樵谀抢锔緵]有人能聽到電視的聲音。

感官替換（Substitution）是一種非常常見的輔助功能設(shè)計(jì)策略：盲文、屏幕閱讀器和手語將信息從一種感官模式重新映射到另一種感官模式。當(dāng)人們無法使用自己的習(xí)慣方式來完成一項(xiàng)任務(wù)時(shí)，依賴另一個(gè)感官同樣可以和物理世界繼續(xù)交互。

??感官之間的相互協(xié)同

我們的視覺和聽覺是非常緊密地聯(lián)系在一起的，我們?cè)谒鼈冎g發(fā)展出許多多模態(tài)行為。在多感官統(tǒng)合中，出現(xiàn)了一種稱為同步性的效果，我們?cè)噲D將視覺運(yùn)動(dòng)和聽覺節(jié)奏對(duì)齊在一起。我們的視覺和聽覺能力相互加強(qiáng)，并增加了我們更好地預(yù)測(cè)彼此的能力。

音視頻組合對(duì)于基于時(shí)間或節(jié)奏的用戶活動(dòng)特別有效。視覺、觸覺和本體感覺能力（運(yùn)動(dòng)能力）的結(jié)合在創(chuàng)建物體和環(huán)境的空間映射時(shí)相互加強(qiáng)。許多基于屏幕的設(shè)計(jì)都依賴于這種感官整合來創(chuàng)建導(dǎo)航和瀏覽等核心交互。

把人類多感官感知世界的規(guī)律運(yùn)用在多模態(tài)交互設(shè)計(jì)中才能用戶的交互更自然更順滑。

人類的多感官和設(shè)備的多模態(tài)協(xié)同工作，創(chuàng)建反饋循環(huán)，這對(duì)于有效交互至關(guān)重要

好啦～ 第一篇就寫到這里了，我相信能閱讀到這里的讀者朋友一定也是從事AI或者多模態(tài)產(chǎn)品的同行朋友，歡迎后臺(tái)留言，也可以加微信多多交流想法呀！

下一篇預(yù)告：

1. 物理信息與多模態(tài)交互數(shù)據(jù)
2. 感知、理解、決策和行動(dòng)：人機(jī)交互因素
3. 注意力機(jī)制在多模態(tài)交互中的應(yīng)用
4. 通過多模態(tài)創(chuàng)造產(chǎn)品的可用性
5. 神經(jīng)適應(yīng) – 感官的期望基線
6. 創(chuàng)造充滿喜悅與信任的多模態(tài)交互
7. 鏡像神經(jīng)元