中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

前面兩篇文章討論了 visionOS 鍵盤和虛擬鍵盤交互中觸覺缺失的問題，最近 Meta 放出了將任意物理平面變成虛擬鍵盤輸入界面的方法，通過將虛擬鍵盤“投射”到物理桌面上，解決了觸覺反饋的問題，當用戶在虛擬鍵盤鍵入文本時，頭顯可以輔以相應的視覺或聽覺提示，進而增加用戶按鍵信心。不僅如此，系統可以繼續利用基于人工智能的輸入法自動糾錯和自動判斷等功能，進一步提升輸入效率和精度，可以達到每分鐘100單詞的成績，準確率高達 98.9%。

本文就來盤點一下那些虛實結合場景下文本輸入的（奇奇怪怪的）方案。

與人們已經習慣的實體鍵盤、觸摸屏相比，VR/AR 中輸入文本的困難，總結原因要么是“看得見摸不著”，要么是“摸得著看不見”：虛擬鍵盤界面，視覺上看得見，但缺少觸覺反饋（觸覺缺失導致的問題已經在上一篇講過了）；實體鍵盤在觸覺上摸得著，在VR場景中不可見，在AR場景中與便攜屬性不符。

為了提高文字輸入效率，過往研究提出了以下不同類型的方案：

• 優化布局（QWERT → 靈活布局）：從傳統的 QWERT 鍵盤布局，到更符合懸空手勢、控制器輸入的靈活布局，通過交互設計的方式提升文字輸入效率；
• 變換控制方式（手柄 → 裸手 → 穿戴）：從傳統的手柄（只有兩個輸入觸點）到裸手識別，再到指環、腕帶等穿戴設備，充分利用不同的控制方式，同時可以結合不同的布局優化；
• 多模態輸入（手眼 → 語音 → 大腦）：從手眼協同，到語音識別，再到腦機接口，充分利用人的不同感知通道

一、優化布局

1. Google 敲鼓鍵盤

這是 Google 為其 Daydream 項目（早期將 Android 設備變成 VR 平臺的項目）設計的虛擬鍵盤布局和控制器輸入方式，配合 Daydream 的長條形狀控制器，呈現一定弧度的鍵盤布局和圓鼓形狀的按鍵設計，讓文本輸入像演奏音樂一樣充滿節奏和樂趣。

Google Daydream drum keyboard

2. HoloLens 混合現實鍵盤

HoloLens 的混合現實鍵盤采用的是傳統的 QWERT 布局，事實上有點“過于傳統”了，第一眼就讓人聯想到傳統的打字機，再配上若有若無淡藍色的熒光，一股濃濃的復古未來主義（Retro-futurism）風，令人印象深刻！

HoloLens keyboard

Typewriter

3. 跟手布局

Apple Vision Pro 發布的時候就有網友做了梗圖——更適合中國人的“算命輸入法”。

算命輸入法

事實上確實有人在做相關的設計和專利，通過將按鍵布局與用戶手部關節點相對應，借助手勢識別實現復雜的文本輸入，甚至可以在關節點上綁定“應用快捷鍵”，不止能用于文本輸入：

BlueTap 輸入法專利

BlueTap 輸入法 – 快捷方式

4. 靈活組合布局

另一種布局方式是打破現有的 QWERT 排列方式，例如結合游戲手柄的搖桿，只通過方向選擇的序列組合實現不同字母的選擇。這類布局的設計思路與手機“九宮格輸入法”一樣，在有效按鍵數量受限的情況下，通過步驟組合來獲得更多輸出結果，即以時間換空間。

PizzaText

PinchType 手勢分組

改變輸入按鍵的布局通常需要與特定輸入控制方式相配合，并且需要輔助更好的輸入算法，這類方法最大的問題在于打破用戶的常規輸入習慣，學習成本過高因而實用性不足（但對于熟練掌握功能機時代九宮格輸入法的用戶來說，上面的“算命輸入法”很可能是一個不錯的方案??）。

二、變換控制方式

1. 手勢姿態追蹤

這一類輸入方式并不需要真的鍵盤存在，主要是利用人們熟練打字之后形成的肌肉記憶，用戶只需要讓自己相信雙手正在敲擊鍵盤打字，它可以通過識別手指的運動模式，來推斷對應的文字輸入。

TapID

TapXR

這類方法沒有給用戶帶來額外的學習負擔，只是需要熟悉一下如何遷移自己在真實鍵盤上打字的肌肉記憶。

2. 手寫控制

這一類輸入方法，通過指環直接監控手指的活動，從而完成更加靈活、精確的手指姿勢識別，再輔助輸入算法以實現文本或指令的輸入。

Apple 智能指環專利

2014年的智能指環眾籌項目，已停止

3. 鍵盤追蹤

鍵盤追蹤的方法就比較直接了，要么是把真實的鍵盤通過定位將1:1模型投射到VR里，要么是通過局部透視（Passthrough）的功能，將鍵盤區域開放給給虛擬場景?？偟膩碚f就是讓鍵盤在 XR 場景中能夠同時被看得見和摸得著。

羅技鍵盤Bridge

三、多模態輸入

1. 語音輸入

語音轉文字輸入其實是對手動輸入最便捷、準確率最高的補充，現有的技術也足夠成熟。只不過在應用場景上，語音輸入更適合較簡短的指令輸入（如 Siri），或者對文本精確度要求沒有那么高、可以事后進行重新編輯的場景（如會議記錄、語音聊天等）。

如果是類似辦公的 XR 場景下，那么大段的語音輸入轉文字后可能還需要通過其它方法輔助進行精確編輯，另外語音交互也對用戶場景有諸多限制??：

2. 腦機接口

一般的腦機接口（BCI）技術是指通過讀取大腦信號，加以判斷并反饋給計算機進行輸入或控制。其本質上和前面的手部信號其實差別不大，只不過大腦電信號要比肌肉電復雜得多，同時對大腦決策指令的解讀也可以完成比文本輸入更加復雜的任務。

21 年發表在《Nature》的一篇研究可以讓癱瘓人士通過書寫來交流，他們在一個四肢癱瘓患者的手部運動相關皮層區域記錄了來自植入電極的神經活動。即使在癱瘓多年后，他的運動皮層仍保留了對不同字母書寫動作的強大神經表征。這種方式是直接對大腦信號的解讀，尤其是把運動信號的指令解讀出來，則可以直接在計算機中對書寫或輸入的結果進行翻譯，有可能這才是終極解決方案！

參考資料：

• https://niteeshyadav.com/blog/are-we-ditching-keypads-for-good-in-ar-vr-84902/
• Dube, T.J., Arif, A.S. (2019).Text Entry in Virtual Reality: A Comprehensive Review of the Literature. In: Kurosu, M. (eds) Human-Computer Interaction. Recognition and Interaction Technologies. HCII 2019. Lecture Notes in Computer Science(), vol 11567. Springer, Cham.https://doi.org/10.1007/978-3-030-22643-5_33
• TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing
• Willett, F. R., Avansino, D. T., Hochberg, L. R., Henderson, J. M., & Shenoy, K. V. (2021).High-performance brain-to-text communication via handwriting.Nature,593(7858), 249–254. https://doi.org/10.1038/s41586-021-03506-2