虛擬現實、數字孿生……醫療元宇宙場景有哪些應用?
編輯導語:元宇宙概念自被提出來之后,就引發了各行各業的關注,不少行業也開始與“元宇宙”應用結合,試圖發掘行業前進的更多可能。那么,當醫療行業和元宇宙碰撞之后,可以產生哪些火花?在醫療元宇宙場景下,又可能出現哪些應用呢?
從去年下半年宣布進軍元宇宙(Metaverse)業務,并將母公司從Facebook更名為Meta Platforms以來,扎克伯格憑一己之力讓“元宇宙”這個已經存在于科幻小說里30年的概念在全網破圈。
海外,包括“元宇宙第一股”Roblox和全球芯片巨頭英偉達在內的一些科技企業實際上早在扎克伯格前就已經著手布局元宇宙。近期,微軟687億美元收購暴雪也顯示了在元宇宙分一杯羹的心思。
而在扎克伯格宣布元宇宙動作之前和之后,國內也有一些科技巨頭已經或決定進軍元宇宙。騰訊投資了Roblox,字節跳動投資了游戲開發商代碼乾坤和VR公司Pico,百度推出了元宇宙社交app希壤等等……
在熱議的概念下,游戲行業被公認為是最具有元宇宙雛形的領域。盡管元宇宙在醫療領域的應用還不常見,但我們還是能夠看到一些初創公司在朝元宇宙形態下的醫療健康行業采取行動。本文一起來看一看搭上元宇宙形態的醫療有可能是什么樣子?筆者希望借此拋磚引玉,為醫療健康領域更好的發展助一份力。
一、醫療元宇宙的初級暢想
仍舊沒有一個公認的描述能夠用來定義元宇宙。Metaverse一詞首先出現在美國科幻小說家Neal Stephenson在1992年出版的小說《雪崩》中,是一個基于虛擬現實的下一代互聯網。在扎克伯格的愿景中,元宇宙能改變人與技術之間的關系,允許用戶在虛擬內容中完成或與虛擬內容一同發生體驗,而不是簡單地與數字產品和解決方案進行交互。
接下來讓我們嘗試想象一下醫療健康背景下的元宇宙。
目前,以互聯網技術賦能的醫療行業,其產品和解決方案使患者和醫療提供者能夠查看、共享、交換、創建或以其他方式與數字內容進行交互,如將患者數據輸入電子病歷系統、通過在線門戶發送付款信息、在應用程序上觀看物理治療演示或在遠程醫療咨詢期間共享視頻。在元宇宙下,我們可以想象得到的醫療健康體驗可能包括患者用VR方式參加團體治療課程、外科醫生通過全息解剖來規劃手術步驟、孕婦通過AR技術練習母乳喂養技術。
目前人們對于元宇宙可能會涉及的元素有這樣幾個共識:擴展現實(包括VR、AR和混合現實MR)、3D圖像技術、人工智能、區塊鏈和加密技術,甚至是腦機交互。
美國數字健康基金Rock Health認為,元宇宙中的醫療保健存在廣泛的可能性,但目前有兩大類應用場景和嘗試最為常見:
1)沉浸式環境:通過擴展現實創造的虛擬世界,醫療保健的提供者和消費者出于醫療教育、輔助或治療目的參與其中
2)數字孿生:現實世界的實體在虛擬世界中的映射,可以被用來協助進行醫療保健的相關決策
元宇宙中的數字健康應用企業示例(來源:Rock Health)
根據Rock Health的統計,2021年整合了VR或AR技術的數字健康初創公司在11起交易中拿到了1.98億美元的投融資,是2020年9300萬投融資的兩倍多。
盡管2021年的投融資還不到整個數字健康賽道的1%,但市場和資本都在釋放對于元宇宙的早期關注信號。另外根據筆者的不完全統計,國內約有21家涉足VR/AR+醫療的初創企業,在2019年以來獲得投融資的有6家,共計融資額1.31億元人民幣。
二、元宇宙+醫療可以有哪些場景應用
圍繞以上兩個維度,筆者擴展了相關領域和場景,搜羅了以下海外數字健康的產品形態,它們或許就是醫療健康領域走向元宇宙的初始階段。
1. 醫療教學培訓虛擬化
1)數字醫學圖書館
2013年6月30日,美國醫生外科醫生Rafael Grossmann完成了首個佩戴谷歌眼鏡進行的手術。他曾表示,在看到谷歌眼鏡的第一刻,就意識到了可穿戴設備能為醫療行業帶來的顛覆性創新。
對于這場手術,Grossmann進行了“直播”,學生們不再需要圍繞在醫生身邊來觀摩手術從而進行學習,而是可以在一定距離外,以精準的醫生的第一視角看到、聽到手術室里發生的一切,并實時提出問題、得到回復。
這為外科教育打開了新的方向。傳統上來說,對于醫學生和執業醫師的外科教育很大程度上取決于他們能否進入手術室,以便從頂級專家那里學到新的手術技術,然而這一機會通常十分有限。VR技術的應用,為醫學教育帶來完全不同的體驗。在這點上,醫療教育流媒體視頻庫GIBLIB是一類。
GIBLIB提供豐富的4K高清視頻資源,內容包括醫學教學、講座和會議內容、手術操作,被稱為醫學教育界的Netflix。GIBLIB將真實的手術以4K、360度VR的形式錄制成視頻,實現外科醫生視角的精確攝像機角度和360度全景,用戶只需要戴上VR設備就能夠以沉浸式的方式觀看手術室中的真實活動。GIBLIB還向外科醫生和醫療專業人員提供360度VR形式的繼續醫學教育 (CME)認證內容。
CME認證指的是幫助醫療執業人員保持并提高其自身專業技能、知識和競爭力的教育活動,在美國一些州,這是許多醫療人士保持自身執業資格的必要條件。
有時候,醫療人士甚至需要前往世界各地的一些醫學會議來獲得相關認證,對時間、金錢、和地點都提出了更高的要求。GIBLIB的在線視頻庫則意味著人們使用手機和電腦就可以通過沉浸式的方式進行學習。
GIBLIB官網
2)手術培訓平臺Osso VR
同樣是利用VR實現教學培訓目標,Osso VR打造的是另一種模式。它和GIBLIB那樣將真實拍攝的視頻傳入VR設備不同,而是通過高度逼真的視覺技術,為處于VR環境中的實習醫生、外科醫生和醫療器械專家等人士再現一個手術室場景,讓用戶通過VR遙控裝置,在虛擬環境中鍛煉各類手術的實際操作。
Osso的平臺提供了卓越的視覺保真度,確保從解剖細節到手術室環境的各個方面都如現實一般。
Osso VR官網示例截圖
Osso的創始人、Justin Barad曾是一名骨科外科醫生和軟件開發者,他在歷經手術室的多年考驗后創立了Osso VR。他曾表示:“新型醫療器械層出不窮,而我們真的曾在病人已上手術臺的情況下用谷歌搜索使用方法。學習曲線數據表明,你必須操作100次才能熟練掌握一項新手術。所以出于安全考慮,我們通常不會使用新器械,因為我們沒有時間去充分學習所有內容?!?/p>
傳統的培訓方法限制了外科醫生們掌握技術和新的醫療器械的速度,同時缺乏手術操作表現的客觀反饋和衡量的有效途徑。有了Osso VR,醫生們就可以隨時隨地為自己安排近乎真實的手術和器械的操作練習。
Osso 還可以對醫生的模擬訓練精確度進行分析,跟蹤訓練表現,并允許全球用戶遠程加入到協作訓練中。美國加州大學洛杉磯分校David Geffen醫學院的一項研究表示,與傳統培訓方法相比,Osso VR將參與者的手術表現提高了230%。目前,強生、史賽克和施樂輝等骨科巨頭都選擇Osso VR作為VR 培訓伙伴進行了合作。
根據筆者的不完全統計,醫療教學和手術實訓平臺及系統也是國內VR/AR醫療企業涉足最多的場景之一,涵蓋產科、中醫針灸和胚胎移植等學科,如域圓科技、昱然智能、智觸計算機、醫微訊、眾繪科技、立方幻境和觸幻科技。
2. 當手術機器人遇見VR
有關機器人輔助外科手術的首次記錄發生在1985年,當時PUMA 560機器人手術臂被用于精細的神經外科活檢。兩年后,第一個涉及機器人系統的腹腔鏡手術,即膽囊切除術出現。
到了2000年,達芬奇手術機器人成為首個得到FDA批準的用于普通腹腔鏡手術的手術機器人系統,從此為機器人手術開辟了新的天地。手術機器人因為切口更小、精度更高、操作更加靈活等特點在今天得到了醫生們更廣泛的認可和普遍使用,也同樣具有廣大的市場滲透空間。
那么,當手術機器人碰上VR,會成為下一代手術機器人的發展方向嗎?
成立于2014年的Vicarious Surgical正在開發將類人機械臂與虛擬現實技術相結合的手術機器人,允許外科醫生進行360度的可視化訪問。Vicarious Surgical首先圍繞手術機器人進行了改良,其機械臂只需要通過一個1.5 厘米甚至更小的切口就可以進入腹腔,并可以在各個方向上自由移動。
同時機器人的每條手臂擁有28個傳感器,能夠測量手術機器人的力量、行動、定位,做到完全復刻外科醫生從肩部、肘部再到手腕的自然運動,做到讓手術精度、視覺影像和控制都實現最大化。外科醫生通過佩戴VR眼鏡、操縱手柄,就可以感受到360度全景般的逼真感,仿佛直接進入了患者腹腔的感覺。
Vicarious Surgical官網示例截圖
值得注意的是,Vicarious Surgical的手術機器人目前只獲得了FDA突破性設備的認定,還沒有完成最終的上市,VR設備也不會出現在第一代產品中。手術機器人+VR的暢想能否被外科醫生普遍接受,尤未可知。
3. 增強現實輔助手術
與VR輔助外科手術相比,AR技術的應用或許更加實際和可行。
在介入手術中,外科醫生通常需要借助術中X線,CT和手術導航系統幫助確定手術的走向,并需要抬頭在另外一塊屏幕上查看影像結果。在AR設備的幫助下,患者的導航影像和人體結構都可以直接在醫生眼前形成實時投影,既幫助醫生更加關注于手術和患者本身,對手術器械在病人哪個解剖位置、下一步應該如何進行等判斷更加一目了然,還可以降低醫生和患者受輻射照射的風險。
Augmedics的Xvision Spine System(XSV)是首個獲得FDA批準的可以用在手術中的AR導航系統。醫生戴上AR設備后,就可以直接在眼前清晰的看到患者的3D脊柱結構、手術器械和植入物的位置和走向,像是直接用眼睛為患者進行了CT掃描,并且避免了注意力的轉移。XSV系統具備98.9%的經皮植入物放置精度。
Augmedics官網宣傳視頻截圖
在國內,維桌致遠的全息影像系統、妙智科技的VR影像平臺、還有霖晏醫療的AR骨科手術導航系統都是該場景下的代表。
4. “沉浸式療法”
如果有哪個醫學領域已經被證明了可以將VR用作治療手段,那么VR賦能的心理健康、慢病疼痛這兩個領域的數字療法可以說已經為其他領域開了一個好頭。
VR技術再造了3D環境,虛擬現實中進行的視覺、聲音、甚至是感官交互,會讓人們產生一種處于不同地點、時間、甚至是不同現實世界的感覺。通過構造這種沉浸式和交互式的環境,VR可以改變人們的注意力。過去30年的學術研究表明,這種注意力的改變在一些嚴重疾病的管理方面發揮重要作用,如疼痛和焦慮。
比如接受化療或燒傷傷口護理的患者,沉浸式VR體驗可以讓治療更容易進行,患者的痛苦感和對治療時間的自我感知都會減小。
在心理健康方面,虛擬現實也可以在緩解壓力和焦慮方面起到作用。比如在治療焦慮癥、恐懼癥以及創傷后應激障礙人群時,暴露治療通常是一種重要手段。基于VR的暴露療法為患者提供了沉浸在恐懼或焦慮環境中的機會,幫助心理治療師更好地進行治療。
對于這類療法,慢性疼痛VR服務商AppliedVR更愿意稱之為“沉浸式療法”,其基于VR的下背部慢性疼痛產品EaseVRx,是FDA批準的首個虛擬現實療法。
在其他領域,Luminopia One通過VR進行的兒童弱視癥治療也得到了FDA的上市批準。BehaVR將冥想、暴露療法、認知行為療法等與VR、AR結合,提供焦慮管理、產后健康、疼痛管理等的治療方案。TRIPP則通過VR和AR中的游戲,引導用戶在沉浸式的環境中跟隨聲音頻率和可視化的呼吸節奏進行練習,解決心理健康和情緒健康問題。
我國醫療創新企業也在利用VR和AR技術展開疾病治療,如康復領域、視功能訓練和心理健康治療等,這類企業包括七鑫易維、諾亦騰、心景科技、雙琦醫療、蓋爾倫醫學和頤康醫療。
5. 數字孿生(digital twins)
除上述提到的利用VR/AR技術打造元宇宙形態的數字健康企業外,醫療元宇宙的另一大場景類別是數字孿生:這是現實世界的實體(器官、個人或患者群體)在虛擬世界中的映射,或者說是“雙胞胎”,可以被用來服務醫療決策。
數字孿生是合成數據的一種形式,一種利用人工智能獲取的信息,它以真實實體為模型,并且通常以持續的方式與其現實世界的對應物相連。這種混合連接將數字孿生直接置于元宇宙中。
Siemens Healthineers 正在開拓心臟方面的數字雙胞胎,一種反映個體患者心臟分子結構和生物學功能的復雜數字模擬。醫生可以在做出任何現實世界的決定之前,模擬患者的心臟對藥物、手術或導管干預的反應,提前測試各種治療方案。Virtonomy構建了骨骼和肌肉群的數字雙胞胎,以對植入物進行更好的設計,還可以模擬醫療設備或植入物如何隨著時間的推移在患者體內降解。
除了器官,初創公司還在創造個體的全身數字雙胞胎。Q Bio的Gemini平臺可以通過人體全身掃描,獲取患者的生命體征,掃描、病史和基因測試結果,從而創建整個患者解剖和生理學的復雜模擬,消費者可以將結果與專家、培訓師、營養師和研究人員共享,以實現個性化護理。每當共享新的測試或掃描結果時,消費者的數字雙胞胎也會得到相應更新。
AI遠程醫療公司Babylon Health也在通過用戶的健康數據,為他們建立專屬的數字雙胞胎,而Twin Health則開發了專注于開發新陳代謝領域的數字孿生,個人及其醫療提供者可以用它來規劃有助于預防或逆轉代謝類疾病的生活方式的改變。
發布在美國糖尿病協會《糖尿病》期刊上的臨床研究結果顯示,Twin Health的數字孿生技術使92%的人不再需要使用糖尿病藥物,超過90%的人實現了2型糖尿病的逆轉。
Q Bio官網示例截圖
既然數字孿生能夠模擬個人健康數據和醫療情況,下一步,醫療和科研人員就可以將其用于模擬人群對疾病爆發或新藥的反應,繼而為元宇宙中的臨床試驗鋪平道路。
例如,Unlearn使用機器學習模型為臨床試驗的參與者構建數字雙胞胎,將來他們的預后信息整合到隨機對照試驗中,不僅能加快試驗入組速度、減少監測需要,還能保持嚴格的證據標準和研究的隨機化和盲法。
三、我們離實現醫療元宇宙還有多遠?
關于元宇宙,有人深信不疑,有人嗤之以鼻,有人對元宇宙的世界感到鼓舞,有人反對它的到來,還有人保持謹慎的關注。但毫無疑問的是,在我們真正選擇擁抱(或者不擁抱)它之前,還有很多事情需要理順。
首先就是定義——元宇宙代表了什么、它是否能成為現實、或者是否已經到來、誰擁有元宇宙,該怎么建設元宇宙等等。
作為元宇宙的擁躉,扎克伯格在與投資者的業績電話會議中表示:“雖然我們的方向很明確,但我們前進的道路似乎并沒有完全確定。”而年報顯示,對于元宇宙的探索,已經讓Meta元宇宙業務所在的“現實實驗室”部門(與增強和虛擬現實相關的消費類硬件、軟件和內容)的營業虧損在2021年超過100億美元,收入為23億美元。年報一出,Meta的股價徑直下跌27%。空殼子下,投資人對扎克伯格的元宇宙夢保持警惕。
與模糊的概念相比,更顯清晰的是元宇宙將會依賴的底層技術。能夠肯定的是,不管有沒有元宇宙的概念,VR/AR、人工智能、機器學習、計算機建模、3D影像等發展步伐只會加速前進。
從醫療領域看,這些前沿技術已經在助推精準醫療向前發展,如何把他們加減乘除進行組合做出更超前的產品,靠的是科學家和醫療人員的技術創新與想象力,而人類的想象從來都不應該被低估。
FDA的CDRH中心也因為看到了采用擴展現實技術的醫療設備、療法正日益增多,從而設立了擴展現現實醫療設備計劃(MXR),為這類設備的監管進行研究,與快速進步的行業同步發展。專注于底層技術的突破和技術需求的匹配,會是接近醫療元宇宙最腳踏實地的方式。
第三,生態的建立。雖然當下還不存在有關元宇宙的統一共識,能夠提早引領底層生態建設的一方,將在元宇宙的基礎設施建設方面擁有話語權和市場空間。
英偉達在2020年就已經推出了公測版的Omniverse(全宇宙),即“工程師的元宇宙”。工程師、設計師等在Omniverse上協作構建和交換3D資產和場景數據,進行虛擬世界的構建和渲染,并實現虛擬世界的進出。
在公測版吸引了10萬用戶后,英偉達在去年11月宣布,Omniverse將向所有NVIDIA Studio的創作者免費開放。對標醫療領域,信息化企業也許最有可能成為元宇宙生態的建設者,并構建出一個符合醫療行業需求和數據特色的底層生態。
此外,還有醫療元宇宙的必要性、可及性和數據隱私等問題。醫療場景下的元宇宙或許可以為患者帶來更精準、更高效的治療方案,但這也意味著這類解決方案會向有擴展現實和互聯網資源的人傾斜,有可能進一步加深醫療資源的不均衡。
在更有性價比的方案和市場上更經濟的軟硬件面前,投資人、醫療人士、創業者、政策制定者等等恐怕都會問上一句是否有必要。如何對虛擬世界中交互的患者數據和隱私進行定義、監管和保護也值得深思。
科幻小說家恐怕是世界上最有先知力的未來主義者,但科學技術的不斷創新才是讓這種先知變為現實的媒介。沒有元宇宙,可能還會有“園”宇宙,又或是“圓”宇宙,但它們都不會是科學創新的終點,因為科學創新,沒有終點。
第一群吃螃蟹的人,會受到質疑,相應的也會得到關注。走自己堅信的那條道路,是創新者的宿命。
作者:王燕潔;公眾號:動脈網(ID:vcbeat)
本文由 @動脈網 原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自Pexels,基于CC0協議
元宇宙
如果未來一定發生,那就提前進入那個未來。
第一群吃螃蟹的人,會受到質疑,相應的也會得到關注。走自己堅信的那條道路,是創新者的宿命。