正如作者所說的，汽車會是我們通往 AGI 道路的重要 Agent，因此我們需要關注自動駕駛領域的 AI-Native 產品。這篇文章里，作者針對 Ghost Autonomy 這款產品做了點評與分析，一起來看。

Ghost Autonomy 是自動駕駛領域使用多模態大規模語言模型（MLLM）的先驅，這種新模型的引入不僅可能解決現有自動駕駛系統中的長尾問題，還能提高對復雜城市環境的導航能力。

MLLMs 通過結合文本、圖像、視頻等多種輸入模式，能夠更全面地理解和推理駕駛場景。這種整合性的方法比傳統的基于單一感知系統的方法更為先進和有效，可能會大大提高自動駕駛車輛的安全性和可靠性。

思考：

我們嘗試基于文章內容，提出更多發散性的推演和深思，歡迎交流。

汽車是工業時代機械電子的集大成者。OpenAI 布局自動駕駛領域，有了具備通用理解能力的多模態大規模語言模型（MLLM）加成，汽車會是我們通往 AGI 道路的重要 Agent。

自動駕駛對安全性和可靠性依賴度高，MLLMs 可以在自動駕駛堆棧的各個環節中發揮作用，除了用于數據標注和模擬的離線任務訓練， CEO John Hayes 更希望直接用于駕駛任務，值得關注。

AI Native 產品分析——Ghost Autonomy

1. 產品：Ghost Autonomy

2. 創始人：John Hayes

3. 創業背景：

Ghost Autonomy于2017 年創立。John Hayes 曾與他人共同創立了 Pure Storage 公司，并于 2015 年將該公司上市。

4. 產品簡介：

一個靈活的人工智能軟件平臺，為未來的消費類汽車提供領先的自動駕駛功能。

5. 系統構成：

軟件：Ghost OS、感知、駕駛、安全、人工智能

硬件：傳感器、駕駛計算機、車輛控制器、通信網絡

開發 Studio：駕駛、人工智能、設計

云架構：車輛通信、集中神經網絡學習和驗證

6. 產品價值：

Ghost 是在自動駕駛領域使用多模態大規模語言模型（MLLM）的先驅。這種全新的軟件架構將大模型強大的類人推理能力應用于駕駛，使自動駕駛汽車能夠理解復雜的駕駛場景。

作為消費類汽車可擴展自動駕駛軟件的先驅， Ghost Autonomy 2023 年 11 月 8 日宣布獲得 OpenAI 創業基金 500 萬美元的投資，用于將大規模、多模態大語言模型（MLLM）引入自動駕駛。這筆資金將用于加速目前正在進行的基于 LLM 的復雜場景理解研究和開發，這正是下階段的城市自動駕駛所需要的。這輪融資之后，該公司的融資總額達到 2.2 億美元。

一、優化多模態大語言模型以實現自動駕駛

OpenAI 首席運營官兼 OpenAI 初創基金經理 Brad Lightcap 表示：”多模態模型有可能將 LLM 的適用性擴展到包括自動駕駛和汽車在內的許多新場景，能夠通過結合視頻、圖像和聲音來理解并得出結論，因此可能會創造出一種全新的方式來理解場景并導航于復雜或不尋常的環境。”

LLM 幾乎每天都在不斷提高自己的能力，并擴展到新的應用領域，顛覆著各行各業現有的計算架構?；?Ghost Autonomy ，大語言模型也將對自動駕駛軟件堆棧產生深遠影響，而大語言模型新增的多模態功能（在接受文本輸入的同時接受圖像和視頻輸入）會加速其在自動駕駛用例中的應用。

多模態大語言模型（MLLM）具有對駕駛場景進行整體推理的潛在能力，可將感知和規劃結合起來，為自動駕駛汽車提供更深入的場景理解，并通過對場景的整體考慮為正確的駕駛操作提供指導。

MLLMs 有可能成為自動駕駛軟件的新架構，能夠處理長尾的罕見復雜駕駛場景?，F有的單一任務網絡局限于其狹窄的范圍和訓練，而 LLM 允許自動駕駛系統全面推理駕駛場景，利用廣泛的世界知識來駕馭復雜和不尋常的情況，甚至是從未見過的情況。

對商用和開源多模態大語言模型進行微調和定制的能力不斷增強，有可能大大加快 MLLM 在自動駕駛領域的發展。Ghost 目前正在不斷改進 MLLM 在自動駕駛領域的應用，同時在道路上不斷測試和驗證這種能力。Ghost 的開發車隊會將數據發送到云端進行 MLLM 分析，同時還在積極開發利用 MLLM 洞察并反饋回汽車的自動駕駛功能。

二、自動駕駛大模型架構

自動駕駛大模型為重新全面思考自動駕駛的技術堆棧提供了機會。

當今的自動駕駛技術存在脆弱性問題。它們往往是 “自下而上 “構建的，即在復雜的傳感器、地圖和計算堆棧之上，由許多拼湊起來的人工智能網絡和駕駛軟件邏輯來執行感知、傳感器融合、駕駛規劃和駕駛執行等各種任務。這種方法導致了一個難以解決的 “長尾 “問題——在道路上發現的每一個角落都會導致越來越多的軟件補丁，以試圖實現安全迭代。當場景變得過于復雜，車載人工智能無法再安全駕駛時，汽車就必須 “后退”。如果是機器人出租車，則由遠程操作中心的遠程人員進行操作；如果是駕駛輔助系統，則提醒駕駛員接管。

MLLM 提供了”自上而下 “解決問題的機會。如果我們能用一個根據世界知識廣泛訓練的模型來推理駕駛，并優化它以執行駕駛任務，這樣的模型能夠全面推理場景，從感知到建議的駕駛結果一步到位，自動駕駛堆棧的構建就會變得更簡單，能力也會大大增強。這種堆棧能夠推理復雜多變的城市駕駛場景，超越了傳統的策劃訓練。

實現用于自動駕駛的 MLLMs 需要一種新的架構，因為當今的 MLLMs 過于龐大，無法在嵌入式車載處理器上運行。因此需要一種混合架構，即在云上運行的大規模 MLLM 與在車內運行的經過專門訓練的模型進行協作，在汽車和云之間分擔自主任務以及長期與短期規劃。

建立、交付和驗證這種大型自動駕駛架構的安全性需要時間，但這并不意味著 MLLM 不能更快地影響自動駕駛堆棧。MLLMs 可以從改進數據中心流程入手，通過數據中心對自動駕駛訓練數據進行整理、標注、模擬，并對車載網絡進行訓練和驗證。MLLMs 還可以與現有的自動駕駛架構相連接，并為現有的自動駕駛架構增添洞察力，通過不斷增強它們的能力，以承擔越來越多的自動駕駛任務。

Ghost Autonomy 創始人兼首席執行官 John Hayes 表示：”長期以來，以可擴展的方式解決復雜的城市駕駛場景一直是這個行業的圣杯。LLMs 提供了一個突破口，最終將使日常消費車輛能夠在最艱難的場景里推理并導航。 盡管 LLMs 已被證明對數據標注和模擬等離線任務很有價值，但我們很高興能將這些強大的模型直接應用于駕駛任務，以充分發揮其潛力。”

Ghost 的平臺幫助領先的汽車制造商將人工智能和先進的自動駕駛軟件引入到下一代汽車中，現在又通過 MLLMs 擴展了功能和應用場景。目前，Ghost 正在通過其開發車隊積極測試這些功能，并與汽車制造商合作，共同驗證并將新的大模型集成到自動駕駛技術堆棧中。

參考材料：

https://www.ghostautonomy.com/blog/mllms-for-autonomy

https://www.ghostautonomy.com/blog/ghost-autonomy-announces-investment-from-openai-startup-fund-to-bring-multi-modal-llms-to-autonomous-driving