前段時間，Nvidia發布了類似ChatGPT的工具——Chat with RTX。用戶可以將該工具與文檔、文件和筆記相連接，進而進行查詢。這個模型有什么特征？我們來看看。

英偉達Nvidia近期發布了一款名為“Chat with RTX”的工具，該工具專為GeForce RTX 30系列和40系列顯卡的所有者設計，讓他們能夠在Windows PC上脫機運行AI聊天機器人，類似離線版ChatGPT。

這款Chat with RTX工具允許用戶根據個人需求定制GenAI模型，其功能類似于OpenAI的ChatGPT。用戶可以將該工具與文檔、文件和筆記相連接，進而進行查詢。Nvidia在Demo中提到：“用戶無需再費心搜索筆記或保存的內容，只需簡單輸入查詢即可。例如，輸入‘我伴侶在拉斯維加斯推薦的餐廳是哪家？’，Chat with RTX便會掃描用戶指定的本地文件，并給出帶有上下文的答案?！?/p>

Chat with RTX默認采用的是AI初創公司Mistral的開源模型，但也兼容其他基于文本的模型，包括Meta的Llama 2。不過，Nvidia也提醒用戶，下載所有必要的文件將占用相當大的存儲空間，具體大小取決于所選模型，范圍在50GB至100GB之間。

目前，Chat with RTX支持文本、PDF、.doc、.docx和.xml等多種格式。用戶只需將應用程序指向包含這些受支持文件的文件夾，這些文件就會被加載到模型的微調數據集中。此外，Chat with RTX還能接收YouTube播放列表的URL，加載播放列表中視頻的轉錄內容，使所選模型能夠查詢這些視頻內容。

但當前Chat with RTX這款工具仍有一些限制，比如該工具無法記住上下文，這意味著在回答后續問題時，它不會考慮任何先前的問題。例如，如果用戶先問“北美普通鳥類是什么？”，然后接著問“它的顏色是什么？”，Chat with RTX將不會理解“它”指的是鳥類。

從趨勢上來看Chat with RTX為用戶在本地運行AI模型提供了一種更便捷的方式。模型離線化這一趨勢正在逐漸增長。能夠離線運行GenAI模型的設備，包括PC、智能手機、物聯網設備和網絡設備正在增長，離線模型不僅更加私密，因為它們處理的數據永遠不會離開運行設備，而且比云托管模型具有更低的延遲和更具成本效益：

一、離線語音模型

離線AI模型廣泛應用于智能設備，如機器人、汽車、音箱等，提供即插即用、穩定且私密的語音識別服務。相較于云端模型，離線AI解決了配網、網絡穩定性及隱私泄露等問題。實現離線NLP需整合芯片、算法、軟件及語音處理技術，以提升用戶體驗，為未來智能設備標配功能奠定基礎。市場上雖有挑戰，但離線AI前景廣闊，值得期待。

二、離線圖片模型

離線圖片生成大模型在多個領域有著廣泛應用。在創作和藝術領域，設計師和創作者可以利用其進行圖像生成和風格遷移。在內容創作和廣告設計方面，它能生成高質量視覺內容。此外，醫學、地球觀測和圖像處理領域也能受益。在CES2024上，聯想展示了新款Windows 11 Yoga筆記本電腦，配備聯想Yoga Creator Zone軟件，用戶可輕松將文本描述或草圖轉為圖像，無需復雜設置。這展現了離線模型在實際應用中的潛力和價值，為創作者提供簡單、私密的創作體驗。

三、私有云的離線防泄漏解決方案

VMware總部位于美國加州帕洛阿爾托（Palo Alto），是全球云基礎架構和移動商務解決方案廠商。在今年的VMware Explore大會上，VMware積極進軍生成式AI新領域，推出了多項創新服務。其中包括Private AI，這是一項跨云新服務，支持多云環境下的企業生成式AI模型的訓練、測試和部署。此外，VMware還與Nvidia合作，共同推出適用于離線環境的方案，幫助企業更容易開發和定制自己的LLM模型，從而降低內部數據泄露的風險。