從英偉達推出離線聊天機器人看2024年三個落地場景

0 評論 2697 瀏覽 2 收藏 6 分鐘

前段時間,Nvidia發布了類似ChatGPT的工具——Chat with RTX。用戶可以將該工具與文檔、文件和筆記相連接,進而進行查詢。這個模型有什么特征?我們來看看。

英偉達Nvidia近期發布了一款名為“Chat with RTX”的工具,該工具專為GeForce RTX 30系列和40系列顯卡的所有者設計,讓他們能夠在Windows PC上脫機運行AI聊天機器人,類似離線版ChatGPT。

這款Chat with RTX工具允許用戶根據個人需求定制GenAI模型,其功能類似于OpenAI的ChatGPT。用戶可以將該工具與文檔、文件和筆記相連接,進而進行查詢。Nvidia在Demo中提到:“用戶無需再費心搜索筆記或保存的內容,只需簡單輸入查詢即可。例如,輸入‘我伴侶在拉斯維加斯推薦的餐廳是哪家?’,Chat with RTX便會掃描用戶指定的本地文件,并給出帶有上下文的答案?!?/p>

Chat with RTX默認采用的是AI初創公司Mistral的開源模型,但也兼容其他基于文本的模型,包括Meta的Llama 2。不過,Nvidia也提醒用戶,下載所有必要的文件將占用相當大的存儲空間,具體大小取決于所選模型,范圍在50GB至100GB之間。

目前,Chat with RTX支持文本、PDF、.doc、.docx和.xml等多種格式。用戶只需將應用程序指向包含這些受支持文件的文件夾,這些文件就會被加載到模型的微調數據集中。此外,Chat with RTX還能接收YouTube播放列表的URL,加載播放列表中視頻的轉錄內容,使所選模型能夠查詢這些視頻內容。

但當前Chat with RTX這款工具仍有一些限制,比如該工具無法記住上下文,這意味著在回答后續問題時,它不會考慮任何先前的問題。例如,如果用戶先問“北美普通鳥類是什么?”,然后接著問“它的顏色是什么?”,Chat with RTX將不會理解“它”指的是鳥類。

從趨勢上來看Chat with RTX為用戶在本地運行AI模型提供了一種更便捷的方式。模型離線化這一趨勢正在逐漸增長。能夠離線運行GenAI模型的設備,包括PC、智能手機、物聯網設備和網絡設備正在增長,離線模型不僅更加私密,因為它們處理的數據永遠不會離開運行設備,而且比云托管模型具有更低的延遲和更具成本效益:

一、離線語音模型

離線AI模型廣泛應用于智能設備,如機器人、汽車、音箱等,提供即插即用、穩定且私密的語音識別服務。相較于云端模型,離線AI解決了配網、網絡穩定性及隱私泄露等問題。實現離線NLP需整合芯片、算法、軟件及語音處理技術,以提升用戶體驗,為未來智能設備標配功能奠定基礎。市場上雖有挑戰,但離線AI前景廣闊,值得期待。

二、離線圖片模型

離線圖片生成大模型在多個領域有著廣泛應用。在創作和藝術領域,設計師和創作者可以利用其進行圖像生成和風格遷移。在內容創作和廣告設計方面,它能生成高質量視覺內容。此外,醫學、地球觀測和圖像處理領域也能受益。在CES2024上,聯想展示了新款Windows 11 Yoga筆記本電腦,配備聯想Yoga Creator Zone軟件,用戶可輕松將文本描述或草圖轉為圖像,無需復雜設置。這展現了離線模型在實際應用中的潛力和價值,為創作者提供簡單、私密的創作體驗。

三、私有云的離線防泄漏解決方案

VMware總部位于美國加州帕洛阿爾托(Palo Alto),是全球云基礎架構和移動商務解決方案廠商。在今年的VMware Explore大會上,VMware積極進軍生成式AI新領域,推出了多項創新服務。其中包括Private AI,這是一項跨云新服務,支持多云環境下的企業生成式AI模型的訓練、測試和部署。此外,VMware還與Nvidia合作,共同推出適用于離線環境的方案,幫助企業更容易開發和定制自己的LLM模型,從而降低內部數據泄露的風險。

本文由 @AI營銷先鋒派 原創發布于人人都是產品經理。未經作者許可,禁止轉載。

題圖來自Unsplash,基于CC0協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!