英偉達版ChatGPT來了，PC端部署，很GPU

金磊 發(fā)自 凹非寺，量子位 | 公眾號 QbitAI

英偉達推出了自家版本的ChatGPT，名字很有GPU的味道——Chat With RTX。

英偉達的這款AI聊天機器人和目前主流的“選手”有所不同。

它并非是在網(wǎng)頁或APP中運行，而是需要下載安裝到個人電腦中。

這波操作，不僅是在運行效果上會更快，也就意味著Chat With RTX在聊天內(nèi)容上或許并沒有那么多限制。

網(wǎng)友們也紛紛對這一點發(fā)出了感慨：哇~這是本地運行的耶~

當然，在配置方面也是要求的，只需要至少8GB的RTX 30或40系列顯卡即可。

那么Chat With RTX的實際效果如何，我們繼續(xù)往下看。

英偉達版ChatGPT

首先，值得一提的是，Chat With RTX并非是英偉達自己搞了個大語言模型（LLM）。

它背后所依靠的仍是兩款開源LLM，即Mistral和Llama 2，用戶在運行的時候可以根據(jù)喜好自行選擇。

Pick完LLM之后，就可以在Chat With RTX中上傳本地文件。

支持的文件類型包括txt，.pdf，.doc/.docx和.xml。

然后就可以開始提問了，例如：Sarah推薦的餐廳名字是什么？

由于是在本地運行，因此Chat With RTX生成答案的速度是極快的，真真兒的是“啪的一下”：Sarah推薦的餐廳名字叫做The Red Le Bernardin。

除此之外，Chat With RTX另一個亮點功能，就是可以根據(jù)在線視頻做回答。

例如把一個油管視頻的鏈接“投喂”給它：

然后向Chat With RTX提問：英偉達在CES 2024上宣布了什么？

Chat With RTX也會以極快的速度根據(jù)視頻內(nèi)容作答。

至于其背后用到的技術方面，英偉達官方只是簡單提了一句：“用到了檢索增強生成 （RAG）、NVIDIA TensorRTLLM軟件和NVIDIA RTX等?！?/p>

如何食用？

正如我們剛才提到的，Chat With RTX的用法很簡單，只需一個下載安裝的動作。

不過在配置上，除了GPU的要求之外，還有一些條件，例如：

系統(tǒng)：Windows 10或Windows 11

RAM：至少16GB

驅(qū)動：535.11版本或更新

不過Chat With RTX在大小上并沒有很輕量，共計大約35G。

因此在下載它之前，務必需要檢查一下Chat With RTX所需要的安裝條件。

不然就會出現(xiàn)各種各樣的悲劇了：

不過實測被吐槽

The Verge在英偉達發(fā)布Chat With RTX之后，立即展開了一波實測。

不過結論卻是大跌眼鏡。

例如剛才提到的搜索視頻功能，在實際測試過程中，它竟然下載了完全不同視頻的文字記錄。

其次，如果給Chat With RTX“投喂”過多的文件，例如讓Chat with RTX為25000個文檔編制索引，它就直接“罷工”崩潰了。

以及它也“記不住”上下文，因此后續(xù)問題不能基于上一個問題。

最后還有個槽點，就是下載Chat with RTX消耗了測試人員整整半個小時……

不過槽點之外，The Verge也比較中立地肯定了Chat with RTX的優(yōu)點。

例如搜索電腦上的文檔，其速度和精準度是真香。

并且做總結也是Chat with RTX較為擅長的內(nèi)容：

更重要的是，在本地運行這樣的機制，給用戶文件的安全性帶來了保障。

那么你會pick英偉達版的ChatGPT嗎？

參考鏈接：
[1]https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
[2]https://news.ycombinator.com/item?id=39357900
[3]https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
[4]https://twitter.com/rowancheung/status/1757429733837418610