[返回军事纵横首页]·[所有跟帖]·[ 回复本帖 ] ·[热门原创] ·[繁體閱讀]·[版主管理]
英伟达版ChatGPT来了,PC端部署,很GPU
送交者: 雪狼99[☆★★★声望勋衔15★★★☆] 于 2024-02-14 13:20 已读 1776 次  

雪狼99的个人频道

 

英伟达推出了自家版本的ChatGPT,名字很有GPU的味道——

Chat With RTX。


英伟达的这款AI聊天机器人和目前主流的“选手”有所不同。

它并非是在网页或APP中运行,而是需要下载安装到个人电脑中。

这波操作,不仅是在运行效果上会更快,也就意味着Chat With RTX在聊天内容上或许并没有那么多限制。

网友们也纷纷对这一点发出了感慨:

哇~这是本地运行的耶~


当然,在配置方面也是要求的,只需要至少8GB的RTX 30或40系列显卡即可。

那么Chat With RTX的实际效果如何,我们继续往下看。

英伟达版ChatGPT

首先,值得一提的是,Chat With RTX并非是英伟达自己搞了个大语言模型(LLM)。

它背后所依靠的仍是两款开源LLM,即Mistral和Llama 2,用户在运行的时候可以根据喜好自行选择。


Pick完LLM之后,就可以在Chat With RTX中上传本地文件。

支持的文件类型包括txt,.pdf,.doc/.docx和.xml。


然后就可以开始提问了,例如:

Sarah推荐的餐厅名字是什么?


由于是在本地运行,因此Chat With RTX生成答案的速度是极快的,真真儿的是“啪的一下”:

Sarah推荐的餐厅名字叫做The Red Le Bernardin。

除此之外,Chat With RTX另一个亮点功能,就是可以根据在线视频做回答。

例如把一个油管视频的链接“投喂”给它:


然后向Chat With RTX提问:

英伟达在CES 2024上宣布了什么?


Chat With RTX也会以极快的速度根据视频内容作答。

至于其背后用到的技术方面,英伟达官方只是简单提了一句:“用到了检索增强生成 (RAG)、NVIDIA TensorRTLLM软件和NVIDIA RTX等。”

如何食用?

正如我们刚才提到的,Chat With RTX的用法很简单,只需一个下载安装的动作。

不过在配置上,除了GPU的要求之外,还有一些条件,例如:
系统:Windows 10或Windows 11RAM:至少16GB驱动:535.11版本或更新


不过Chat With RTX在大小上并没有很轻量,共计大约35G。

因此在下载它之前,务必需要检查一下Chat With RTX所需要的安装条件。

不然就会出现各种各样的悲剧了:

不过实测被吐槽

The Verge在英伟达发布Chat With RTX之后,立即展开了一波实测。

不过结论却是大跌眼镜。

例如刚才提到的搜索视频功能,在实际测试过程中,它竟然下载了完全不同视频的文字记录。

其次,如果给Chat With RTX“投喂”过多的文件,例如让Chat with RTX为25000个文档编制索引,它就直接“罢工”崩溃了。

以及它也“记不住”上下文,因此后续问题不能基于上一个问题。

最后还有个槽点,就是下载Chat with RTX消耗了测试人员整整半个小时……

不过槽点之外,The Verge也比较中立地肯定了Chat with RTX的优点。

例如搜索电脑上的文档,其速度和精准度是真香。

并且做总结也是Chat with RTX较为擅长的内容:


更重要的是,在本地运行这样的机制,给用户文件的安全性带来了保障。

那么你会pick英伟达版的ChatGPT吗?

喜欢雪狼99朋友的这个贴子的话, 请点这里投票,“赞”助支持!
[举报反馈]·[ 雪狼99的个人频道 ]·[-->>参与评论回复]·[用户前期主贴]·[手机扫描浏览分享]·[返回军事纵横首页]
帖子内容是网友自行贴上分享,如果您认为其中内容违规或者侵犯了您的权益,请与我们联系,我们核实后会第一时间删除。

所有跟帖:        ( 主贴楼主有权删除不文明回复,拉黑不受欢迎的用户 )


    用户名:密码:[--注册ID--]

    标 题:

    粗体 斜体 下划线 居中 插入图片插入图片 插入Flash插入Flash动画


         图片上传  Youtube代码器  预览辅助

    打开微信,扫一扫[Scan QR Code]
    进入内容页点击屏幕右上分享按钮

    楼主本栏目热帖推荐:

    >>>>查看更多楼主社区动态...






    [ 留园条例 ] [ 广告服务 ] [ 联系我们 ] [ 个人帐户 ] [ 版主申请 ] [ Contact us ]