NVIDIA今日宣布,其AI聊天机器人ChatRTX将在0.3版本中更新,不仅增加了对Google的Gema、ChatGLM3和OpenAI的CLIP等多种人工智能模型的支持,还首次集成了先进的Whisper语音识别系统,为用户带来前所未有的智能交互体验。
今年3月,NVIDIA发布了AI聊天机器人ChatRTX,用户可以在NVIDIARTX支持的Windows上使用。
与本地存储在PC和工作站上的数据进行交互。ChatRTX使用搜索增强生成、NVIDIATensorRT-LLM软件和NVIDIARTX加速等技术,将聊天机器人功能带到由RTX技术支持的WindowsPC和工作站上。在LLM的支持下,用户可以通过ChatRTX查询自己的笔记和文件,由于ChatRTX运行在用户设备的本地,它可以快速生成相关响应。
NVIDIA表示,最新版本支持其他LLM,包括由谷歌培训的最新开放Gema,可以在本地运行。Gema是谷歌为负责任的人工智能开发而构建的模型,使用的研究和技术与谷歌自己的双子座模型相同。ChatRTX现在还支持基于公共语言模型框架的开放式中英双语ChatGLM3大语言模型。
NVIDIA指出,通过支持OpenAI的对比语言和图像预训练技术,用户可以与图像数据进行交互。经过训练和提炼,CLIP神经网络从自然语言监督中学习视觉概念。换句话说,该模型识别图像集中“看到”的内容。由于ChatRTX支持CLIP,用户可以通过单词、术语和短语在设备的本地端与照片和图像进行互动,而不需要复杂的解释性材料标签。
此外,新版ChatRTX还允许用户使用自己的语音与数据聊天。由于自动语音识别系统Whisper支持使用AI处理口语,用户可以在应用程序上使用语音查询,ChatRTX将以文本回应。这意味着,用户不再局限于键盘输入,而是可以通过简单的语音命令与机器人进行交互,查询本地数据,享受更自然、更高效的交流。