NVIDIA今日宣布，其AI聊天机器人ChatRTX将在0.3版本中更新，不仅增加了对Google的Gema、ChatGLM3和OpenAI的CLIP等多种人工智能模型的支持，还首次集成了先进的Whisper语音识别系统，为用户带来前所未有的智能交互体验。
今年3月，NVIDIA发布了AI聊天机器人ChatRTX，用户可以在NVIDIARTX支持的Windows上使用。
与本地存储在PC和工作站上的数据进行交互。ChatRTX使用搜索增强生成、NVIDIATensorRT-LLM软件和NVIDIARTX加速等技术，将聊天机器人功能带到由RTX技术支持的WindowsPC和工作站上。在LLM的支持下，用户可以通过ChatRTX查询自己的笔记和文件，由于ChatRTX运行在用户设备的本地，它可以快速生成相关响应。
NVIDIA表示，最新版本支持其他LLM，包括由谷歌培训的最新开放Gema，可以在本地运行。Gema是谷歌为负责任的人工智能开发而构建的模型，使用的研究和技术与谷歌自己的双子座模型相同。ChatRTX现在还支持基于公共语言模型框架的开放式中英双语ChatGLM3大语言模型。
NVIDIA指出，通过支持OpenAI的对比语言和图像预训练技术，用户可以与图像数据进行交互。经过训练和提炼，CLIP神经网络从自然语言监督中学习视觉概念。换句话说，该模型识别图像集中“看到”的内容。由于ChatRTX支持CLIP，用户可以通过单词、术语和短语在设备的本地端与照片和图像进行互动，而不需要复杂的解释性材料标签。
此外，新版ChatRTX还允许用户使用自己的语音与数据聊天。由于自动语音识别系统Whisper支持使用AI处理口语，用户可以在应用程序上使用语音查询，ChatRTX将以文本回应。这意味着，用户不再局限于键盘输入，而是可以通过简单的语音命令与机器人进行交互，查询本地数据，享受更自然、更高效的交流。
