NVIDIA今天推出了与RTX应用程序的聊天,这是一款由TensorRT-LLM支持的WindowsPC聊天机器人。
提供支持。
与腾讯通聊天的设计是一个本地化系统,用户无需上网即可使用,所有GeForceRTX30和RTX30都具有至少8GB的RAM
40个GPU支持此应用程序。
与腾讯通聊天支持多种文件格式,包括文本、pdf、文档/文档和
可扩展标记语言。只需将应用程序指向包含文件的文件夹,它就会在几秒钟内将文件加载到库中。此外,用户还可以提供YouTube播放列表。
URL,该应用程序将从播放列表中加载视频的转录,使用户能够查询他们涵盖的内容。
根据官方描述,用户可以像使用ChatGPT一样使用不同查询的聊天。
RTX,但生成的结果将完全基于特定的数据集,这似乎更适合生成摘要、快速搜索文档等。
支持TensorRT-LLM的腾讯通GPU
这意味着用户将在本地使用所有数据和项目,而不是将其保存在云中,这将节省时间并提供更准确的结果。
NVIDIA表示,TensorRT-LLmv0.6.0将于本月晚些时候上市,它将使性能提高五倍。此外,它还将支持其他LLMS,如西风7B和
Nemotron38B。