今天凌晨,黄仁勋正式拿出了新一代BlackwellGPU架构和基于其的B100/B200。
GPU芯片、GB200超级芯片、DGX超级计算机,再一次将这颗“战术核弹”提升到了一个新的高度,傲立于世界。
BlackwellB200GPU首次采用了chiplet晶粒封装,包含两颗B100,B200之间带宽翻倍到第五代NVLink1.8TB/S
5总线互联,最多可连接576个区块。
B100采用定制的台积电4NP工艺制造(H100/RTX40)
已经达到双倍光刻极限尺寸的4N制程增强版),通过10TB/S带宽的互联带宽,相互连接成统一的B200GPU。
B100集成多达1040亿个晶体管对比上一代H100
800亿元增长30%。B200的总数是2,080亿个晶体管。核心区还没有公布,考虑到工艺限制应该不会比814平方毫米的H100大太多。CUDA核的数量没有说,但肯定会大大超过H100。
16896。不知道能不能超过两万?
每个B100连接4个24GBHBM3E内存/内存,等效频率8GHz,位宽4096位,带宽高达4TB/S,因此B200最高可达192GB
HBM3E,总比特宽度8096比特,总带宽8TB/S,比H100分别增长1.4倍、58倍和1.4倍。
性能,B200新增支持FP4Tensor数据格式,性能达到9PFlops(每秒9千万亿次),int/fp8,fp16,tf32
张量的性能分别达到4.5、2.25和1.1P触发器,分别提高了1.2倍、1.3倍和1.3倍,而FP64
相反,张量性能下降了40%(取决于GB200),而FP32和FP64向量性能尚未公布。
BlackwellGPU还支持第二代Transformer引擎,后者支持使用TensorRT-LLM和NEMO进行新的微张量缩放。
威震天框架中的高级动态范围管理算法,从而在新型4位浮点AI推理能力下实现算力和模型大小的翻倍。
还有其他RAS可靠性引擎、安全AI、解压引擎等。至于耗电量,B100控制在700W,和上代H100完全一致,B200则首次达到了1000W。NVIDIA声称布莱克韦尔
GPU可以在10万亿参数的大模型上实现AI训练和实时大语言模型推理。
格雷斯·布莱克威尔是格雷斯的继任者
Hopper之后的新一代超级芯片(超级芯片),从单GPU+、单CPU升级到两颗GPU加一颗CPU,其中GPU部分就是B200,CPU部分不变还是Grace,彼此通过900GB/s的带宽实现超低功耗片间互联。
在语言模型推理工作量大的情况下,GB200超级芯片的性能比H100高达30倍。不过,价格也很高,GB200的功耗最高可达2700W,可以使用分冷,更推荐使用液冷。
基于GB200超级芯片,NVIDIA打造了搭载36颗超级芯片的新一代AI超级计算机DGXSuperPod,也就是36Grace。
CPU,72个B200GPU,通过NVLink5相互组合,以及高达240TB的HBM3E。
这台AI超级计算机可以处理数万亿个参数的大型模型,并可以确保超大规模生成性AI训练和推理工作量的连续运行。7@4299.com
DGXSuperPod还具有很强的可扩展性,可以通过Quantum-X800来实现
InfiniBand网络连接,扩展到数万颗GB200超级芯片,加入Bluefield-3
DPU数据处理单元,每个GPU可以获得1.8TB/S的高带宽。
第四代可扩展分层聚合和协议协议(SHARP)技术可提供14.4TFlops的网络计算能力,是上一代的4倍。
此外,NVIDIA还发布了第六代通用AI超算平台DGXB200,包括两个英特尔五代最强处理器、八个B200GPU、1.4TB
HBM3E,64TB/S带宽,fp4精度144PFlops(每秒14亿次),万亿参数模型实时推理速度提高15倍。
DGXB200系统还集成了八个NVIDIAConnectX-7卡和两个Bluefield-3。
DPU高性能网络,每个连接高达400Gb/S带宽,可通过Quantum-2获得
InfiniBand,Spectrum?-X以太网网络平台,进行了扩展,以支持更高的AI性能。
基于布莱克韦尔
GPU产品将在今年晚些时候上市,包括亚马逊云、戴尔、谷歌、Meta、微软、OpenAI、甲骨文、特斯拉、Xai等。
亚马逊云、谷歌云、微软Azeure和甲骨文云将是首批提供BlackwellGPU驱动程序示例的云服务提供商,NVIDIA云合作伙伴计划的应用。
Digital、CoreWeave、Crusoe、IBMCloud和Lambda也将提供上述服务。
IndosatOoredooHutchinson、nebius、
云、甲骨文欧盟主权云、甲骨文美国/英国/澳大利亚政府云、Scaleway、新加坡电信、北方数据集团的Taiga
云,Yotta数据服务公司的ShaktiCloud,YTLPowerInternational
主权AI云等也将提供基于Blackwell架构的云服务和基础设施。