英伟达老黄，配备成了今年的大显达万圣诞老黄。

人工智能芯片礼包刚刚曝光：

新的配备GPU核弹B300，以及带CPU的大显达万超级芯片GB300。

高算力，与B200相比，大显达万FLOPS在产品层面上增加了50%

大显存，从192GB到288GB，大显达万也增加了50%。配备

△Grok AI绘图

新一代计算单位包含72块GB300”GB300 NVL72，它被评为“OpenAI” 高batcho1/o3推理大模型的配备思维链长度 size下达10万tokens的唯一方案”。

这是大显达万今年3月发布的B200系列“AI春晚”几个月后。

根据SemiAnalysis的配备披露，从第三季度开始，大显达万许多AI巨头已经将订单从B200转移到B300(只有微软在第四季度继续购买部分B200)。

很多网友感叹更新太快了！

既解决了B200因设计缺陷被迫推迟的问题，又解决了隔壁AMD的问题 MI300系列后续产品将在2025年提高显存容量。

另一种人工智能核弹

既然Blackwell架构没有跨代，B300计算能力的提高从何而来？

根据这次爆料，主要有三个部分：

工艺节点，台积电4NP与B200使用相同，但全新流片

增加功率，GB300和B300 HGXTDP分别达到1.4KW、1.2KW，相比之下，B200系列分别增加了0.2KW

建筑微创新，例如，在CPU和GPU之间动态分配功率

除了更高的FLOPS，B300系列的显存也得到了升级：

从8层堆叠的HBM3E升级到12层（12-Hi HBM3E）

显存容量从192GB升级到288GB

显存带宽保持不变，仍然是8TB/s

此外，产品交付水平发生了很大变化：

GB200系列提供整个系列Bianca Board，它还包括两个GPU、一颗CPU、所有组件，如CPU内存，都集成在一个PCB版本中。

△GB200概念图

GB300系列只提供参考板（Reference Board），包括两颗B300 GPU、Grace CPU、HMC（Hybrid Memory Cube），客户将购买LPCAMM内存模块等组件。

这给供应链中的OEM和ODM制造商带来了新的机遇。

构建推理大模型

OpenAI显存升级 o1/o3等大型推理模型非常重要，因为推理思维链的长度会增加KVCache，影响batch size和延迟。

以一个GB300 在考虑NVL72“计算单元”时，它使72个GPU能够以极低的延迟处理相同的问题，并共享显存。

在此基础上，从GB200升级到GB300也能带来很多好处：

每个思维链的延迟更低

实现更长的思维链

降低推理成本

在处理同一问题时，可以搜索更多样本，最终提高模型能力

SemiAnalysis为了解释这些提升，举了一个更直观的例子。

当使用H100和H200两个GPU处理长序列时，下图显示了不同批处理大小，Llama 3.1 FP8精度下405B的处理速度。

【本文网址：http://devkv.rbhpvv.cn/article/1008f18299717.html 欢迎转载】