| 支持27万亿参数的GPU来了，英伟达还是英伟达 | |
| 发布时间:2024-03-25 14:54:44 | 浏览次数： | |
北京时间2024年3月19日凌晨4点，英伟达GTC2024开启全球直播。英伟达创始人黄仁勋开讲后15分钟，英伟达股价相较昨日涨了100亿美金。
在英伟达公布第四季度财报前一晚，彭博社在头版写道：“如果今天英伟达的收入没有超出预期，地球就会爆炸!”
今天，我们同样可以说“如果英伟达的新芯片没有超出预期，市场就会爆炸！”
因此黄仁勋拿出了AI算力的新杀手锏——可以支持27万亿参数模型训练的超级AI算力方案GB200 Superchip。这甚至比当前最大的模型（例如 GPT-4）还要大得多，据报道GPT-4有1.7万亿个参数。
基于新架构的B200 GPU。在处理支持人工智能模型方面，B200单块芯片的速度，相较当前最领先的H100提高了至少2倍。
不仅单块GPU性能大幅提升，通过第五代NVLink互连技术，将两块B200与一块Grace CPU组合在一起得到的GB200，可以为大语言模型推理提供超过H100近30倍的性能。同时与H100相比，新方案“可将成本和能耗降低多达25倍”。
这一显著的改进突破了人工智能超级计算的界限，并将使更复杂的人工智能模型能更有效地开发和部署。
面对英伟达股价有些“涨过头”了，即将成为下一个思科的质疑。在这场万众期待的GTC2024上，黄仁勋用空前强大的B200 GPU，一一做出了回应。
随着AI算力的瓶颈进一步被打破，黄仁勋也大胆预测：“未来让AI了解物理世界只需要‘三台电脑’。”
“女士们先生们，我想向你们介绍一款非常非常大的GPU——Blackwell！”在强调了半个小时生成式AI的重要性后，黄仁勋终于给圣何塞中心座无虚席的观众们，搬出了AI算力的新杀手锏——B200 GPU。
这款采取了全新架构GPU的名字，来自于第一位入选美国国家科学院的黑人学者大卫·布莱克威尔（David·Blackwell）。
通过把B200和上一代H100放在一起比较，可以明显发现，相较于前代814平方毫米的尺寸，B200要明显大出一圈。
尺寸扩大主要由于新款B200拥有2080亿个晶体管，是之前H100芯片800亿个晶体管的两倍多。所有这些晶体管几乎可以同时访问芯片上的存储器，从而提高了生产效率。
黄仁勋称，B200在处理支持人工智能的模型方面，速度相较H100提高了数倍。包括开发技术的过程 （预训练阶段） 以及技术运行过程 （称为推理） 。
举一个更具体的例子。之前训练一个1.8万亿参数的模型需要8,000个H100GPU和15兆瓦的功率。如今，黄仁勋表示，训练同样的模型，只需要2,000个B200GPU就可以，同时功耗仅为4兆瓦，只相当于原先功耗的约四分之一。
不仅单块GPU效果拔群，连接之后的B200，也让GPU性能更加强大。
将两个B200与一个基于Arm架构的Grace CPU配对，就会得到GB200，可以为大语言模型推理负载提供超过现在30倍的性能。
而当前，英伟达所能想象到的最暴力的连接方案，是将72块B200连接在一起。
英伟达宣布将推出一款液冷服务器机架，配备72个新发布的Blackwell GPU。
GB200 NVL72系统还包括36个Grace CPU和9个NVLink交换机托盘，每个托盘有两个NVLink交换机。这使得整个系统串联在一起，形成了一个巨大的 GPU。这种混合配置极大地提高了性能，能够以更高的速度和效率处理复杂的人工智能工作负载。
英伟达称，NVLink域可以支持27万亿个参数和130 TB带宽的模型。这甚至比当前最大的模型 （例如 GPT-4） 还要大得多，据报道GPT-4有1.7万亿个参数。许多人工智能研究人员认为，具有更多参数和数据的更大模型，更有可能突破当前智能涌现的极限，释放新功能。
用黄仁勋的话来说：“这才是GPU该有的样子！”
在成本方面，虽然英伟达没有提供新GB200或它所使用的系统的成本。但据分析师估计，英伟达前代的H100每个芯片成本在25,000美元到40,000美元之间，新一代整个系统的成本可能继续提升，达到200,000美元。
除了硬件，英伟达还顺势推出了名为NIM的创收软件，通过这款软件，可以使人工智能的部署变得更容易，也为客户提供了另一个理由——在日益白热化的市场竞争中，为何坚持使用英伟达芯片。
黄仁勋特别提到，“B200不是芯片，而是个平台，我们不做芯片，只做平台。”
英伟达高管马努维尔·达斯 （Manuvir Das ） ，也在后续采访中进一步阐述，英伟达不再是一个唯利是图的芯片提供商，而更像是一个平台提供商，就像微软或苹果一样，其他公司可以在英伟达平台上构建软件。“可销售的商业产品是GPU，而软件是为了帮助人们以不同的方式使用GPU。”
达斯特别提到：“如果你是一名开发人员，有一个有趣的模型希望向C端推广，只需要把模型放入NIM软件中，就可以在英伟达所有的GPU上运行，包括旧款GPU，这样你就能以更低成本，触达到更多客户。”
英伟达三十年来的所有工作几乎都围绕技术和市场展开，这也是英伟达的核心：“在创造需求前，先创造技术。”而现如今，面对AMD、英特尔、谷歌等芯片巨头的强势竞争，英伟达用新一代B200芯片，进一步拉开了与竞争对手的距离。
现场，黄仁勋进行了这样一组对比。
2012年对Alex Net输入“CAT”一词，会对应生成一张猫咪图片。当时人们可能觉得这就是奇迹。10 年后，对 AI 大模型输入同样三个字母，会出现对“CAT”不同维度的理解而产生大量结果。这种革命性的改变时刻已经到来。
黄仁勋认为，生成式AI让计算范式，输入范式，人与机器的交互方式发生了巨变 （从人理解机器，到机器理解人的自然语言） ，因此处理信息的方式必须适应AI模型的发展。
算力技术、信息处理技术的改变，将一切变得数字化。
“未来就是先将一切数字化制造出来，然后再进行物理制造。”黄仁勋表示。
他展示了未来AI将整个地球数字化后，利用AI预测天气与极端气象，以保护人类免于灾害的场景；他展示了AI将数字化蛋白质、基因和脑电波，以帮助基因测序、医学成像、药物研发等等；他展示了未来甚至可以人手一个AI团队，并随身携带，运行自己的数据模型中心，以及未来将人手一个AI机器人。
值得一提的是，这些技术有相当一部分已经分别应用于英伟达的合作伙伴当中。
黄仁勋称一切与英伟达合作的伙伴为“孪生兄弟”，如亚马逊云、谷歌、甲骨文等。因为当人们在使用这些公司的软件时，背后都有英伟达生态系统的支持。
由现场可见，GTC的参会伙伴、合作伙伴，一个大屏幕已经放不下。
在黄仁勋看来，到目前为止，AI技术还局限于一台电脑。当数据进入计算机，大模型通过大量阅读语言、先前的例子来模仿人类，数十亿个参数就成了人类的AI。
而在未来， 黄仁勋认为让AI了解物理世界需要“三台电脑”。 这将是基于原有的计算机大模型基础上，与可以模仿人类物理行为的机器人相结合的产物。这“三台电脑”将理解、模仿并代替人类处理更高难度的日常行为。
截至目前，通过全球顶尖的大模型公司展示的结果，以及今日“皮衣教主”的演讲，我们不难看出，AI的发展是具有突破性的。而这些所谓“苦涩的教训”的结果，与英伟达芯片算力的发展密不可分。
此前“木头姐”对英伟达的唱衰来自对英伟达股价疯涨的担忧。而今可以看到的是，英伟达的股价某种程度上来说是AI行业发展的缩影。换句话来讲，“黄氏定律”其实是AI奇点时刻的“响指”赋予了他魔力。
但追溯过去我们会发现，英伟达自创立之初，或许已经在为今天的时刻做准备。
半个月前左右，黄仁勋在母校斯坦福回忆了自己创立英伟达至今的历程，他认为英伟达始终没有改变的核心是： 制造特殊的计算机解决普通计算机无法解决的问题。 在那个还没有 3D 图形和电子游戏的年代，英伟达需要一边设计 3D 技术，一边帮助创造电子游戏市场。
“创造技术，开拓市场”的理念始终贯穿着英伟达。
算力技术和信息处理在药物设计、天气模拟、材料设计等领域的应用，是黄仁勋引以为傲的创新创造。可以说，英伟达技术的发展，的确影响着“整个地球”。
黄仁勋曾说：“希望英伟达能通过坚持不懈地去做擅长且热爱的事，被历史以‘改变了一切’的名号记住。”
从当下已有的进展来看，黄仁勋正在朝着这个方向前进。
|
|
|
|
| 上一篇:原阿里CEO张勇加入晨壹基金，“逍遥子”迎来创投之路新起点 下一篇:小米造车，就是小米最佳的投资方式 |
贵州开开门投资管理有限公司
贵州贵孵创业孵化投资管理有限公司
贵公网安备 52010302002155号