“AI军火商”英伟达是如何炼成的

我渴望活下去的意志，超过几乎所有人想要杀死我的意志。——黄仁勋

“这不是演唱会，你们是来参加开发者大会的！”今日凌晨4点，黄仁勋出场时，现场爆发出巨大的欢呼声

当地时间2024年3月18日，黄仁勋在英伟达GTC大会发表主题演讲。

“通用计算已经失去动力，现在我们需要更大的模型，我们需要更大的GPU，更需要将GPU堆叠在一起”，黄仁勋在英伟达 GTC 大会上说道。大模型参数量正在呈指数级增长，此前 OpenAI 最大的模型已经有 1.8T 参数，需要吞吐数十亿 token。即使是一块 PetaFLOP 级的 GPU，训练这样大的模型也需要 1000 年才能完成。“AI军火商”英伟达是如何炼成的？

全球的科技公司争抢H100芯片的势头于2023年年末开始有所减弱，但新一代“强心剂”已来。英伟达推出新一代的AI芯片“Blackwell”，“这是块非常非常大的GPU”。英伟达在发布会上表示，相较于之前的 H100 芯片，GB200 超级芯片可以为大语言模型（LLM）推理负载提供 30 倍的性能提升，并将成本和能耗降低 25 倍。

Blackwell的发布意味着，近8年来，AI算力增长了一千倍

人们已经发现：将深度学习应用到许多领域的科技公司，几乎每一个都是在英伟达的平台上构建的。一位华尔街分析师对此表示：“人工智能领域正在进行一场战争，而英伟达是唯一的军火商”。华尔街的追捧在2023年-2024之间上升到极致。短短八九个月，英伟达的市值从万亿美元飙升到两万亿美元。目前，英伟达已经成为全球市值第三大的公司，仅次于微软和苹果。“AI军火商”英伟达是如何炼成的？

不过，这家看似新锐的科技公司，已经走过了30年历程，几经浮沉。

目前，英伟达的产品仍然处于供不应求状态。在此背景下，英伟达毛利率拉至60%左右。在连年寻找新技术突破的大额支出之下，任何一家科技公司，想要保持这样的成绩单，都是难能可贵的。

GPU，英伟达的代名词

故事要从20世纪90年代说起。

当时，硅谷已有人提出，可以通过声卡、网卡这些功能指定的芯片，来降低 CPU（中央处理器）的工作负载。所以同理，做一张专门控制电脑图像输出的芯片，即显卡（Graphic Card），也是自然而然的。例如索尼在 1994 年年底推出的游戏机 PlayStation 就运用了显卡。

但显卡的技术路径，在当时有很多，英伟达找到的切入点是通过并行计算，实现3D图形加速，特别在游戏领域上进行应用。

1999年，英伟达推出了一款名为GeForce的显卡。

这款被冠以“全球首款GPU”的图形处理器，采用了220纳米制造工艺，如今英伟达H100所使用的制造工艺已到了4纳米。

GeForce最大的亮点是“并行计算”，即把一个复杂的任务拆分成小计算，然后同时处理它们。这与中央处理器 CPU（central processing unit）有着显著不同，在标准的计算机架构中，CPU 一次能处理一个问题。如果说把通用的CPU比作一辆货车，一次运送一个大包裹到一个目的地；那么GeForce则像是在一组摩托车车队，可以同时运送多个小包裹到多个目的地。

彼时，研究GPU的公司，不只英伟达一家，但英伟达成功做到了将自己与“GPU发明者”这个标签深度绑定。

当时，英伟达市场营销负责人 Dan Vivoli 用 “graphics processing unit”（图形处理器）的概念来推广自家的芯片。相比英特尔靠 CPU 来叱咤芯片市场，英伟达需要营销 GPU 来为自己杀出一条血路。只是 Dan Vivoli 认为，英伟达强调自己的 GPU 发明者的身份后，“我们能成为行业领导者”，他完全没有想到，GPU将在很长一段时间内成为英伟达的代名词，并且在十多年后，成功掀起人工智能行业的风暴。

英伟达死磕“晦涩角落”

时间回到1999年，GeForce显卡很受市场欢迎。当时有一款名为Quake的视频游戏，就是应用这款显卡通过并行计算渲染画面——用榴弹射击怪物。PC玩家为了赢得游戏，升级时都会购买新的GeForce显卡。

后来，英伟达启动超级计算平台CUDA的开发。黄仁勋希望，CUDA 能在每一张 GeForce 显卡运行。CUDA 最终于 2006 年发布，但在当时，英伟达完全没有打动世界，“人们仿佛完全不需要它”，反而因为打造领先于时代的“超级计算”系统，英伟达的利润受到大幅削减，华尔街为此嘘声一片。

一档风靡硅谷的热门播客《Acquired》的主持人 Ben Gilbert 对此评价：“他们当时瞄准的不是一个大市场，而是一个学术和科学计算的晦涩角落，但他们为此花了数十亿美元”。

到2008年底，叠加金融危机影响，英伟达股价已下跌7成。

来自外界的声音并未太过影响黄仁勋。刚转学到美国时，黄仁勋进入了一所“特殊学校”，“每个学生都抽烟，我觉得我是学校里唯一没有口袋刀的男孩”，校园霸凌也很普遍，黄仁勋每天都会被叫做中国佬。这段经历教会了黄仁勋在复杂、多变环境中如何寻求资源、“存活”下来：“没有心理辅导员可以倾诉，你只能变得坚强，然后继续前行”。彼时，黄仁勋通过教数学、带着同学们树林探险等方式跟当地的同学打成了一片。

况且，黄仁勋仍然对 CUDA 充满信心。他曾分享了这样一段故事：台湾大学物理教授 Ting-Wai Chiu 的办公室地板上，堆满了 GeForce 盒子，办公室开着普通风扇对其进行冷却——Ting-Wai Chiu 为了模拟大爆炸后物质的演化，依靠 GeForce 和 CUDA，建立了一个自制的超级计算机。

但是，像 Ting-Wai Chiu 这样的人并不是大多数，CUDA 的下载量在 2009 年达到峰值后，连续三年下降。董事会担心英伟达持续低迷的股价，会给激进的股东分裂公司的机会。

那么，推广CUDA成为眼下必须做的事。

英伟达首先选择了高校路线——从全球顶级研究机构和大学合作，用CUDA赋能科研，“从下一代进行普及和培养”。时至今日，在硅谷的普通聚会上，你能发现：许多刚毕业于美国高校、供职于大型科技公司的工程师们都学过CUDA。

此外，英伟达还尝试在各行各业中寻找CUDA的应用场景，他们尝试在股票交易、石油勘探、分子生物等领域有所作为。甚至为推广 CUDA，英伟达还与通用磨坊 （General Mills）签订协议，模拟冷冻披萨的热物理学过程。

不过，英伟达并未在人工智能领域考虑太多，当时似乎市场需求不大。

游戏显卡商成AI军火商

那么问题来了，为什么负责提升游戏画质的显卡，会突然成为AI行业的重要基础硬件？要知道，直到2022财年，游戏都是英伟达无可置疑的第一大业务。

我们依然要将故事时间回拨，回到二十一世纪初。彼时，人工智能还是一个边缘学科。该学科在图像识别和语音识别方面有所进展，但也时断时续。

在当时，“神经网络”（一种受人脑结构启发来解决问题的计算结构）普遍被认为是过时的、不起作用的。但仍有一些研究团队在这一领域尝试，多伦多大学的教授 Geoffrey Hinton 就是其中之一。

2009年，Hinton的团队利用英伟达的CUDA平台训练了一个神经网络模型，用来识别人类语音，结果出奇的好。他在同年晚些的一次会议上展示了这些成果，然后Hinton发了一封邮件联系英伟达，“看，我刚刚告诉一千名机器学习研究人员他们应该去买英伟达的卡。你们能免费给我寄一张吗？”，英伟达的回答是“不行”。

不过即便没有要到免费的显卡，Hinton 还是鼓励学生使用 CUDA。2012 年，他的学生 Alex Krizhevsky 和 Ilya Sutskever（后者是 OpenAI 的创始人之一），开始在英伟达的 CUDA 平台上训练一个视觉识别神经网络。因为预算有限，他们只在亚马逊上买了两张 GeForce 卡。短短一周，Alex 就向其投喂了数百万张图像。“他的卧室里两个 GPU 飞速运转”，Hinton 说，“实际上，他父母支付了相当可观的电费”。

Krizhevsky和Sutskever对这些显卡的能力感到吃惊。在同年早些时候，谷歌的研究人员训练了一个识别猫视频的神经网络，这需要大约一万六千个CPU。Krizhevsky 和 Sutskever 只用了两张 GeForce 卡就取得了世界级的成果。Sutskever 对此表示：“GPU 的出现，就像奇迹”。

Krizhevsky和Sutskever将他们训练出的神经网络命名为AlexNet。这一模型在年度ImageNet视觉识别竞赛中大放异彩，以至于比赛组织方怀疑是否存在作弊行为。

这是一个伟大时刻，范式转变了。Krizhevsky在其对AlexNet架构的9页描述中指出：与CPU比，专用的GPU可以将神经网络的训练速度提高100倍。

至此，黄仁勋完全调转了公司方向。2023年的一篇文章透露，他在一个周五晚上发送邮件，称“一切都将转向深度学习，我们不再是一家图形公司”，到下周一早上，英伟达已经成了一家名副其实的人工智能公司。

与此同时，黄仁勋找到英伟达最优秀的AI研究员Catanzaro，让其想象现在英伟达的八千员工全数在停车场，Catanzaro可以挑任何人加入自己的团队。

后来，人工智能领域开始涌入风投资金。人们很快发现：将深度学习应用到许多领域的初创公司，几乎每一个都是在英伟达的平台上构建的。

2016年，英伟达向OpenAI的一个研究小组交付了第一台专用的人工智能超级计算机DGX-1。黄仁勋本人亲自将这台计算机送到了OpenAI的办公室，当时的董事长埃隆·马斯克用开箱刀打开了包裹。

英伟达向OpenAI交付了第一台专用的人工智能超级计算机。

而后，OpenAI 通过英伟达的超级计算机训练出了风靡全球的 ChatGPT。英伟达后续更新的硬件产品 DGX H100 遭到市场疯抢，供不应求。

从芯片供应商到平台供应商

今天凌晨的这场发布会上，黄仁勋还有一句话值得留意：“Blackwell不仅是一款芯片，也是一个平台的名称。”

如何理解平台这个词？类似于之前Geforce显卡和CUDA超级计算平台的搭配，英伟达在此次推出的也是一整个打包方案，英伟达逐渐转型成类似微软或苹果的平台提供商，其他公司可以在这个平台上构建软件。

黄仁勋在发布会上，用了相当多的时间，介绍了英伟达提供的若干个企业级生成式AI微服务，并表示“公司们可以借助这些服务制作应用程序，而且拥有其知识产权的完全所有权和控制权”。

而英伟达从芯片供应商转向平台供应商的背后，其实和英伟达的竞争对手有关，甚至许多旧日客户也变成了对手。“AI军火商”英伟达是如何炼成的？

首先，一些人工智能平台如微软、谷歌、Meta等，出于规模和成本的考虑，正在考虑自己开发芯片。例如谷歌研发的TPU已经更新到第五代，这款芯片为机器学习量身定制，其推理性能提升2.5倍，成本降低50%。

再比如微软于 2013 年 11 月推出两款芯片（Azure Maia 100 人工智能加速器和 Azure Cobalt 100 中央处理器），针对人工智能、生成式人工智能和云计算进行了优化，将在人工智能图形处理部分与英伟达直接竞争。

而这些公司，正是英伟达一直以来的主要GPU芯片客户。

其次，一些英伟达的老对手也在发力AI芯片。AMD于2023年12月，推出AI芯片MI300X，正式与英伟达叫板。与英伟达的H100相比，这款芯片在多个维度有1.3倍甚至2倍的数据提升，Meta、微软、甲骨文等公司也已下单。

除了老对手外，由于美国政府的技术出口禁令，促使中国在人工智能芯片方面走向自力更生，华为已成为英伟达又一个值得注意的对手。在英伟达最新的年报里，这样描述了它眼中的竞争对手。

眼下，黄仁勋已经成为硅谷任职时间最长的CEO之一，30岁创立英伟达，30年创业历程，他要么为“食物”奔走，要么想办法不被吃掉。

他也不知道自己还能再干多久。黄仁勋选择用一个戏谑的笑话结束了这个问题：

“可能30年后，我变成了机器人，那我还能继续30年”。“AI军火商”英伟达是如何炼成的？