黄仁勋：NVIDIA、4万亿美元公司与AI革命

1极端协同设计与机架级工程

超越单芯片的思维方式

NVIDIA 的成功长期以来依赖于制造最好的 GPU，这仍然是核心。但黄仁勋将视野扩展到了极端协同设计——这不仅仅是 GPU，还包括 CPU、内存、网络、存储、电源冷却、软件，甚至是机架本身、发布的 Pod，乃至整个数据中心。

核心洞察

极端协同设计的必要性源于：问题不再能装在单台计算机里被单个 GPU 加速。你希望增加 1 万台计算机就能获得 100 万倍的加速，这意味着你必须分解算法、重构它、分割流水线、分割数据、分割模型。

分布式计算的阿姆达尔定律

当你以这种方式分布式地处理问题时，一切都成了障碍。这就是阿姆达尔定律的问题——某部分的加速程度取决于它在总工作量中的占比。如果计算占问题的 50%，而我把计算加速了 100 万倍，那么总体工作负载我只加速了两倍。

因此，不仅要分布式计算，还要以某种方式分割流水线。你还必须解决网络问题，因为所有这些计算机都连接在一起。在 NVIDIA 所做的规模上，分布式计算意味着：CPU 是问题，GPU 是问题，网络是问题，交换是问题。跨所有计算机分配工作负载也是一个问题。

这是一个大规模复杂的计算机科学问题。我们必须运用每一项技术。否则，我们只能线性扩展，或者基于摩尔定律的能力扩展，而摩尔定律已经因为登纳德缩放比例定律的放缓而大幅减速。 Jensen Huang

2黄仁勋如何管理 NVIDIA

60 人的直接下属团队

黄仁勋的直接下属有60 人。他不可能与每个人一对一交流，因为这在实践中是不可能的。但这就是 NVIDIA 的组织架构——每一位高级副总裁至少在工程领域有一席之地。他们是内存专家、CPU 专家、光学专家、GPU 专家、架构专家、算法专家……

组织架构即产品

黄仁勋对组织架构有独特的理解：

当你设计计算机时，你必须有计算机的操作系统。当你设计公司时，你应该首先思考你希望公司产出什么。我看到很多公司的组织架构图，它们看起来都一样——汉堡公司的组织架构图、软件公司的组织架构图、汽车公司的组织架构图，它们看起来都一样。这对我来说毫无意义。 Jensen Huang

公司的目标应该是成为生产产出的机器、机制、系统。这个产出是我们喜欢创造的产品。公司的架构还应该反映它所处环境的架构。它几乎直接告诉你应该怎么设计组织。

管理哲学

黄仁勋认为，公司的组织架构应该反映它所生产的产品的架构，以及它所存在的环境的架构。这就是为什么 NVIDIA 的组织结构如此独特——它不是为了管理而管理，而是为了创造而组织。

CUDA 的赌注

黄仁勋分享了 CUDA 早期的艰难决策：

将 CUDA 放在 GeForce 上是一个极其艰难的战略决策，因为当时它消耗了公司巨额的利润，而我们当时根本负担不起。但我们还是做了，因为我们想成为一个计算公司。一个计算公司必须有计算架构，而计算架构必须兼容我们所有的芯片。 Jensen Huang

CUDA 增加了 GPU 的成本，完全消耗了公司的毛利润。当时公司市值约 80 亿美元，推出 CUDA 后，黄仁勋意识到它会增加如此多的成本，导致市值跌至约 15 亿美元。但他们坚持了下来， slowly clawed their way back。

3AI 扩展定律

四大扩展定律

黄仁勋概述了四个 AI 扩展定律：

预训练扩展定律：更大的模型 + 更多数据 = 更智能的 AI
后训练扩展定律：使用合成数据持续优化
测试时扩展定律：推理和思考的深度
智能体扩展定律：AI 生成更多 AI，形成智能体团队

预训练只是记忆和泛化，阅读和阅读。而思考、推理、解决问题，将未探索的经验分解为可解决的片段——这比阅读难得多。推理 intensely compute intensive。 Jensen Huang

合成数据的未来

黄仁勋认为，未来训练所需的大部分数据将是合成数据。他指出，我们教给彼此的大部分信息本身就是合成的——它并非来自自然，而是人类创造的。AI 现在能够获取真实数据，增强它，合成生成大量数据。

4AI 扩展的最大障碍

黄仁勋讨论了当前 AI 扩展面临的主要障碍：

电力

最大瓶颈

供应链

持续优化

内存

HBM 主导

电力是一个担忧，但不是唯一的担忧。这就是为什么他们如此努力地推动极端协同设计，以便每年都能将每瓦的 token 吞吐量提高几个数量级。在过去 10 年，摩尔定律本应使计算进步约 100 倍，而 NVIDIA 将计算规模扩展了 100 万倍。

5供应链

黄仁勋详细讨论了供应链的复杂性：

我在不断地与所有 CEO 沟通：是什么动态导致增长继续甚至加速？这就是为什么在我 GTC 演讲的右侧坐着几乎所有 IT 行业上游和整个基础设施行业下游的 CEO。 Jensen Huang

每个机架有 130 万个组件，Vera Rubin 机架有 200 家供应商。黄仁勋亲自拜访供应链合作伙伴，解释业务动态和未来增长，说服他们进行数十亿美元的资本投资。

6内存

三年前，黄仁勋说服了几位 CEO，尽管当时 HBM 内存使用相当稀少，主要用于超级计算机，但这将成为未来数据中心的主流内存。

另一种内存对数据中心来说相当奇怪：我们用于手机的低功耗内存。我们希望将它们适配用于数据中心的超级计算机。他们问："手机内存用于超级计算机？" 我解释了原因。看看这两种内存，LPDDR5、HBM4，它们的产量如此惊人。 Jensen Huang

7能源

黄仁勋提出了一个创新的能源解决方案：

我们的电网是为最坏情况设计的，有余量。99% 的时间我们远未达到最坏情况。大部分时间我们的电网有 40% 的剩余容量闲置。问题是：我们能否帮助电力公司理解并创建合同协议，设计计算机架构系统、数据中心，使得当社会基础设施需要最大电力时，数据中心获得更少？ Jensen Huang

他建议数据中心应该能够优雅地降级——当电网需要时，将功耗降至 80%，通过将工作负载转移到其他地方或降低计算速率来减少能耗。

8Elon 与 Colossus

黄仁勋高度赞扬了 Elon Musk 和 xAI 在孟菲斯建造 Colossus 超级计算机的成就——仅用 4 个月时间，现在已达到 20 万块 GPU 且仍在快速增长。

Elon 深入研究许多不同的话题，同时他也是一个非常好的系统思考者。他能够思考多个学科，显然会推动事情发展，质疑一切：第一，有必要吗？第二，必须这样做吗？第三，必须花这么长时间吗？他能够质疑一切，直到最小化的必要部分。 Jensen Huang

黄仁勋欣赏 Elon 亲临现场的做法——如果出现问题，他会直接到现场说"给我看看问题"。当个人以如此紧迫的方式行动时，会让其他所有人也以紧迫的方式行动。

9工程与领导力方法

光速思维

黄仁勋介绍了他 30 年前开始的方法论，称为"光速"：

光速不仅仅是关于速度。光速是我对物理学极限的简称。我们所做的每一件事都与光速相比较。内存速度、数学速度、功率、成本、时间、人力、制造周期时间。当你考虑延迟与吞吐量、成本与吞吐量、成本与容量时，你用光速测试所有这些不同的约束。 Jensen Huang

第一性原理

他不喜欢渐进式改进的方法。他更喜欢将一切归零，问："首先，解释为什么最初需要 74 天。如果我们完全从零开始重建，今天可能需要多长时间？"通常令人惊讶的是，可能只需要 6 天。

10中国

黄仁勋最近访问了中国，他分析了中国科技行业成功的原因：

全球 50% 的 AI 研究人员是中国人
科技行业诞生于移动云时代，擅长软件
省份和城市之间存在激烈竞争
家庭第一、朋友第二、公司第三的文化
开源贡献更多，知识共享快速

这是当今世界上创新最快的国家，这完全取决于孩子们是如何成长的、他们拥有卓越的教育、父母希望他们在学校表现好、他们的文化就是这样。这些只是他们国家的事情，他们恰好出现在技术经历指数级增长的正确时机。 Jensen Huang

11TSMC 与台湾

黄仁勋与 TSMC 有着深厚的关系：

关于 TSMC 最深的误解是认为他们的技术就是他们所拥有的一切。技术使公司特别，但他们的能力——协调数百家公司的动态需求的能力——完全是奇迹般的。然后他们创造了信任这种无形资产。我信任他们把我的公司放在他们之上。这是非常重大的事情。 Jensen Huang

黄仁勋透露，2013 年张忠谋曾邀请他担任 TSMC CEO，但他拒绝了。他谦逊地表示，TSMC 是历史上最重要的公司之一，但他有 NVIDIA 的重要工作要做。

12NVIDIA 的护城河

黄仁勋认为 NVIDIA 最重要的护城河是 CUDA 的安装基础：

20 年前当然没有安装基础。但使 CUDA 成功的从来不是技术。技术当然是令人难以置信的、有远见的。但事实是公司对它的奉献、坚持、扩展其影响力。不是 3 个人让 CUDA 成功，而是 4.3 万人让 CUDA 成功。还有数百万开发者相信我们会继续开发 CUDA。 Jensen Huang

如果开发者支持 CUDA，明天它就会好 10 倍。他们只需要平均等待 6 个月。不仅这样，如果他们在 CUDA 上开发，他们能触及数亿台计算机。他们在每个云、每个计算机公司、每个行业、每个国家。

13太空中的 AI 数据中心

黄仁勋讨论了在太空建造 AI 数据中心的可能性：

NVIDIA GPU 是太空中第一批 GPU。那里有大量工程复杂性。24/7 的太阳能如果在极地。但没有传导，没有对流，基本上只有辐射。不过太空很大，我们只需要在那里放巨大的散热器。 Jensen Huang

他更务实的答案是：消除浪费。电网有 40% 的剩余容量闲置，他希望尽可能快地利用这些闲置电力。

14NVIDIA 会值 10 万亿美元吗？

黄仁勋对 NVIDIA 的增长极其乐观：

我认为 NVIDIA 的增长极其可能，在我看来是不可避免的。我们是历史上最大的计算机公司。计算从基于检索的文件检索系统变成了基于生成的系统。我们需要更多的处理能力。我们需要更多的计算。我们从根本上改变了计算。 Jensen Huang

他认为，计算机过去是仓库，现在是工厂。工厂与公司的收入直接相关。token 正在像 iPhone 一样分层——免费 token、高级 token、中间层 token。有人愿意为每百万 token 支付 1000 美元。

15压力下的领导力

黄仁勋讨论了如何应对巨大的压力：

我把一切都分解。我告诉自己：有些事情你可以做，有些事情你做不了。对于你能做的事情，让我们推理一下，然后去做。如果我在乎公司的未来，我应该做的最重要的事情就是尽可能快速、持续地传递知识、信息、洞察力、技能、经验。 Jensen Huang

他分享了应对焦虑的方法：分解问题，然后告诉自己——对于能做的事情，去推理并执行；对于无法控制的，停止为此哭泣。他还强调了"系统性遗忘"的重要性——像 AI 学习一样，知道何时遗忘一些事情。

16电子游戏

黄仁勋对电子游戏充满热情：

GeForce 到今天仍然是我们第一的营销策略。人们在青少年时期了解 NVIDIA。然后他们上大学，知道 NVIDIA 是谁，一开始只是玩 Call of Duty、Fortnite。然后他们使用 CUDA，然后使用 Blender、Dassault、Autodesk。 Jensen Huang

他认为 Doom 是最有影响力的游戏，因为它将 PC 从办公自动化工具转变为家庭和游戏玩家的个人电脑。他还喜欢 Skyrim，经常只是为了步行穿越游戏世界。

17AGI 时间线

黄仁勋对 AGI 的定义和时间线有独特看法：

我认为我们现在已经实现了 AGI。一个能够创建网络服务、有趣的小应用的 Claude，突然被数十亿人使用，每次 50 美分，然后很快又倒闭了。我们在互联网时代见过很多这样的公司，大多数网站并不比今天的 Open-Claude 能生成的更复杂。 Jensen Huang

但他也承认，10 万个智能体建造 NVIDIA 的概率是零。他区分了智能和人性——智能是一种功能性能力，而人性是一个更大的词，包括生活经验、对痛苦的容忍、决心。

18编程的未来

黄仁勋认为编程的定义正在改变：

今天编程的定义只是指定规格，也许如果你想更直接一些，甚至可以给它一个你想要的软件架构。问题是：有多少人能做到这一点？描述一个规格让计算机去构建。我想我们从 3000 万人变成了可能 10 亿人。 Jensen Huang

他认为每个木匠、电工、农民、药剂师都应该使用 AI。他相信程序员的数量会增加，因为编程的门槛降低了，更多人能够创造软件。

19意识

黄仁勋讨论了 AI 是否能拥有意识：

我不知道芯片是否会感到紧张。当然，AI 将能够识别这些情绪并理解它们。但我认为我的芯片不会感受到这些。因此，这种焦虑、这种感觉、这种兴奋如何在人类表现中体现——对于完全相同的环境，两个不同的人会产生不同的结果。我不认为我们构建的任何东西表明，两台不同的计算机在完全相同的上下文中会产生不同的结果，因为它感觉不同。 Jensen Huang

他强调应该真正提升的词是人性——性格、人性、同情心、慷慨，这些都是超人的力量。智能将被商品化，但人性不会。

20死亡

黄仁勋谈到了他对死亡的看法：

我真的不想死。我有美好的生活，有很棒的家庭，有真正重要的工作。这不是一生一次的经历，这是人类历史上一次的经历。NVIDIA 是历史上最重要的技术公司之一，我们正在做非常重要的工作。 Jensen Huang

他 famous for saying he doesn't believe in succession planning（继任规划）。原因是：如果你担心继任规划，你应该做的最重要的事情就是尽可能快速、持续地传递知识。他希望在工作中死去，最好是瞬间死去，没有长期的痛苦。

我对人类的善良、慷慨、同情心、人类能力一直非常有信心。有时比我应该的更多。我总是从人们想要做好事开始。人们想要帮助他人。我不断被证明是正确的。经常超出我的期望。 Jensen Huang

21写在最后

这场 5 小时的对话揭示了几个核心真理：

技术远见比市场分析更重要——CUDA 的押注在 10 年后才显现价值
组织架构应该反映产品——不要为了管理而管理
极端协同设计是未来——单一优化已经不够了
意志力可以战胜短期质疑——华尔街不懂技术，创始人要相信自己的判断
智能将被商品化，但人性不会——我们应该庆祝人类更多

计算是人类发明的最重要的技术之一。它让我们能够模拟现实、预测未来、创造不可能。而我们现在正处于计算方式的根本性转变之中。 Jensen Huang

参考链接
Lex Fridman Podcast #494: https://lexfridman.com/jensen-huang
YouTube: https://youtube.com/watch?v=vif8NQcjVf0

目录