特征：探索性研究，尝试各种想法
瓶颈：算力不足，无法验证大胆想法
代表成果：AlexNet (2 GPU)、Transformer (8-64 GPU)、ResNet
SSI 创始人 Ilya Sutskever 深度访谈：预训练的局限、模型泛化、持续学习与超级智能之路
"你知道吗？这一切都是真实的。所有这一切 AI 的东西，整个湾区...它正在发生。这不就是科幻小说里才有的情节吗？"
核心观点：Ilya Sutskever 提出 AI 发展正在经历范式转换——从 2020-2025 年的"扩展时代"（Age of Scaling）回归到"研究时代"（Age of Research）。预训练数据即将耗尽，单纯堆砌算力已无法带来突破性进展，需要根本性创新。
关键洞察：当前 AI 模型在基准测试（evals）上表现优异，但在实际经济应用中却表现不佳。这种脱节源于模型泛化能力的根本缺陷——模型过于依赖特定领域的训练，缺乏像人类那样的通用学习能力。
SSI 战略：Sutskever 创立 Safe Superintelligence Inc. 采用"直击超级智能"（straight-shot to superintelligence）策略，专注于研究而非市场竞争，试图找到通向安全超级智能的根本性突破。
研究时代 → 2020-2025 扩展时代 → 2025+ 新研究时代
专注研究，无需大规模推理基础设施
互联网数据有限，需要新的训练范式
这是当前 AI 最根本的局限
Sutskever 指出了一个令人困惑的现象：AI 模型在评估基准（evals）上表现出色，但在实际应用中却经常出现问题。例如，模型可能在编程竞赛中取得优异成绩，但在实际编码中却会陷入循环——修复一个 bug 引入另一个，如此往复。
"你可以用模型进行氛围编程（vibe coding），去某个地方然后遇到 bug。你告诉模型'请修复这个 bug'，模型说'天哪，你说得对，我有个 bug，让我修复它'，结果引入了第二个 bug。然后你告诉它'你有这个新 bug'，它说'天哪，我怎么能这样？你说得又对了一次'，又把第一个 bug 带回来了。"
解释一：RL 训练的单向度问题
强化学习训练可能使模型变得过于"单向度"和狭隘专注，虽然在某些方面变得更"有意识"，但却无法做基础的事情。
解释二：基准测试导向的训练偏差
更可能的解释是研究人员过度关注评估基准。当设计 RL 环境时，研究人员倾向于参考评估任务，导致模型过度优化特定基准，而非获得真正的通用能力。
"我认为真正的奖励黑客是人类研究人员过于关注评估基准。"
这导致模型像是一个练习了 10,000 小时竞技编程的学生——在特定领域极其出色，但未必能在职业生涯中有好的发展。
Sutskever 用一个生动的类比来说明模型泛化问题：
| 学生一 | 学生二 |
|---|---|
| 练习 10,000 小时竞技编程 | 练习 100 小时竞技编程 |
| 解决所有问题，记忆所有证明技巧 | 快速掌握核心概念 |
| 成为最优秀的竞技程序员 | 也表现出色 |
| 职业生涯后期表现？ | 更可能有更好发展 |
"模型更像第一个学生，而且更甚。因为我们说'模型应该擅长竞技编程，所以让我们获取每一个竞技编程问题'，然后进行数据增强得到更多问题，用这些训练模型。现在你有了一个伟大的竞技程序员。但通过这种训练，它不一定能泛化到其他领域。"
第二个学生拥有"那种特质"（it factor）——某种使人类能够快速学习和泛化的核心能力。当前 AI 缺乏的正是这种能力。
Sutskever 深入探讨了人类情感在决策中的作用，提出了一个与机器学习中的"价值函数"（Value Function）相关的观点。
他引用了一个神经科学案例：一名患者因脑损伤失去了情感处理能力，不再感到悲伤、愤怒或兴奋。尽管他在测试中表现正常，能够解决小谜题，但他变得无法做出任何决策——连选袜子都要花几个小时，还会做出糟糕的财务决策。
"这说明了什么？它表明我们内在的情感在使我们成为有效智能体方面起着重要作用。"
在强化学习中，价值函数可以判断"你是否做得好或不好"，而不必等到最终解决方案。这与人类情感有相似之处：
Sutskever 认为，当前 RL 训练（如 o1、R1）的问题在于过于依赖最终评分，而价值函数可以在中间步骤就提供学习信号，使训练更加高效。
关于预训练（pre-training）与人类学习的类比，Sutskever 提出了 nuanced 的观点：
人类前 15 年 vs 预训练：
一个 15 岁的人类接收的数据量远小于预训练模型，但所知却更加"深入"。15 岁的孩子不会犯 AI 犯的那些错误。
进化 vs 预训练：
进化可能确实有优势。例如，人类的视觉、听觉和运动能力经过了数亿年的进化优化，拥有难以理解的先验知识。
"但是语言、数学和编程——尤其是数学和编程——表明，使人类擅长学习的，可能不是那么复杂的先验，而是某种更根本的东西。"
Sutskever 认为这是当前 AI 最根本的问题：模型泛化能力远低于人类。
模型需要海量数据才能学习，而人类只需要少量样本。例如，青少年学习驾驶只需要 10 小时练习，而他们的视觉能力在 5 岁时已经相当成熟。
人类拥有出色的持续学习能力：
"我认为这些模型在某种程度上泛化得比人类差得多。这是超级明显的事情。"
Sutskever 暗示他知道如何解决持续学习问题，但"由于环境限制难以详细讨论"。
他指出，人类能力的存在本身就是证明——这一定是可以实现的。
Safe Superintelligence Inc. (SSI) 采用与传统 AI 实验室不同的策略。
SSI 已融资 30 亿美元，但 Sutskever 认为这与竞争对手的差距比看起来小：
"简单数学可以解释为什么 SSI 拥有的计算资源用于研究可能并不像人们想象的那么少。"
优势：
可能的调整：
Sutskever 的回答："现在我们只专注于研究，答案会自然显现。我认为会有很多可能的答案。"
Sutskever 讨论了实现超级智能的可能路径：
他重新定义了"超级智能"：
"我生产出一个超级智能的 15 岁孩子，非常渴望学习。他们什么都不知道，一个好学生，非常渴望。你去当程序员，你去当医生，去学习。"
这不是一个已经知道如何完成经济中所有工作的完整心智，而是一个能够学会做任何工作的学习算法。
在这种愿景中，部署本身就包含学习和试错过程——
"一旦你有能够学习做事情的 AI，并且有多个这样的 AI，就会有强大的力量推动将它们部署到经济中——除非有某种法规阻止它。"
Sutskever 强调了对齐（alignment）的重要性以及实现它的挑战。
与"直击超级智能"策略不矛盾的是，Sutskever 认为任何计划都应包含渐进部署：
"如果你想一想，还有哪个人类工程和研究领域，最终产物主要通过思考如何使其安全而变得更安全？"
他以飞机安全和 Linux 为例：这些系统之所以变得安全，是因为它们被部署到世界中，人们注意到失败并加以纠正。
Sutskever 对两个术语进行了反思：
但这两个概念"在某种程度上超越了目标"——人类本身也不是 AGI，人类依赖持续学习。
Sutskever 认为 AI 对经济的影响将在以下时间框架内显现：
他预测可能出现"非常快速的经济增长"，但具体速度难以预测：
"我认为这是非常可能的情况。我们会看到不同国家有不同规则，那些规则更友好的国家经济增长会更快。很难预测。"
Ilya Sutskever 的访谈揭示了 AI 发展的深层问题和可能的解决路径：
Sutskever 的核心观点是：当前 AI 的主要问题不是数据不够或算力不足，而是泛化能力——模型无法像人类那样从一个领域学习并应用到另一个领域。
解决这一问题可能需要重新思考机器学习的基本原则，而非继续扩展现有方法。
"所有这一切真的很疯狂。这不就是科幻小说里才有的情节吗？"