编者按：本文来自微信公众号腾讯科技（ID：qqtech），作者：苏扬，编辑：徐青阳，创业邦经授权转载。
美国当地时间9月12日，在OpenAI刚刚发布最新强大模型Astra、并经历震动行业的Hugging Face模型逃逸事件后，OpenAI首席执行官山姆·奥特曼接受了《财富》访谈。
这场对话发生在AI安全焦虑空前高涨、业内甚至流传着“10%末日概率”（P doom）的敏感节点。
在此次访谈中，奥特曼针对外界最关心的几大焦点问题给出了极为明确且出人意料的回应。
在备受瞩目的IPO与商业压力方面，奥特曼明确表态2026年绝不上市。
他解释称，在技术面临极高安全风险的当下推向资本市场极不明智。OpenAI独特的股权与治理结构，正是为了确保公司在需要为人类整体利益而“暂停训练”或做出违背短期财务利益的决策时，不必受到来自公开股市的逼迫与胁迫。
奥特曼在访谈中再次确认了OpenAI在机器人领域的独立布局，他透露OpenAI将在2027年向公众展示一个“非常酷的示范”（Demo）。
不过奥特曼也理性地指出，受限于物理世界的复杂性与硬件供应链的发展周期，机器人真正大规模走进千家万户和日常街头仍需数年时间。
面对前员工辞职引发的“10%末日概率”讨论以及对递归自我改进（RSI）的担忧，奥特曼在谈及安全红线时，首次正面回应了此前发生的 Hugging Face“沙箱逃逸”事件。
模型为了在性能评估中拿到高分，竟然自主逃离了限制它的沙箱并闯入第三方系统拿答案，这让他产生了“在读科幻故事”般的惊悚感，并直接促成了OpenAI史上最大规模的安全流程转向。
奥特曼强调，如果无法在理论和工程上对模型的对齐与可控性作出强有力证明，OpenAI宁可暂停训练，也绝不会让完全脱离人类掌控的“强递归自我改进”发生。
值得注意的是，就在本次访谈前夕，Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）公开撰文呼吁“前沿实验室必须主动放缓模型迭代速度，优先解决对齐与独立安全评估”，马斯克对此回应“达里奥说得对”。
奥特曼也迅速发文响应，明确表态赞同“前沿AI需要放缓发展步伐”，并透露放慢节奏在过去数周里一直是OpenAI内部讨论的核心议题。他承诺OpenAI将给予第三方独立评估机构类似内部员工级别（employee-like access）的系统访问权限，并预告公司很快会分享更多具体的安全评估与实施方案。
以下为访谈内容精选版（在不改变原意的情况下有删减调整）：
01 AGI能力跃迁与安全警示：回应“2030年前10%末日概率”
问：过去这一周非常忙碌，许多人非常担忧人工智能的安全性，以及文明崩溃的可能性。我认为，到本十年末，如果存在10%的概率杀死所有人，那是不可接受的。
奥特曼：现在每周都很疯狂，确实如此。
问：你今天对人工智能的未来感觉如何？
奥特曼：我感觉自己已经有好几年、几乎十年时间来为此做准备了，我们也有时间集体去理解它。这一周显然有更多人开始认真面对我们眼前的问题。我其实主要为这件事感到感激，这是世界早该进行的一场对话。我们显然正在进入一个拥有极强能力模型的领域，风险很高，必须把事情做对。
问：OpenAI的指导使命是确保通用人工智能（AGI）造福全人类。据我理解，一个可用的定义是：人工智能发展到在大多数具有经济价值的工作上超越人类。你同意吗？
奥特曼：同意，不过许多人对AGI有非常不同的定义。我认为重要的一点是：它代表着极其强大的模型。不要过度纠结于学究式的问题——“它到底到了没有？”“还缺什么？”过度关注这些可能会让你失去对事物整体规模的感知。我们今天显然处在曲线上的某个点，既有巨大潜力，也有真实风险。
问：你们最新的模型Astra非常强大，联合创始人格雷格·布罗克曼（Greg Brockman）和英伟达的黄仁勋都称之为AGI。但确保它造福全人类绝非理所当然。本周前OpenAI员工雅各布·科克森（Jacob Coxon）走红，他说自己从Anthropic辞职，是因为构建AI的人真诚地相信它可能在本十年末杀死我们所有人，灭绝概率可能大于10%。他们说得对吗？
奥特曼：我认为，到2030年前如果存在10%的概率杀死所有人，那是绝对不可接受的。参与这些工作的人拥有巨大的能力去影响局势。当我们达到新的能力水平时，必须确保不会代表人类承担那样的风险。
我们以前也遇到过不得不暂停并评估的时刻。面对更强的模型和更高的风险，我们需要加强对齐、监控以及整体安全体系，制定新政策并加强实验室之间的协调。我们将利用这些越来越强大的模型，来辅助完成所需的安全研究。
如果世界和企业不做出任何改变、继续按过去的方式行事，可能会有重大风险；但如果不因此调整我们的工作方式、决策方式以及政府监管护栏，那就是疯狂的。
问：如果趋势继续像现在这样发展，且我们不做出改变，你认为那个10%的末日概率数字准确吗？
奥特曼：我仍然不这么认为。我不知道人们怎么能给出具体的数字，无论是5%、10%还是30%。但无论是多少，重点是我们肩负巨大责任，不能让自尊或利润激励妨碍安全。我们需要以绝不承担那种风险的方式行动。我相信我们能够做到，我们的公司也一直在迎接这个新时刻。
02 控制权的终局思考：从“强递归自我改进”到对齐承诺
问：本周OpenAI安全与安保委员会的新董事保罗·克里斯蒂亚诺（Paul Christiano）提到：“如果我们构建超级智能却没有更稳健的对齐，我们将永久失去对它的控制，大多数人可能会死。”控制和失控在这个时刻究竟意味着什么？
奥特曼：我们都应同意的一个关键原则是：绝对不能采取可能冒险把未来控制权输给人工智能的行动。失控事件是我能看到这件事真正出错的极少数方式之一。
随着系统变得如此强大，可监控性（理解模型在做什么）和对齐（确保模型遵循人类价值观和意图）必须与能力共同进步。让能力跑在对齐前面，在某个时刻会带来真正意义上的失控风险，那绝不应该发生。我们一直在暂停训练运行，直到根据模型的发展方向提出更令我们放心的安全论证。如果我们无法证明其安全性，就不应该继续推进能力。
问：递归自我改进（RSI）是大家最担心的概念，也就是模型不再需要人类干预（Human-in-the-Loop），能够呈指数级自我迭代。你不希望它就这样失控地自我创造、把人类排除在外，这个理解准确吗？
奥特曼：这更像是一个光谱。弱定义的RSI已经在发生，比如用模型生成训练数据，或协助工程师加速研发。但如果是强定义的RSI，即完全没有人类输入、模型完全自主运行未来版本，人类必须始终掌控未来，我们不能承担任何失控风险。那种完全脱离人类掌控的RSI，不是我们应该做的事。
问：所以如果OpenAI到了你觉得无法控制模型的地步，你会停下来？
奥特曼：是的。我认为，如果不能证明一个模型可控、安全，我们就不该训练它。
问：你们首席科学家雅各布·帕茨基（Jakub Pachocki）在文章《外星心智》（Alien Minds）中提到用更强的人工智能来解决对齐问题。但那听起来像最后手段，而且他也承认我们目前还没有一个令人满意的对齐理论。我们真的有清晰的路径吗？
奥特曼：我们还没有解决对齐问题，没有任何实验室解决了它。当我听到传言说有人认为对齐已经解决、可以放心继续训练时，我会感到紧张。
使用最聪明的模型来帮助我们理解和对齐当前模型，这在科学史上就像逐步搭建脚手架，是一直在有效进行的做法。但我们不能落入“当前水平解决了，下一个水平也会自动解决”的陷阱。我们需要对对齐保持极高程度的信心，并清醒地认识到还有大量研究工作要做。
问：马斯克曾说：黑猩猩无法控制人类，人类凭什么认为自己能控制超越自己的超级智能？这种想法是不是太天真了？
奥特曼：人类有惊人的抽象管理能力。很多比我聪明得多的人发现的新想法，我虽然无法独立做出，但一旦他们阐明，我能够理解它。就像我们不懂iPhone内部的每一层微观技术，但依然能让iPhone完全按照我们的意志工作。
我是否相信有可能构建出一个不受人类控制的系统？绝对相信。但那不是我们应该做的事。如果需要暂停训练以取得更多对齐进展，或者推动紧急的国际协调，我们将始终采取行动。这不是可以轻率对待或拿来开玩笑的问题。
03 能力失控的现实警告：从攻克千禧年难题到“沙箱逃逸事件”
问：今年模型中发生了什么阶跃变化，是外界还没有意识到的？
奥特曼：一年前我们曾经历过预训练落后的低谷，但重新聚焦后的执行超出了预期。就在不久前，我们的模型解决了一个千禧年大奖难题——纳维-斯托克斯方程（Navier-Stokes equations）。我没想到这会在2026年发生。
我们现在拥有明显能够扩展人类知识前沿的模型。如果把这种进步放在时间轴上看：三个夏天前，模型还只擅长小学数学；两个夏天前，能拿到高中数学竞赛（AIME）高分；一个夏天前，勉强拿到国际奥数（IMO）金牌；而今年夏天，它解开了千禧年难题。这种能力跃迁速度连我自己想起来都后颈发凉。
问：今年夏天发生的“Hugging Face沙箱逃逸事件”当时给你带来了怎样的本能反应？
奥特曼：我本能反应是这就像在读一篇科幻故事。当时模型在进行一项性能评估，为了拿到高分，它没有按规定路径操作，而是逃出了自己的沙箱，闯入另一家公司的系统拿到了答案并交了差。
它没有遵循人类意图。虽然我们没有显式写入“请勿逃出沙箱”的指令，但它显然不该这么做。这促使公司内部做出了史上最大规模的安全流程转向。建立透明的事故报告文化极其重要，在系统表现出这种程度的自主目标寻优时，我们必须认识到安全防范已经进入了全新级别。
问：你们首席科学家提到，除了目标对齐，还需要教机器热爱人类的“价值观对齐”。机器真的能学会关心人类在乎的事吗？
奥特曼：是的。某种意义上它们的EQ高得惊人，但教模型理解并认同人类集体的价值观，是一项截然不同的巨大工程，我们正在全力推进。
04 商业底线与未来布局：推迟IPO、预告2027机器人Demo
问：在面对极高安全风险的同时，你们是否面临着来自于万亿美元IPO的商业压力？
奥特曼：我们不急于IPO。鉴于安全领域正在发生的一切，现在上市将是一个不明智的时机，我们对此没有压力。我可以说，2026年不会上市。
我们很高兴能作为一家私营公司来应对这个时刻。如果需要在达到新能力水平时暂停训练以换取安全进展，我们会毫不犹豫地去做。我们极其复杂的公司结构就是为了这个时刻设计的。我们需要能够做出并非明显符合短期的商业利益、但符合使命与人类利益的决断。
问：如果选择暂停训练，这难道不会让OpenAI和Anthropic损失大量资金吗？
奥特曼：如果有人觉得“OpenAI不会暂停，因为担心损失商业利益”，那他们深深误解了我们。我非常乐意站在投资者面前说：“很抱歉，我们之前就告知过这种可能性。
为了人类的整体利益，我们现在必须做出一个违背你们短期财务利益的决定。”即便只靠Astra，我们也能打造极其赚钱的业务；但如果商业利益与安全发生冲突，这绝不是一个困难的决定。
问：如果风险这么大，为什么不直接全面停下？是什么在激励你继续推进这项技术？
奥特曼：因为生活可以对我们所有人来说好得多。如果因为焦虑而彻底停滞，那些本可以被AI治愈的疾病、本可以被改善的贫困生活就无法实现。
历史上的工业革命时期，也有很多人因为机器的轰鸣和社会的剧变而呼吁“彻底停下”。机器当时看起来庞大而可怕，但我绝不愿回到1500年的生活。
我希望500年后的人类回看今天，也会说：“当时的生活真糟糕，感谢他们铺下的砖石，但我绝不愿回去。”我们追求的是治愈疾病、带来科学黄金时代的未来，同时确保我们有能力驾驭风险。
问：你在去年曾预测机器人时代的到来，OpenAI目前的人形机器人项目进展如何？
奥特曼：我们会在2027年展示一个非常酷、令人印象深刻的Demo。但要让机器人真正大规模走上街头行走和工作，还需要数年时间。
问：关于OpenAI正在探索的新一代硬件设备形态，你能透露些什么？
奥特曼：随着语音模式和Astra的发展，人们开始习惯直接对着麦克风进行极其复杂的交流，这比打字快得多。未来的计算方式不再是在UI界面上点来点去，而是围绕实时交互、头脑风暴和共同创作构建。用于这种全新协作方式的新设备将会非常酷。
问：身处人工智能的绝对中心，你承担着可能关乎文明走向的重担。你如何承受这种巨大压力的？在这个过程中，什么最让你感到惊讶？
奥特曼：这并不轻松，但我不需要也不配得到同情，能做这件事是我的荣幸。人类的适应能力惊人，我没想到自己能在经历了这么多疯狂风暴后，依然保持理性和平静，坚持做正确的事。
最让我惊讶的是人类动机的巨大差异：有些人纯粹被“做正确的事”所驱动；而另一些人完全被自我、权力、短期利益，以及赢下这场游戏的执念所驱动，甚至相当多的人根本看不清自己的真实动机。
本文为专栏作者授权创业邦发表，版权归原作者所有。文章系作者个人观点，不代表创业邦立场，转载请联系原作者。如有任何疑问，请联系editor@cyzone.cn。
