华人内卷大模型

2023-06-30
中国科技大厂都希望能早点拿到芯片。

编者按:本文来自微信公众号 最话 FunTalk(ID:iFuntalker),作者:何伊然,编辑:刘宇翔,创业邦经授权转载

北京时间3月23日晚间,TikTok CEO周受资出席了美国众议院能源与商务委员会听证会,听证会持续了超过5个小时,周受资回答了来自美国议员们的多个尖锐问题。

那场听证会备受全球瞩目,某种程度上影响着TikTok的命运。但如此重要的听证会,字节跳动创始人张一鸣却“缺席”了。有圈内人告诉《最话》,当时张一鸣也在美国,但不是在华盛顿,而是在西海岸,几乎与听证会同一时间,张一鸣没看直播,专心在挖角OpenAI的顶尖华人工程师,开出的价码是“一亿现金+股权”。

这则消息尚未交叉证实,也不清楚天价的价码最后能否挖到心仪的工程师,但圈内人都知道张一鸣对生成式AI有多“痴迷”。

几乎全世界的科技大厂都在重注生成式AI,不但顶尖工程师的价码水涨船高,就连算力的底座GPU也供不应求。

今年3月,已经拥有超强算力的微软宣布已帮助OpenAI建设了一个新计算中心,配置了数万块A100。5月,Google推出了一个拥有2.6万块H100的计算集群ComputeEngineA3,服务想自己训练大模型的公司。在中国,国金证券根据产业链信息,字节跳动今年已订购了超过10亿美元的GPU,字节到货和没到货的A100与H800预计有10万块。另一家大公司今年以来的订单量也达到了万卡级别,金额至少超过10亿元。而腾讯发布的腾讯云新版高性能计算服务中心也采用了上万块H800芯片。

这些GPU都来自英伟达。仅字节一家公司的采购量,可能会超过去年全年英伟达在中国销售的商用GPU的总和。

AI大模型对于GPU芯片有着巨大需求,现在在行业内外,GPU等同于英伟达的观念已经深入人心。在AI浪潮中,GPU行业逐步走向了“一超多强”格局。英伟达创始人、CEO黄仁勋赢麻了。

但有赢家就有输家。游戏时代,N卡与A卡孰优孰劣一直是玩家们争吵不休的话题,而在AI时代,由美籍华裔苏姿丰担任的AMD却似乎掉队了,不但缺少对标产品,在股价上英伟达市值万亿美元,而AMD只有1760亿美元,两者差距巨大。

AMD就真的门庭冷落,再也没机会了吗?

01 反击

“在大型语言模型的推动下,人工智能的市场机会越来越大,到2027年市场潜力可能从目前的300亿美元增加到约1500亿美元。”

当地时间6月13日,AMD在美国旧金山召开了2023年数据中心与人工智能技术新品发布会。

打扮干练的苏姿丰带着自信的神情登台,一口气介绍了多款新品。

在“苏妈”平静的脸色下,或许也有着对AMD未来发展的担忧。

踩在生成式AI的大潮上,英伟达今年股价涨幅200%,是资本市场当红香饽饽。相比之下,AMD同期涨幅仅为英伟达的50%,双方差距在半年时间被明显拉大。

根据2023年一季度财报,AMD营收为53.53亿美元,同比下降9%,这是公司自2019年以来首次营收出现下滑。适用于PC产品的Ryzen处理器销售额仅是2022年同期的三分之一,足以看出消费电子在近两年的窘迫处境。AMD预计,第二季度营收约仍会有19%的同比下滑。

目前,AMD的业务分为四大板块:数据中心、客户端、游戏与嵌入式业务。数据中心包含AMD所有服务器相关收入;客户端收入指的是台式机与个人电脑,曾是AMD最核心业务;游戏板块涉及GPU产品线,索尼和微软的游戏主机是其稳定客源;嵌入式业务主要由2020年收购的赛灵思业务线构成。

在消费电子大起大落后,AMD在近两年旗帜鲜明地选择了数据中心和嵌入式业务优先的战略,强调人工智能是公司 “最大、最具战略意义的长期增长机会”。

苏姿丰介绍了“面向AI和高性能计算的全球首款 APU 加速器” MI300A,该产品将多个CPU、GPU和高带宽内存封在一起。在GPU和CPU领域都是“二把交椅”的AMD充分利用自己双边优势,搞起了互补开发。

根据芯片参数,该APU加速卡拥有13个小芯片,总共包含1460亿个晶体管:24个Zen 4 CPU核心,1个CDNA 3图形引擎和128GB HBM3内存。

本次发布会最重要的产品当属AMD针对大语言模型发布的MI300A优化版本MI300X。 

“当你将MI300X与竞争对手进行比较时,你就能发现,MI300X提供了2.4倍的内存和1.6倍的内存带宽,有了这些额外的内存容量,我们对LLM是有巨大优势的,因为可以直接在内存中运行更大的模型。”

作为大模型的最佳算力发动机,GPU对生成式AI有着不可替代的支撑作用。目前,英伟达凭借83.7%的市占率领跑GPU市场,A100芯片价格在近期节节攀升,产量上也供不应求。2023年第一季度,英伟达GPU出货量下降了15.2%。

ChatGPT爆火后,行业内对GPU飞涨的价格充满怨言。

OpenAI创始人山姆·奥尔特曼近期表示,降低成本是ChatGPT当前首要目标。奥尔特曼透露,受到GPU资源的限制才导致ChatGPT目前难以开放更长的上下文窗口、提供微调 API 等服务。他也承认,多数企业根本养不起大模型。

据报道,OpenAI已经花费了微软云超12亿美元。由于将计算资源集中指出ChatGPT,微软其他部门可以使用的服务器受到了限制。此外,GPU训练大模型需要大量的电力来保证这些资源的供应,这就导致了GPU的高能耗,成为了“电老虎”。

在国内市场,华为、京东、百度的高管也都公开抱怨大模型训练高达千万元一次的训练成本。

发布会上,苏姿丰强调随着AMD芯片上内存增加,开发者有望减少GPU使用数量,从而节省成本,这显然迎合了市场的需求。

苏姿丰特意在单个MI300X GPU演示运行了拥有400亿个参数的Falcon-40B大型语言模型,并让它当场实时创作了一首关于旧金山的诗歌。

“梦想之城,总是让你渴望更多。”或许,苏妈在用AI表达自己的心声。据介绍,Instinct MI300X将在今年第三季度向部分用户交付使用,第四季度正式面世。

现场,AMD请来了Meta等公司人高管现场“背书”,强调人工智能开发者使用免费工具有利于人工智能芯片从“单一主导厂商”转向更多种方案。

AMD摆明了是想挖英伟达的墙角。

02 差距

不过,资本的走势才是市场最真实的反馈。

发布会后,英伟达的市值仍保持上涨态势,AMD反倒出现了小幅度下降。捂着不肯公布新款产品的定价,也没有官宣合作大客户,或许让市场对AMD的雄伟蓝图难以充分信任。

在OpenAI的“带货”下,英伟达GPU已经和生成式AI深度绑定。庞大的前期投入带来了过高的沉没成本,多数企业很难切换到其他替换芯片产商。AMD即便能够找到合作方搭建起基于AMD架构的大模型算力中心,以此打开新的市场,也很难更改多数公司已做出的决定。

在大模型专用GPU业务上,英伟达有着明显先发优势。从业人士普遍认为,现有竞争对手短期内无法追赶英伟达的产品,即便在硬件上缩小了差距,但在软件服务上也很难相提并论。

英伟达首席科学家戴维·柯克很早就意识到算力的潜力,坚持要把给游戏业打造的3D绘图渲染GPU算力变得通用化,使之转变为通用算力中心。

早在2007年,英伟达就推出了革命性的GPU统一计算平台CUDA,开始基于CUDA持续积累算法和软件生态。等到深度学习算法流行之后,GPU取代了CPU,CUDA变得势不可挡。

既然英伟达跑通了路径,那么AMD也在复制这一路径,提升自己的软实力。

发布会上,AMD披露了全新升级版AI 软件生态系统开发体系理念——Open(software approach)、Proven(AI capability)和Ready(support for AI models)。AMD现场展示了用于数据中心加速的软件栈工具AMD ROCm系统。 该系统不仅兼容CUDA,更要打造成开放平台并完善生态。

2022年,AMD主管数据中心业务副总裁有些自嘲地承认,英伟达构建了丰富的软件生态系统,在芯片领域做的很全面,AMD不可能复制英伟达的成功之道。

但苏妈显然不会放弃,“我们仍处于AI生命周期的非常非常早的阶段!”

发布会上,苏姿丰屡屡强调生成式AI给行业带来的冲击仍只是起步阶段,各家企业仍处于调整期。当前的领先者不一定就是未来十年的领先者,带领AMD不断打仗、闯出新生之路的苏妈,她说这番话还是有几分说服力的。

五十四岁的苏妈没有休息的意思,为了继续复兴AMD,她需要再赢一次。

03 赛跑

身为AMD历史上第一位女性CEO,苏姿丰是一位非常成功的职业经理人。

拥有麻省理工的博士学位,先后当选美国国家工程院院士和美国艺术与科学院院士的“苏妈”是一位不折不扣的“学霸+卷王”。

在她接任CEO职位的时候,AMD深陷泥潭之中,公司市值仅剩不到20亿美元,外界一度认为这家老牌企业将要不行了。

短短八年时间,通过拥抱游戏主机厂商,和台积电开展深入合作,加码研发投入,苏姿丰用超强的执行力确保AMD每一款新品都能保质保量问世。与此同时,竞争对手英特尔却屡屡跳票,AMD逆转了不利形势。

2022年初,AMD市值第一次超越了英特尔。不到十年,苏姿丰带领AMD市值翻了90倍,她也成为世界上薪水最高的女性CEO。

国内外媒体常常将黄仁勋与苏姿丰放在一起讨论。

两个人都是出生于中国台湾省台南地区的“60后”,都在幼年时代移民美国,都是常春藤名校毕业的工科生,都是工作中专攻研发创新的“拼命三郎”……还有消息称,两个人有远亲关系,从辈分上说,黄仁勋是苏姿丰的表舅。

说起来也有趣,黄仁勋和AMD的缘分比苏姿丰还悠久。1983年,黄仁勋大学毕业后的第一份工作就是在AMD担任芯片设计师,在职期间还拿下了硕士学位。

这段经历,黄仁勋提及的不多,只说是一段快乐的日子,离职后他从对技术的崇拜中走出来,更加意识到市场和管理的重要性。

虽然是同行,黄仁勋和苏姿丰同台的次数极少,外界并不知道两人的私交如何,但在商业场上,二人频频用温和的言语上演针尖对麦芒的正面碰撞。

2019年初,黄仁勋调侃AMD推出Radeon VII显卡不够出色,说道,“这是一次奇怪的发布会,也许AMD的人今天起床也是这么想的”。苏姿丰则在采访中回应称:“我猜他应该还没有见过这张卡吧!”

不知道黄仁勋会不会真正重视AMD的MI300X,但除了产品,无论是黄仁勋还是苏姿丰都面临着一个棘手的市场难题,那就是:他们的产品是否还能卖到世界第二大市场。

6月27日,有媒体报道“拜登政府考虑扩大对华芯片限制”,根据报道,“美国商务部最早将于7月要求停止向中国客户提供英伟达和其他芯片公司生产的芯片产品。”

对此,英伟达首席财务官科莱特•克雷斯很快表态称,虽然限制对华出口人工智能芯片不会立即产生重大影响,但这“将导致美国产业永久丧失机会”。他说,“从长远来看,如果实施禁止向中国出售我们的数据中心图形处理单元(GPU)的限制措施,将导致美国产业永久丧失在全球最大市场之一竞争和领先的机会,并对我们未来的业务和财务业绩产生影响。”

去年9月,美国就曾要求英伟达停止对华出口两款用于人工智能的顶级计算芯片。为满足出口管制规定,几个月后,英伟达向中国市场推出了专门的“降级版”芯片。虽然这次美国尚未公布具体细节,但“延期豁免”应该是意料之中的事。

但无论如此,为了建设大模型的算力底座,除了花费重金挖顶级人才,中国的科技大厂们都希望能早点拿到芯片,最坏的情况是:人才没挖到,芯片也没拿到,那么大模型竞赛胜利的天平就倾斜到手里已经有足够多芯片的一方。

对于客户的急需,英伟达、AMD估计不会视而不见,而会抢市场,如果英伟达的产能跟不上,AMD多少还是有些机会的。

这是黄仁勋和苏姿丰又一次比拼执行力的时候。

本文为专栏作者授权创业邦发表,版权归原作者所有。文章系作者个人观点,不代表创业邦立场,转载请联系原作者。如有任何疑问,请联系editor@cyzone.cn。