整理丨狮子侠
编辑丨小龙
复旦学姐乔琳，把小扎的得力干将挖来了。
据CNBC 11月7日报道，在Meta待了14年的戴夫·韦纳（Dave Wehner）将离开首席战略官一职，出任Fireworks AI的CFO。他曾是Meta的CFO，新搭档乔琳则曾在Meta带队做AI基础设施。
戴夫·韦纳
如今，两位老同事在乔琳创办的公司重新聚首。
Fireworks成立才四年。今年7月，公司宣布完成15.05亿美元融资，估值达175亿美元。它做的是乔琳在Meta就熟悉的事：帮企业用自己的数据定制AI模型，再以可承受的成本把模型稳定跑起来。
在与Canva联合创始人卡梅伦·亚当斯（Cameron Adams）的对话中，乔琳提出了一个判断：有了编程智能体，竞争对手可以很快做出一个功能相似的应用，但很难复制用户在一次次使用中留下的偏好、意图和互动数据。当应用越来越好抄，企业能不能用这些数据做出更懂自己用户的模型？这也是理解Fireworks为什么押注定制模型的一个切口。
以下是创业邦对本次对话的精编整理。
01让AI走出实验室，才是真正的硬仗
主持人：我是卡梅伦·亚当斯（Cameron Adams），Canva的联合创始人兼首席产品官。今天的对话嘉宾是Lin Qiao（乔琳），围绕AI推理，她打造了一家估值40亿美元的公司——Fireworks AI。这家公司为Cursor、Uber、DoorDash和Shopify等企业提供推理服务和基础设施，帮助它们开发、微调和规模化部署高性能生成式AI应用。
卡梅伦·亚当斯（Cameron Adams）
创办Fireworks之前，Lin在Meta参与创建并领导了PyTorch项目，为这个全球广泛使用的机器学习框架的发展发挥了关键作用。可以说，过去将近10年，她一直在参与打造AI的未来。
Lin，首先，能不能给不熟悉它的听众介绍一下，PyTorch到底是什么？当初开发它，是想解决什么问题？
乔琳：我先澄清一点，PyTorch最初是由FAIR，也就是Facebook人工智能研究团队的一群研究人员创建的。它最初是一套研究工具，目的是让研究人员在开发新的神经网络时更高效。它的设计非常出色。也就是在那个时候，我从数据领域转向了AI。我们想做的是，让PyTorch不只是用于研究，也能用于生产环境。这就涉及一套全新的设计思路。我组建了一支团队，把这件事真正做成了，让它既能支持Meta内部的工作，也能支持外部的研究和生产应用。
主持人：一个适合做研究的工具，和一个能在生产环境里运行的工具，区别在哪里？
乔琳：区别非常大。研究看重的是创造力，以及把创意快速试出来的能力。生产环境看重的是优化。这其实是两种很不一样的设计思路。一开始，我们也不确定，这两者到底有没有交集。能不能把一个方便快速迭代的研究系统，顺利转成高度优化的生产系统？毕竟，我们说的生产环境，规模是非常大的。从研究系统转到生产系统，这个过程非常折腾，会把所有事情都拖慢。
而且，纯研究和正式上线之间，还有一个中间阶段，叫实验。也就是说，你得把研究中的想法放到接近生产的环境里试一试。可这个所谓的“接近生产”，其实就是真实的生产环境，只不过拿一小部分线上流量来做A/B测试。所以，研究、实验和生产之间的界线其实很模糊。我们必须解决它们之间怎么衔接的问题，没有别的路可走。
当时，这是一个还没有人解决的新挑战。我们接下了这个挑战，而今天的结果，就是对我们当时工作的验证。PyTorch已经成为行业里占主导地位的AI框架，尤其是在生成式AI领域。大多数模型都是用PyTorch创建、训练，再部署到生产环境里做推理的。
主持人：像GPT或者Claude这样的模型，也是用PyTorch做的吗？
乔琳：我基本可以确定。说个有意思的事，大概七八年前，是我们推动OpenAI从TensorFlow转向了PyTorch。那之后，主要的研究实验室都开始全面采用PyTorch。当时还有很多研究团队会把模型开源给社区，这就成了整个生态的入口。生产团队拿到这些模型，先测试，再做实验，最后把它们放进产品里。这条路径就这样自然形成了。
我也是在那个时候认识了其他几位联合创始人。我们合作得非常紧密。有的人和我一起搭建AI基础设施，支持大规模的生产训练和推理；有的人则是我们的用户，使用我们搭建的基础设施。能在那个时候认识他们，我真的觉得自己特别幸运。
02比ChatGPT早两个月，他们就押注了推理
主持人：你开始做PyTorch的时候，大语言模型已经出现了吗？还是后来才发展起来的？
乔琳：时间上有不少重叠，只是当时还没有真正爆发。ChatGPT引爆关注是在2022年11月，而我们在2022年9月就创办了公司，比ChatGPT发布还早。当时很多人都在问，为什么现在就要出来创业？是不是太早了？这个时代还没真正到来，你们可能得先解决一大堆数据问题。
不过，我想往回讲一点，我们这段经历其实挺有意思的。我们一共有7位联合创始人，这个创始团队算很大了。我们加入Meta的时间差不多，当时公司刚完成，或者说快完成“移动优先”的转型。那是一次很大的转型，也非常成功。用户可以随时随地用手机访问社交网络，产品因此获得了很大的增长。
接着，用户在产品里产生了大量数据，这些数据又成了后来发展AI的基础。所以，先是移动优先，再是AI优先，这个顺序很重要，因为它也预示了后来整个行业转型的顺序。我们刚开始做这件事的时候，没有专门的AI团队，没有AI硬件，都是在CPU上跑一些很小的机器学习算法。AI软件也没有形成体系。
PyTorch主要用于研究，还有一些零散的软件，比如移动端的Caffe2、生产端的ONNX，整体非常碎片化。我们就是从那个状态起步，逐渐引入不同类型的AI硬件，包括Meta自己的AI硬件和GPU，再搭建训练平台、推理平台，把这些东西统一到PyTorch上。让PyTorch不只是服务FAIR的研究，也能支持生产环境中的训练和推理。这一路并不轻松，我们经历了大量试错，但对今天的成果，我们很满意。
03训练让AI学会，推理让AI干活
主持人：照顾一下不太懂技术的听众，你能不能解释一下训练和推理有什么区别？大家可能多少听说过训练，比如训练GPT或者Claude这样的大模型。而推理，是Fireworks重点做的事情。
乔琳：训练就是让模型学习。我们这里主要说的是神经网络。神经网络的学习过程，是先做一次前向计算，得到一个损失值，再根据这个损失做反向传播，一路调整权重，然后再做前向计算，再反向传播。这样来来回回，就是训练的核心过程。它天然就非常依赖数据，因为要从零开始学习大量信息。而且，训练还分不同阶段，比如预训练、中期训练和后训练，各个阶段会用到不同的算法。
乔琳
主持人：也就是说，它拿到一个很大的数据集，从里面找出各种联系，通过学习这些联系，获得某种能力，对吧？
乔琳：对。不过在训练之前，你首先得设计一个有很多层的模型架构。学习的过程，就是让这个架构里的权重逐渐确定下来。权重其实就是一些数值。最后得到的，是模型架构加上一整套权重，然后你把它部署到生产环境里。接着，你的产品就可以把信息传给模型。
提示词是输入，模型做前向计算，生成预测结果，再把结果返回给产品。这就是推理。所以，推理只做前向计算，训练则是反复进行前向计算和反向传播。它们需要的系统设计很不一样。训练可以说复杂得多，但两者也有共通的部分。你可以把训练过程中的一部分理解成推理。这也是为什么，让训练和推理在同一个平台上运行，并且充分保持一致，会特别重要。
这种一致性会直接影响质量。对不齐，就可能导致质量下降、精度损失。所以，Fireworks把训练和推理放在同一个平台上，为应用提供支持。这是比较概括的解释。从算法的发展来看，我们也经历了不同阶段。我觉得最大的变化，就是生成式AI出现前后。以前没有基础模型这个概念，每个团队都得自己整理数据，从头训练。现在有了基础模型，它们从公开互联网、数据标注公司提供的数据，以及大量合成数据里学习，获得通用能力。
大家也经常听到AGI这个词，期待这种通用模型解决各种问题，然后通过一个黑盒API来使用它。这是一个巨大的变化。企业想用AI，不再需要先组建一支能从零训练模型的大型AI团队。它们可以直接基于现成的生成式模型开发，也可以组建一支更小的团队，在一个很好的基础模型上，用自己的数据做后训练。
相比从头训练整个模型，后训练容易得多。这一下就大幅释放了AI带来的生产力。所以，从2023年开始，AI的采用速度进入了指数级增长。尤其是从去年年底开始，我觉得我们跨过了一个拐点。不管是闭源模型还是开放模型，质量都越过了一道门槛。很多日常需要人力完成的工作，现在都能交给模型自动处理。这也是为什么，我们看到生成式AI的应用正在迅速增长。
主持人：所以，对世界上大多数不是研究人员的人来说，我们接触AI，主要就是通过推理这一层。比如使用AI助手，你输入提示词，然后得到结果，这个过程就是推理。
乔琳：对，就是这样。
04当代码不再稀缺，私有数据才是护城河
主持人：那你觉得，推理最值得改进的地方是什么？如果推理变得更好了，对我这样一个AI助手或者模型的普通用户，会有什么影响？
乔琳：我觉得，推理最重要的一点是质量。这才是它最终能给产品开发者带来的最大价值。一个产品能不能找到市场，取决于它给普通用户或者专业用户带来的体验和价值。而这又要求它使用的模型具备前沿水平的质量。
怎么获得这种质量？现在有两条路。一条已经很成熟，就是使用前沿实验室提供的通用大模型，把精力放在上下文工程和提示词工程上，拿到模型输出，再围绕它构建产品。
但过去一年，整个行业发生了一件很有意思的事：软件开发变得越来越普及。从一个应用的想法，到实现，再到上线并规模化运行，这个过程已经快得不能再快了。以前可能需要几十名优秀工程师，花上好几个季度。
现在一个工程师，甚至不一定是工程师，只要一个人，花几周，甚至几天，就能做出来。结果就是，应用本身已经没有多深的护城河。只要有想法，很多人都能做应用，哪怕一行代码也不会写。而且，应用很容易被复制。
你甚至可以截几张图，让Claude Code生成一个类似的应用。那真正的护城河是什么？什么是别人复制不了的？是那些反映用户偏好、用户意图和用户互动的数据。最重要的是，企业得真正把这些数据用起来。如果看全世界的数据，90%到95%都是私有数据，锁在应用和企业内部。
主持人：对，而且这些数据还没有被真正用起来。
乔琳：还没有被充分用起来。如果我们相信智能来自数据，那我觉得，真正的智能前沿还远远没有被打开。因为前沿实验室拿不到这些数据，而数据的拥有者又没有技术，没法基于这些数据构建模型。这就是Fireworks要发挥作用的地方。
我们的使命，是充分释放私有数据的价值，打造面向具体应用的前沿模型。说得简单一点，就是私有数据加开放模型，等于你自己的前沿模型。我们想让每个人都能拥有自己的前沿实验室。实现路径，就是把Fireworks的训练和推理平台，与你自己的数据结合起来，从中得到最适合你的模型。
更重要的是，这不是一锤子买卖。你刚才提到了一些客户，但并不是说Uber训练一个“Uber模型”，或者Shopify训练一个“Shopify模型”，就能一直用下去。这件事必须持续做，因为应用在不断变化，基础模型也在不断进步。差不多每两周，就会有一个新模型冲上排行榜前列。
就像软件开发要不断跟进新的基础版本一样，模型训练也得持续进行。同时，我们已经进入了智能体时代，这个过程应该尽可能简单，尽可能自动化。所以，要获得打造产品最重要的前沿质量，现在有两种策略。我相信它们会长期共存。
但我不相信，未来的世界会被少数几个基础模型主导。我相信，未来会有数百万个定制模型，每个应用、每个使用场景，都有自己的模型。
05 AI接手杂活，但还没接管判断
主持人：这个未来很有意思。你刚才说，应用开发已经变得人人都能做，很大程度上是因为编程智能体现在太强了。人们给它一个比较笼统的指令，它就能把想法变成现实。那在更底层，你也看到同样的变化了吗？编程智能体有没有让你们的工作变得更快，让AI系统几乎能够自己推动自己的进化？
乔琳：当然。我之所以坚定看好AI的发展速度，一个很重要的原因是，我看到的不只是软件工程师在用AI工具。我们的会计负责人也在用AI工具，还会用Fireworks来管理账务、处理电子表格。她会定义各种技能，让团队反复调用。
这省下了原本可能需要好几名Python工程师来做的工作，让她的效率高了很多。也不只是财务，很多部门都在发生这样的变化。比如，我们自己做了一个招聘智能体。因为我们需要招聘很多优秀人才，收到的简历实在太多了，只能把其中一些工作自动化。
人才质量对我们非常重要，但筛选这么多申请，工作量也确实很大。我们的数据团队和营收运营团队，也会用AI工具搭建各种仪表盘，更快地看清业务情况，不用等整套数据管道都准备好了才能看到结果。
我看到AI开始进入职业生活的方方面面，这就是一个很强的信号：模型质量已经跨过了那道门槛。一旦跨过去，用自己的数据定制模型，再把质量往上推一个台阶，就容易多了。所以，我们坚信定制模型这个方向是对的。现在，Fireworks上95%的流量，都来自定制模型。
主持人：你之前提到，Fireworks有7位联合创始人。我感觉这似乎是AI创业公司的一个特点：比过去的创业公司更容易有一大群联合创始人。你也观察到这个趋势了吗？背后有什么原因？
乔琳：我不确定这是不是一个趋势，我们只是刚好如此。但它确实有很多好处。我觉得，只要团队合作得好，创始团队大一点是件好事。我们讨论问题很坦诚，也能从非常全面的角度思考产品、业务、该押注哪里、该聚焦什么，又该放下什么。这些不同的视角非常重要。
但同时，我们从来不会因为分析太多，反而迟迟做不了决定。无论创始团队有多大，决策速度都很重要。公司越做越大，参与的人肯定会越来越多，所以决策的速度、判断的准确性和质量，都非常关键。当团队开始超出创始团队的规模时，我们也特别关注人才密度和人员素质。我们很幸运，后来又有很多优秀的人加入，一起把公司做成了今天的样子。我们也在继续招募优秀人才。
主持人：你有没有发现，AI已经开始在决策本身中发挥更主动的作用，而不只是做个分析师，给你提供数据？它有没有真正改变你们做决定的方式？
乔琳：还没有到那个程度。目前，很多判断和决策仍然是由团队里的每个人来做。但AI确实帮我们接手了很多日常琐碎的工作。它很擅长执行指令，只要你把要求说清楚，它就能自己去做。这让我们腾出了时间，去做更重要的战略思考、创意工作和实验。
我觉得，探索、创造、人与人之间的互动，这些才是我们之所以为人的重要部分。AI让我们有更多时间去做这些事情，这很重要。不然，我们每天都忙于各种重复性工作。如果这些工作能交给AI，我们就可以把注意力放到真正值得做的事情上，这当然更好。
06产品火了却不敢放量：AI生意的成本陷阱
主持人：回到推理优化，想把推理做到最好，数据中心在里面扮演什么角色？你们会直接跟数据中心合作，把推理效率做到极致吗？
乔琳：我们直接适配的是具体的硬件。目前，我们支持8种不同的英伟达硬件型号，以及3种AMD硬件型号。随着硬件继续发展，我们还会增加支持的种类。在这一轮AI浪潮里，硬件的发展速度也前所未有。以前可能每3年才出一款新硬件，现在一家厂商一年就能推出1-3款，真的很惊人。
所以，现在出现了一种很有意思的局面：模型过时得特别快，差不多每两周就冒出一个新模型；硬件也差不多每4-6个月就有新品。更有意思的是，新模型放到新硬件上，往往能跑出更好的性价比。我们总想把最好的东西带给客户，所以我们的策略就是速度优先。这里说的速度，最终是客户的速度。我们希望他们能尽快用上最好的模型，获得最好的质量、最快的响应和最高的效率。这就是我们一直专注创造的核心价值。
主持人：随着越来越多公司部署AI，成本、性能、效率都成了大问题，尤其是成本。你看到大家现在面临哪些取舍？又是怎么处理的？
乔琳：成本确实成了一个问题。有意思的是，在AI时代，产品找到市场，和做成一门能长久经营的生意，是两回事。你的产品可能很受欢迎，客户喜欢，也愿意付钱，但你却不敢扩大规模，只能卡着不放量。因为你知道，一旦放量，钱很快就会烧光。根本原因在于，基于GPU的AI基础设施，单位经济模型和CPU很不一样。所以，效率真的是个问题。
而在我们现在这样一个算力供应受限的环境里，效率问题就更大了，因为它关系到机会成本。如果同样的硬件能处理10倍的token，那就意味着你有机会服务10倍的客户，覆盖10倍的市场。在所有人都受供应限制的时候，这对很多公司来说就是一个实实在在的问题。效率不够高，就会把市场份额让给竞争对手。所以，这不只是收入的问题，更是市场份额的问题，而且这种优势还会不断累积。
我们在效率上能提供很大价值。但更重要的是，我们跟这么多客户合作下来发现，即便他们最初关心的是效率和成本，质量也必须达标。这个标准，就是前沿实验室提供的模型质量。聊到最后，问题总会回到这一点。所以我不认为，牺牲质量来换效率，是一个真正的解决方案。
我们想做的是，在保持质量的同时解决效率问题，还要把控制权交给应用开发者，让他们不必把自己的命运寄托在一个黑盒API上。他们需要在自己进入的市场里建立竞争优势，做出差异化。而最好的方式，就是拥有自己的定制模型，让它同时具备前沿水平的质量、速度和尽可能高的运行效率。这就是我们给客户创造的价值。
主持人：现在我们经常看到这样的模式：公司推出质量更高的模型，给用户更好的体验，但同时，也直接把成本转嫁给用户。你想用更好的模型，就得消耗更多token，就得多付钱，订阅更贵的套餐。你觉得AI的商业模式会一直这样下去吗？还是说，这种关系会发生变化？
乔琳：转嫁成本是一回事，但没有建立护城河，其实是更大的问题。如果你基于某个基础模型做产品，而自己很容易被替代，那就不是一个好位置，也很难做成一门长久的生意。做产品最重要的，是建立一门能持续经营的生意。而这往往意味着，你必须牢牢掌握那些关键的依赖环节。
我认为，模型提供的智能，就是产品依赖的关键部分，它的控制权应该回到产品团队手里。把那些真正反映产品特点的数据，转化成产品专属、应用专属的智能，才是应该走的路。
07别比谁烧的token多，要比谁决策更快
主持人：你处在驱动AI发展的核心技术领域，我想你一定很了解，怎么用AI让自己的日常工作变得更轻松。我特别想知道，Lin平时是怎么用AI的？你会拿它做什么？它真正改变了你工作的哪些部分？
乔琳：我每天要做很多事情，其中经常做的一项是市场分析。我觉得AI工具做深度研究已经相当不错了，让我的工作轻松了很多。我会用不同的AI工具搜集信息，然后把精力放在分析这些信息上。
我们建立的一项公司价值观，也是公司文化的一部分，就是全面拥抱AI。无论主要负责什么工作，每个人都应该使用AI工具。这很重要。但这不是说，谁消耗的token多谁就厉害，不是这个意思。真正重要的是速度，是在这样一个快速变化的环境里，提高决策和产品开发的速度。
速度比什么都重要。我们本身就是一家工具平台公司，帮助应用拥有自己的定制模型和智能能力。同时，我们自己也在深入使用AI工具，让团队行动更快、效率更高。
主持人：你提到深度市场研究，AI确实很擅长大范围搜集信息，再把结果整理、综合起来。但你怎么确认它找回来的信息是对的？或者，它根据一个庞大的数据集得出的结论是正确的？
乔琳：验证的办法有很多。我通常会找多个来源，从不同角度做研究，然后看看能不能相互对应。如果对不上，就说明信息之间存在不一致。同一件事可以从不同角度去看，但各个角度看到的东西，应该能够相互印证。
另一个办法，是把同一个问题交给多个AI工具，看它们给出的答案是否一致。不过，我通常还是会换不同的角度来问。这本来就是研究的一部分：从多个视角观察一个问题，看最后拼出来的整体图景是不是一致。
主持人：如果5年后回过头看，你希望Fireworks AI在塑造AI未来这件事上，发挥了什么作用？
乔琳：我们很早就押注了推理，我觉得这个判断是对的。如果重来，我也不会改变我们的定位。我们专注于前沿推理，专注于前沿质量的推理，这个方向没有错。所以，回头看这段路，我其实不想改变什么。
本文为创业邦原创，未经授权不得转载，否则创业邦将保留向其追究法律责任的权利。如需转载或有任何疑问，请联系editor@cyzone.cn。
