作者丨晓晓
编辑丨信陵
11月6日，由创新工场董事长兼CEO李开复成立的AI公司“零一万物”发布了首款开源中英双语大模型“Yi”。
于此同时，零一万物已完成新一轮融资，由阿里云领投。目前，零一万物估值已超10亿美元，跻身独角兽行列。
此次开源发布的Yi系列模型，包含34B和6B两个版本，并于11月2日在Hugging Face上传了这两个参数。创业邦了解到，Hugging Face是全球最受欢迎的大模型、数据集开源社区，被认为是大模型领域的GitHub，在大模型英文能力测试中具有相当权威性。
根据Hugging Face英文开源社区平台和C-Eval中文评测的最新榜单，Yi-34B分别在Hugging Face LLM Leaderboard（pretrained）（预训练大语言模型）和中文大模型榜单C-Eval排行榜已经爬升到1位。
这也是迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。
今年3月，李开复开始组建零一万物团队，并于6月开始运营，在不到八个月的时间里就成为了“独角兽”。
首款340亿参数大模型Yi
此次Yi系列基础模型的首个公开版本包括两款：Yi-6B（数据参数量为60亿）、Yi-34B（340亿），均是双语（英文/中文）、支持开源。
“34B是一个黄金尺寸。”李开复说。
优势在于，它不会小到没有涌现或者涌现不够，甚至已经完全达到了涌现的门槛，但是又没有太大，允许高效率的单卡推理。既满足精度要求、训练推理成本友好、达到涌现的门槛，又是很多商业应用都可以做的。
Yi-34B模型在多项评测基准中全球领跑，基于超强Infra下模型训练成本实测下降40%，模拟千亿规模训练成本可下降多达50%，并以更小模型尺寸的基准结果超过LLaMA2-34B/70B、Falcon-180B等大尺寸开源模型，以及百川智能（王小川创立）的Baichuan2-13B。
AI Infra（AI Infrastructure 人工智能基础架构技术）主要涵盖大模型训练和部署提供各种底层技术设施，包括处理器、操作系统、存储系统、网络基础设施、云计算平台等，是模型训练背后极其关键的“保障技术”，这是大模型行业至今较少受到关注的硬技术领域。“做过大模型Infra的人比做算法的人才更稀缺”。李开复曾表示。
由于GPU紧缺，当模型尺寸从6B推向更大的尺寸时，团队需要把握好规模减少试错成本，不能一味追求“大”。通过打磨AI Infra，Yi-34B将训练成本下降了40%，“别的友商如果要用2000张GPU，我们只要1200张。”李开复说。
C-Eval 排行榜：公开访问的模型，Yi-34B 全球第一（2023年11月5日）
值得注意的是，此次开源的Yi-34B模型还将发布全球最长、可支持200K 超长上下文窗口（context window）版本，可以处理约40万汉字超长文本输入。
相比之下，OpenAI的GPT-4上下文窗口只有32K，文字处理量约2.5万字。今年三月，硅谷知名AI 2.0创业公司Anthropic的Claude2-100K 将上下文窗口扩展到了100K规模，零一万物直接加倍，并且是第一家将超长上下文窗口在开源社区开放的大模型公司。
“所以选底座就选最好的底座。”李开复说，“Yi就是最好的底座，没有之一。”
在 Yi 开源模型的全球首发日，零一万物CEO李开复也宣布，在完成 Yi-34B 预训练的同时，已经旋即启动下一个千亿参数模型的训练。“零一万物的数据处理管线、算法研究、实验平台、GPU 资源和 AI Infra 都已经准备好，我们的动作会越来越快”。
各评测集得分：Yi 模型 v.s. 其他开源模型
零一万物团队首度亮相
作为零一万物的发起人，李开复是中国人工智能的领军人物之一。他曾先后担任微软全球副总裁、谷歌全球副总裁兼大中华区总裁，并在2009年创立了天使投资和企业孵化平台创新工场。
2023年3月，李开复躬身入局大模型赛道，为筹建新公司零一万物广发“英雄帖”：“零一万物欢迎有AI 2.0技术实力和AGI信仰的优秀人才加入，一起打造AI2.0全新平台，加速AGI到来。”到7月，零一万物已有来自阿里、百度、谷歌、微软等国内外公司的数十位核心成员到位。
发布会上，李开复介绍，“公司从招的第一个人，写的第一行代码，设计的第一个模型开始，就一直抱着成为‘World's No.1’的初衷和决心。所以我们组成了一支有潜力对标 OpenAI、Google等一线大厂的团队。”
创业邦了解到，零一万物的成员来自Google、微软、阿里巴巴、百度、字节跳动、腾讯等国内外顶级企业背景，并持续延揽全球范围内最优秀的华人AI精英。
零一万物算法和模型团队成员，有论文曾被GPT-4引用的算法大拿，有获得过微软内部研究大奖的优秀研究员，曾获得过阿里CEO特别奖的超级工程师。总计在ICLR、NeurIPS、CVPR、ICCV等知名学术会议上发表过大模型相关学术论文100余篇。
零一万物技术副总裁及AI Alignment负责人是 Google Bard/Assistant 早期核心成员，主导或参与了从 Bert、LaMDA 到大模型在多轮对话、个人助理、AI Agent 等多个方向的研究和工程落地；首席架构师曾在Google Brain与Jeff Dean、Samy Bengio等合作，为TensorFlow的核心创始成员之一。
首次发布的背后主力战将、零一万物技术副总裁及 Pretrain 负责人黄文灏是通用人工智能AGI的信仰者，他曾先后任职于微软亚洲研究院和智源研究院。在微软从事AI Agent研究工作时，得到微软创始人比尔·盖茨和CEO 萨提亚·纳德拉的高度赞扬。
发布会上，黄文灏说，在效果和效率之间，34B是是一个很好的平衡点，在模型训练好的基础上，有相当程度的涌现能力，而且34B的大小也是消费者显卡推理模型一个极限。“
支持 Yi 模型训练保障交付的零一万物技术副总裁及AI Infra负责人戴宗宏，是前华为云 AI CTO 及技术创新部长、前阿里达摩院 AI Infra 总监。Infra核心团队主要来自于阿里、华为、微软、商汤，是AI 多领域具有高水平研究及系统研发能力的顶尖专家，曾经参与支持了4个千亿参数大模型规模化训练，管理过数万张GPU卡，夯实了端到端的全栈AI技术能力，零一万物可说是具备一支行业内少有的 AI Infra “技术天团”。
从短期来看，公司已经在训练千亿参数以上模型。“但我们觉得模型参数还可以再提高一到两个数量级，达到万亿或者十万亿的规模。”戴宗宏说，包括几十T token的高质量数据，还可以再提高到几百T或者几千T。
从这个程度上来看，模型智能还有很大的发展空间。
打造更多ToC Super App
“AI 2.0时代来到了，最大的商机一定是超级应用，而这超级应用一定是在消费者级别的超级应用。”李开复在发布会上说。
除了大模型，零一万物将基于Yi系列大模型，打造更多To C超级应用。零一万物的目标是在AI 2.0时代再做一款微信、抖音。
具体到零一万物的商业规划，李开复说，AI 1.0时代无法商业化的公司很早被淘汰，而商业化公司的最大挑战是能够可持续、可增长——这意味着AI 1.0的不少公司需要人头规模，不是高质量的收入。
他强调，收入的规模化不应该用人头推动，而应该用技术推动。“以此为原则，零一万物将朝着Consumer（消费级）应用发力。”考虑到国内用户的付费意识和意愿尚在培养阶段，零一万物将同时考虑应用的本地化和出海。
目前，零一万物已经启动100B以上参数规模的模型训练，而多模态大模型团队已经集结了十多个人。“几周之内我们就有新的发布和大家分享。”李开复透露，“Yi”的定位是通用底座，同时，Yi系列量化版本、对话模型、数学模型、代码模型、多模态模型将以快节奏推出。
目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球开源社区平台正式上线。
李开复的目标是进军全球第一梯队，从公司成立第一天，就一直抱着成为‘World's No.1’的初衷和决心。首发大模型后，李开复和团队正在往这个方向努力。
本文为创业邦原创，未经授权不得转载，否则创业邦将保留向其追究法律责任的权利。如需转载或有任何疑问，请联系editor@cyzone.cn。
