北京时间6月30日晚上11点半,美东时间上午11点半。
国内的热搜还在发酵,外网也开始动了。
最先动的是Reddit的r/machineLearning板块。一个叫“throwaway_ai_2016”的用户发了一个帖子,标题是《dpx1.5 from china: I ran the standard benchmarks and Im not sure what to think》。
帖子内容不长,但信息密度很高:
“我通过一个中国朋友搞到了邀请码。在humanEval上跑了完整测试,dpx1.5得分71.8%。在GSm8K数学推理上,得分64.3%。在mmLU上,得分58.7%。对比:Gpt-3在humanEval上是48.1%,GSm8K是34.2%,mmLU是43.9%。要么中国人做出了真正的突破,要么他们找到了某种取巧的评测方法。但我在三个不同的benchmark上跑了三遍,结果一致。如果这是取巧,那这个取巧本身就是一个突破。”
帖子发出来之后,前二十分钟的评论基本是同一个调子。有人问“数据给我看看”,有人说“又是中国的pR项目吧”,有人直接甩了一个“lol”就走了。前二十条回复里,十五条在质疑,三条在嘲讽,两条在要原始数据。
但到了美东时间下午一点,风向开始变。
一个Id叫“yann_lecun_fan”的用户发了一条长回复。这人后来的身份被扒出来是某大厂AI Lab的研究员,在圈子里有点名气,平时不太发帖,但一开口就很有分量。
“我拿到了邀请码。跑了五个维度:代码生成、数学推理、逻辑推理、中文理解、英文写作。结论是——dpx1.5在代码生成和数学推理上确实超过了Gpt-3。不是一点点,是代际差距。它的注意力机制明显经过了优化,长文本依赖处理得非常好。我在一个两千token的上下文里测试了代码补全,它没有丢任何关键信息。Gpt-3在这个长度上已经开始胡言乱语了。”
这条回复下面很快有人追问:“是不是用了什么新的架构?”
“不知道。但从行为上看,它不像纯粹的transformer。它的推理链更短,更直接。可能是某种混合架构。”
这条回复的点赞数在半小时内冲到了三百多。质疑的声音没有消失,但开始有人转向“我需要邀请码”和“有人能分享一下体验吗”。
美东时间下午三点,一个更重磅的人出现了。
Richard Rashid,微软前首席研究官,微软研究院创始人之一。他在自己的twitter上发了一条:
“我通过一个学术渠道拿到了dpx1.5的访问权限。花了四个小时测试。结论:如果这个模型是中国人自己做的,那我们必须重新评估中国在AI领域的真实水平。它在代码生成和数学推理上的表现,超过了我们目前公开的最优模型。不是追平,是超过。我建议微软研究院立即组织团队进行对标分析。”
这条推文发出去之后,评论区瞬间热闹起来。有人问“Richard,你确定不是套壳?”Rashid回复得很干脆:“我确定。套壳不可能在延迟和吞吐上做到这个水平。它的推理速度比Gpt-3快至少三倍。”
这条推文到凌晨三点,转发超过一万。
紧接着,英特尔的AI产品部门官方账号在北京时间凌晨五点五十二分发了一条声明。措辞很官方,但能看出是临时发的:
“我们注意到了dpx1.5的发布。我们正在组织团队进行技术评估。英特尔在AI领域有深厚的积累,我们欢迎竞争,也相信竞争会推动行业进步。”
这条声明的评论区里,有人问“你们是不是慌了”,有人回“Intel在AI上有什么积累?”。但更多人注意到的是——英特尔用了“欢迎竞争”这个词。在2016年,这个措辞从一个美国半导体巨头嘴里说出来,指向一家中国公司,本身就说明了一些问题。
英伟达的AI研究团队负责人也在twitter上发了一条,比英特尔的声明更具体:
“dpx1.5的推理效率让人印象深刻。我们初步分析,它的GpU利用率非常高,可能是针对某种特定硬件做了深度优化。如果这个优化是在中国国产硬件上完成的,那意义更大。”
底下有人追问:“你意思是他们可能用了国产芯片?”他回复:“我不知道。但如果他们用了,那说明国产芯片的软件生态已经能支撑这种级别的模型。这是一个信号。”
这条推文被转发了六千多次。评论区里有技术分析,有政治猜测,也有人单纯在问“什么时候能开放注册”。但英伟达那位负责人说的“国产芯片的软件生态”这句话,在几个小时内被反复引用,甚至传到了国内几个半导体行业的微信群里。有人把截图发给了华为海思的一位中层,对方的回复只有四个字:“不太可能。”
美国东部时间晚上七点,一个叫dario Amodei的用户——Anthropic的联合创始人——发了一条长推:
“我读了很多关于dpx1.5的测评。我通常对‘中国AI突破’这种标题持怀疑态度,因为过去很多所谓的突破最后都被证明是套壳或者过度宣传。但这次的证据不一样。多个独立信源、多个benchmark、多个维度。dpx1.5可能真的是一个分水岭。”
他在这条推文下面补了一句:“我需要强调的是,我还没有亲自测试。但根据我信任的几位研究者的反馈,它的表现至少达到了Gpt-3的水平,在某些维度上超过了Gpt-3。如果这是真的,那么全球AI的竞争格局需要重新评估。”
这条推文发出去之后,评论区里有人问了一个尖锐的问题:“dario,你说‘重新评估’,是指技术层面还是地缘政治层面?”
Amodei没有直接回答,只是回了一句:“都有。”
到了北京时间凌晨,外网的讨论已经从技术圈蔓延到了更广的范围。Reddit上r/technology板块出现了一个帖子,标题是《china just dropped an AI model that beats Gpt-3》,评论数在两个小时里突破了五千。有人贴出了dpx1.5生成的代码,有人贴出了它写的中文古诗,有人贴出了它跟Gpt-3在同一个问题上的对比回答。评论区里吵得不可开交,有人说是“中国AI的Sputnik时刻”,有人说“先让子弹飞一会儿”,有人直接@了Elon musk。