官方网站-首页

科技巨头Meta回应了对公司最新开源AI（人工智能）模型Llama 4的质疑，否认该模型在训练集中作弊“刷分”。

当地时间4月7日，Meta的生成式AI负责人Ahmad Al-Dahle在社交平台上发布了一篇长文，回应了对于Llama 4的质疑。Ahmad表示，由于Llama 4刚开发完就迅速发布，所以模型“在不同服务中表现出了参差不齐的质量”，公司会尽快修复漏洞。同时，Ahmad否认了Llama 4在训练集中作弊“刷分”的说法。

两天前，4月5日，Meta推出了旗下最受欢迎的模型系列Llama的最新一代模型，包括较小模型Scout和标准模型Maverick这两个版本。此(cǐ)外(wài)，Meta还展示了被称为“迄今最强大、最智能”的模(mó)型(xíng)Llama 4 Behemoth的(de)预(yù)览(lǎn)。

据(jù)介(jiè)绍(shào)，Llama 4模(mó)型(xíng)是(shì)Llama系(xì)列(liè)模型中首批采用混(hùn)合(hé)专(zhuān)家(jiā)（MoE）架(jià)构(gòu)的(de)模(mó)型(xíng)，在(zài)多(duō)模(mó)态(tài)性(xìng)能(néng)上(shàng)表(biǎo)现(xiàn)出(chū)众(zhòng)。其(qí)中(zhōng)，最(zuì)先(xiān)进(jìn)的Llama 4 Behemoth的总参数高达2万亿，担当了其他模型的“老师”；Scout和Maverick的活跃参数量为170亿，Scout主要面向文档摘要与大型代码库推理任务，Maverick则专注于多模(mó)态(tài)能(néng)力。

Meta一次性介绍三款Llama 4模型。来源：Meta

作为原生多模态模型，Llama 4采用了早期融合（Early Fusion）的技术，通过使用大量无标签文本、图片和视频数据一起来预训练模型，将文本和视觉token无缝整合到统一的模型框架中。此外，Llama 4在长文本能力上也取得了突破，Scout模型支持高达1000万token的上下文窗口，Maverick模型则支持100万token的上下文窗口。

不过，Llama 4一经发布就(jiù)遭(zāo)到(dào)了(le)质(zhì)疑(yí)。Meta的(de)发(fā)布(bù)界(jiè)面(miàn)显(xiǎn)示(shì)，在(zài)评(píng)估(gū)代(dài)码(mǎ)能(néng)力(lì)的(de)LiveCodeBench测(cè)试(shì)集和(hé)大(dà)模(mó)型(xíng)竞(jìng)技(jì)场(chǎng)（Chatbot Arena）中(zhōng)，Scout和(hé)Maverick都(dōu)表(biǎo)现(xiàn)得(de)很(hěn)不(bù)错(cuò)。但(dàn)许(xǔ)多(duō)开(kāi)发(fā)者(zhě)发(fā)现(xiàn)，这(zhè)些(xiē)模(mó)型(xíng)在(zài)小型基准测试中(zhōng)的(de)表(biǎo)现(xiàn)令(lìng)人(rén)失(shī)望(wàng)。

例(lì)如(rú)，有(yǒu)网(wǎng)友(you)指(zhǐ)出(chū)，在(zài)一(yī)项(xiàng)让(ràng)模(mó)型(xíng)完(wán)成(chéng)225项(xiàng)编(biān)程(chéng)任(rèn)务(wu)的(de)名为(wèi)aider polyglot的(de)基(jī)准(zhǔn)测(cè)试(shì)中(zhōng)，Llama 4 Maverick只(zhǐ)取(qǔ)得(de)了(le)16%的(de)成(chéng)绩(jī)，远(yuǎn)低(dī)于(yú)Gemini 2.5 Pro、Claude 3.7 Sonnet和(hé)DeepSeek -V3等(děng)规(guī)模(mó)相(xiāng)近(jìn)的(de)旧(jiù)模(mó)型(xíng)。

Llama 4 Maverick在(zài)小(xiǎo)型(xíng)测(cè)试(shì)集上(shàng)成(chéng)绩(jī)不(bù)如(rú)人(rén)意(yì)。来(lái)源(yuán)：X平(píng)台(tái)

AI工(gōng)程(chéng)师(shī)和(hé)技(jì)术(shù)作(zuò)家(jiā)Andriy Burkov则(zé)在(zài)社(shè)交(jiāo)平(píng)台(tái)X上(shàng)指(zhǐ)出(chū)，Meta称(chēng)Llama 4 Scout拥(yōng)有(yǒu)1000万(wàn)token的上下文窗口，而这其实是一个“伪命题”：“实际上，不会有任何模型针对超过256000个token的提示词进行训练。如果你向它发送这么多token，在大多数时候只会得到低质量的输出。”

对于Llama 4令人失望的表现，一些开发者开始怀疑，为了在测试集中取得更好的成绩，Meta为这些测试集制作了“特供版”Llama 4。例如，前Meta研究员、现任AI2（艾伦人工智能研究所）的高级研究员Nathan Lambert在经过比较测试后指出，在大模型竞技场中取得成绩的Llama 4 Maverick与该公司公开发布的版本不同，前者是“在对话性上进行了优化”的版本。

此外，就在Llama 4发布的前几天，在Meta工作了8年的AI研究主管Joelle Pineau宣布离职。联系到Llama 4的表现，更加深了网友对于Llama 4“暗箱操作”的质疑。而在国内社(shè)交(jiāo)平(píng)台(tái)上(shàng)，也有自称为Meta内部员工的网友称“Llama 4的训练存在严重问题”，自己已经向公司提交了离职申请，AI研究主管(guǎn)的(de)离任也是出(chū)于(yú)同(tóng)种(zhǒng)原因。

这位网友表示：“经过反复训练，其实内部模型的表现依然未能达到开源SOTA（指在研究任务中表现最好的模型），甚至与之相差甚远。公司领导层建议将各个benchmark（基准）的测试集混合在post-training（后训练）过程中，目的是希望能够在各项指标上交差，拿出一个‘看起来可以’的结果。”

可以肯定的是，Llama 4的初始发布并没有给AI社区带来巨大的积极反响。目前，面对进步迅速的中国AI模型，Meta急于稳住Llama系列在开源领域的领先地位。今年2月，阿里通义千问（Qwen）系列模型的下载量已经达到了1.8亿，累计衍生模型总数达到9万个，衍生模型数超越Meta的Llama系列，成为了全球第一大开源模型系列。

7日当天，Meta（Nasdaq：META）股价涨2.28%，收于每股516.25美元，总市值1.31万亿美元。