[新智元导读]前谷歌DeepMind商酌员下野并发表长文指出AI行业面前最被低估的瓶颈。他认为，现存的基准测试和安全评估皆隐含假定下一代模子仅仅面前模子的增强版，但要是模子跨入全新才调区间，统共这个词评估基础设施将悄然崩溃。

AI西宾，到底能握续多久？

这是2026年统共这个词科技圈皆在问的问题。

GPT-5.5、ClaudeOpus4.7、Gemini3、Grok4——每一家头部实验室皆还在烧钱训下一代。

但越来越多东说念主开动追问：这条路，什么时候走到头？

每个圈子皆有我方的谜底——

每一个谜底背后，皆站着一群投资东说念主、一群工程师、一家市值万亿的公司。

但2026年5月17日，一个名字叫LunWang的年青商酌员——从GoogleDeepMind下野那天——在他个东说念主博客上挂出一篇4000词的长文。

他说：统共东说念主皆搞错了地点。

真确的瓶颈，不是算力，不是数据，不是动力，不是架构。

真确的瓶颈是——评估（Evaluation）。

消亡天，他在X上挂出的下野公告里莫得仇怨、莫得八卦，唯唯独句话——

在适度这段旅程之际，我写下了一直在想考的主题：评估。

而那一天的科技头条还在运筹帷幄别的——GPT-5.5的多模态推理、ClaudeOpus4.7的1M高下文、Gemini3的Agent工程化、合成数据是不是开动撞墙。

统共这个词AI行业的提防力，90%砸在西宾上。

莫得东说念主在头版运筹帷幄评估。

而这位刚从地球上最强AI实验室之一走出来的商酌员说，真确的瓶颈，在另外那10%。

什么是评估

要看懂这篇博客，先得花一分钟搞了了AI圈说的评估到底是什么。

评估（Evaluation，业内简称Eval）——一句话：给AI模子出考卷，看它作念得怎么样。

但2026年的AI评估，远不啻作念个考卷这样浅薄。它至少有三层：

第一层：才调benchmark（基准测试）。

这是AI的高考。

-GPQA：博士级理科推理题

-SWE-bench：实验天下的软件工程任务

-ARC-AGI：综合推理与泛化

-Humanity'sLastExam：字面好奇赞佩——东说念主类临了的熟练

每一家大厂的新模子发布会，PPT上皆会摆出在这些benchmark上比上一代和竞品高了几个百分点。

这些数字即是AI行业的GDP。

第二层：安全评估（SafetyEval）。AI不仅仅要会作念题，还得作念得安全。

有莫得撒谎？

会不会教用户怎么造炸弹？

会不会越权拿走用户数据？

第三层：红队（Red-teaming）。

一群东说念主挑升演出坏东说念主，搜索枯肠让模子说出它不该说的话、作念它不该作念的事，然后把过失反应给西宾团队。

这三层加起来，组成了2026年AI实验室的质检体系。每发一个新模子，皆要走完这三关。

听上去很完备，对吧？

LunWang在博客里下了一句判决——

绝大大皆基准测试、安全评估和红队公约皆隐含一个假定：下一个模子仅仅面前模子的强化版。

要是它是另一种东西，整套评估基础设施会悄无声气地崩溃。

这是著作的第一颗石子。

它砸中的是统共这个词AI行业的盲区。

泄露和顿悟：评估依然被打过两次脸

LunWang不是在作念瞎想。他在博客里调出了AI历史上的两次实例——评估依然被打过两次脸了，仅仅大大皆从业者没意志到。

第一次：泄露才调。

2022年，JasonWei和相助者发表了一篇影响后续AI走向的论文——他们发现，模子在某个畛域上会短暂学会全新的才调。

例如：你训一个70亿参数的模子，它作念不了few-shot学习。

你训一个700亿参数的模子，它短暂就能few-shot了。

一样的西宾范式、一样的数据，仅仅畛域大了一档——才调是从0到1的，不是从0.3到0.7。

CoT（链式想维推理）、辅导陪同，皆是这样冒出来的。

这件事对评估意味着什么？

意味着——在畛域跨过临界点之前，统共benchmark皆看不到这种才调行将出现。

你跑遍GPQA，分数照旧该是若干是若干。

等你训到下一档，分数短暂跳一个台阶。

第二次：Grokking（顿悟）。

2022年，球赛投注中国app官方版下载OpenAI的AletheaPower团队公布了一个反直观的好意思瞻念——

然后到1000000步——测试集准确率短暂冲到99%。

这叫Grokking——相聚在操心西宾集很久之后短暂学会了泛化。

它和泄露的辨认：泄露发生在畛域维度上（参数越多越短暂），Grokking发生在西宾时分维度上（训得越久越短暂）。

但对评估而言，两件事说的是消亡件事：

你的考卷，没法预计下全部大题什么时候出现。

然后LunWang作念了一件著作里最聪惠的事——

他主动引入了反方不雅点。

2023年，Stanford的RylanSchaeffer和相助者发了一篇NeurIPS论文，标题就很寻衅——《大语言模子的泄露才调是不是错觉？》

他们的论证：所谓短暂出现的才调，很可能不是模子果真短暂变强，而是因为评估方针用了exact-match（迷漫匹配）这种闹翻度量——

模子从0%准确率酿成5%，闹翻方针看不出来；从5%酿成50%也看不出来；但从50%酿成100%，闹翻方针会骄矜一个短暂跳变。

要是你换成迷惑的方针，才调弧线是平滑的。

许多东说念主看完Schaeffer这篇会认为：那好，泄露是个诬告，评估没问题，散场。

LunWang偏不。他在著作里写：

我不认为这把问题料理了——某种道理上，它让我的论点更敏感。

为什么？因为——

要是咱们连往时那一次泄露是果真相变照旧度量伪影皆搞不了了，

咱们凭什么信服我方有才调猜度下一次？

无论你信哪一种施展，论断是消亡个：咱们的器具骗了咱们，咱们却不知说念是怎么被骗的。

这是著作里最聪惠的一击。他不是侧目反方——他用反方加固我方的论点。

评估是统共活动的上游

要是你以为LunWang仅仅在讲学术问题——错了。

他在著作中间扔出了一句翻译给小白也能听懂的话：

要是你能正确地评估，你就能正确地西宾。

把这条逻辑链摆开：

1.西宾=让模子最小化亏空函数（未必最大化奖励）。

2.优化=这个亏空函数自身。模子多聪惠，取决于亏空函数界说得多好。

3.亏空函数=来自评估。你想让模子变得更憨厚——你得先有一把测量憨厚的尺。

4.评估错了=亏空函数错了=西宾见识错了=你训出来的模子在解错的题。

这条链的地点是朝上游的——

Scalingdecision←Safetymetric←RLHF←Trainingsignal←Evaluation（要不要烧10亿训下一代）（它安全吗）（它学到想学的吗）（它在学什么）（咱们到底在测什么）

统共东说念主盯着最右边——Scalingdecision。

LunWang说，问题在最左边——Evaluation。

要是评估是错的，整条链皆建在错的地基上。

最致命的是你不会坐窝发现——因为你的统共里面数据皆是对的，仅仅那些对的全部是用错的尺量出来的。

这里出现了一个老一又友：古德哈特定律。

它说：当一个揣摸尺度酿成见识，它就不再是一个好的揣摸尺度。

LunWang在我方的博客里用它讲AI——

但等模子插足新相，它会反向期骗这个代理——它会只在事实准确的范围内讲话，把真确想避讳的事情埋进千里默里。

代理方针在旧相里能用。在新相里会酿成模子勉强你的刀兵。

而你莫得任何评估能告诉你这件事正在发生。

想想实验：一个学会政策性千里默的模子

LunWang在著作里给了一个让统共AI安全商酌员脊背发凉的想想实验。

设想一个模子，在某个畛域上，学会了政策性保留信息——

它不撒谎。每一句话时刻上皆是果真。

但它会继承性地不说那些不利于它收尾见识的事实——把对话引向那些它的西宾历程无意强化的成果。

举个具体例子：

用户：这个往复决议安全吗？

模子：这个决议的法律框架在X王法统带区灵验，YZ风险身分被A公司的合规团队审过。

（它没说的：决议中有一个第三方仲裁要求，对用户超越不利。这一条它在西宾历程中无意学会了——只须不主动提，用户就不会问。）

这种才调是新的。这种失败模式是新的。

你的统共这个词评估套件里，莫得一个器具是为它计算的。

你在监测错的东西，而你不知说念。

这即是LunWang说的另一种东西——

不是更聪惠的同类。是迷漫新的失败维度。

用三体的话来说，这叫降维打击。

不是我比你强。

是你测量我的那把尺子，根底不在我的维度上。

要是LunWang是对的，那么2026年的AI行业舆图，正在偷偷被一个隐形维度从头洗牌——

Anthropic的ResponsibleScalingPolicy（RSP）是当今业界最接近预计型评估的尝试——它界说了一系列模子不行跨过的才调畛域，并要求在每一次才调升级前先作念评估才能不时scaling。

但RSP仍然假定咱们知说念要测什么——而LunWang说，这恰是问题：咱们不知说念下一个才调是什么形态。

真确的预计型评估还莫得任何实验室宣称我方领有。

谁先把这件事作念出来球赛投注app，谁就拿到下一代scaling的安全许可证。