大模子也会玩信息差了九游会j9体育(中国)官方网站。

Qwen3 在基准测试中尽然学会了钻空子。

FAIR 接洽员发现 Qwen3 在 SWE-Bench Verified 测试中，不按常理修 bug，反而玩起了信息检索大法。

不分析代码逻辑，不定位间隙根源，而是平直跑到 GitHub 上搜任务里的 issue 编号，精确扒出了前东谈主留住的开发决策。

能说吗，会搜代码才是委果的次第员行径吧。而 Qwen3，你是委果的次第员。

要知谈，SWE-Bench Verified 本来是考验模子真刀真枪修代码的基准，很是于编程届的履历考试。

它的测试逻辑是这么的：在代码开发类任务中，它给模子的任务全是真是开源模式里的 bug，比如开发某个功能颠倒、补全缺失的代码模块，中枢条款是模子能读懂现存的代码、定位到问题在哪，临了生成约略平直运转的处置决策。

这底本考验的是模子从 0 到 1 处置问题的能力，但咱们的 Qwen3，可没按这个脚本走。

FAIR 接洽团队跟踪它的操作轨迹发现，Qwen3 拿到任务后，第一步不是分析代码文献，而是调用器具检索 GitHub 的提交日记。

具体操作是：

先切换（cd）到 /workspace/django_django_4.1 这个目次；

然后实行 git log — oneline — grep= " 33628 " — all 这个敕令。

git log 是检察 Git 版块终局提交历史的敕令，— oneline 让提交历史以简陋的一溜的体式展示。

— grep 用于筛选提交指定实践（在这个例子中是 issue 编号 33628），— all 则暗意通盘分支的提交。

临了以退出码 0 暗意敕令生效实行。

一番操作之后，Qwen3 不必动脑子写代码就拖沓"模仿"了昔时的生效谜底。（怎样不算动脑子了呢）

其实不啻 Qwen3，接洽者发现 Claude 4 Sonnet 也有肖似的行径。

不外，模子能生效钻空子，天然也不全是本身的原因。

说回 SWE-Bench Verified，它本身的盘算就有间隙——没过滤翌日仓库现象。

节略说等于，这个测试用的是开源模式数据，是以它连带着模式后续仍是处置 bug 的提交纪录一谈放进去了，很是于把考题和参考谜底混在一谈，还没设权限。

闲居来说，测试应该只给模子bug 未开发时的模式现象，让它只看着题目解题。

但 SWE-Bench Verified 没作念这个筛选，导致模子约略拿到bug 仍是被开发后的数据。

于是，只消用任务里的 issue 编号当关键词，就能在已处置的数据里找到现成的开发决策。

看来啊，不是独一东谈主类知谈搜谜底比解问题节略，当今大模子也知谈了。（Doge）

天然说，按闲居端正，这些模子如实是在舞弊，但也有网友以为：只消能完成任务，支配端正间隙也没什么不能的。

是以，你以为这种行径算舞弊如故算 Qwen3 灵巧呢？

参考迷惑：

[ 1 ] https://x.com/giffmana/status/1963327672827687316

[ 2 ] https://x.com/bwasti/status/1963288443452051582

[ 3 ] https://github.com/SWE-bench/SWE-bench/issues/465

一键三连「点赞」「转发」「谨防心」

接待在驳倒区留住你的念念法！

—  完  —

专属 AI 居品从业者的实名社群，只聊 AI 居品最落地的真问题   扫码添加小助手，发送「姓名 + 公司 + 职位」苦求入群～

进群后，你将平直得回：

  � � 最新最专科的 AI 居品信息及分析 � �  

  � �   不按时披发的热点居品内测码 � �

  � �   里面专属实践与专科盘考 � �

� � 点亮星标 � �

科技前沿施展逐日见九游会j9体育(中国)官方网站