EMNLP 2026 Main｜预测越像真实环境，Agent反而做得更差？我们把世界模型的训练目标从"状态一致"换成了"行为一致"

LLM agent 在网页导航、工具调用、文本冒险等任务上进步很快，但让智能体在真实环境里跑一遍代价不小：慢、贵，有时还会触发不可逆操作。一种思路是用另一个 LLM 来 “扮演” 环境 —— 智能体在电商网站点击 “搜索毛衣”，这个模型就生成搜索结果页；智能体选了某件商品，它就给出商品详情页。这就是文本世界模型。有了它，智能体可以在模拟环境中做离线评估或前瞻规划，不用真的去访问网站。

图 1：指标反转示意图。世界模型的两种幻觉输出 —— 输出 1 遗漏了目标毛衣，BERTScore 仍高达 0.974，但智能体找不到目标、任务失败；输出 2 仅遗漏了两个无关商品（连衣裙和围巾），BERTScore 降到 0.859，智能体反而顺利完成了购买。BehR 正确识别了 “关键” 幻觉。

既然文本相似度不可靠，我们换一个角度：如果智能体在预测状态和真实状态下做出一样的决策，这个预测就是好的。我们把这个目标定义为 “功能一致性”（Functional Consistency），形式上：

图 2：BehR 训练流程。上方为传统做法（对应监督学习的 MLE 和以 F1 为 reward 的强化学习）：比较预测与真实状态的文本相似度。下方为 BehR：冻结的参考智能体在两种状态下分别对同一动作打分，打分之差即为奖励信号。

我们在 WebShop（电商导航）和 TextWorld（文本冒险）上验证，基座覆盖 Qwen2.5-7B 与 LLaMA3.1-8B，评测智能体包含 Qwen3-8B、Qwen3-32B、GPT-4o、GPT-5 共 4 个。评测时让同一智能体分别在真实环境和世界模型中跑完整轨迹，对比两者的任务结果是否一致（，越接近 1.0 越好）。

表 1：多智能体评估全表。Real = 智能体在真实环境中成功率；WM = 智能体在世界模型中成功率；W2R = 把世界模型中的动作序列放回真实环境复放的成功率；CR 为 W2R 与 Real 成功率之比；${pw}$$ 为逐任务配对一致率，也是论文的主指标。

离线评估。 世界模型生成的环境比真实环境更简单时，弱智能体也能蒙混过关。TextWorld 上 Qwen3-0.6B 的真实成功率为 0%，基线世界模型却把 42.5% 的任务判为成功 —— 近一半任务是假阳性。BehR 训练后假阳性率降至 9.5%，一致率从 57.5% 升到 90.5%。

我们揭示了文本世界模型评估中的指标反转现象，并把训练目标从 “状态一致” 转向 “行为一致”，提出行为一致性奖励 BehR：用冻结参考智能体的决策差异代替文本相似度作为训练信号。整个流程只需要本地冻结的参考智能体提供反馈，不需要额外的人工偏好标注。消融实验也证实了提升确实来自奖励函数本身，而非其他训练细节。在两个环境、两种基座、四种评测智能体的 16 组配置中，BehR 在绝大多数组合上都提升了轨迹级一致性；在离线评测和前瞻规划上也有明确收益。

本文由大连理工大学、MBZUAI、北京大学及微软合作完成。团队成员包括 Youling Huang, Guanqiao Chen, Junchi Yao, Lu Wang, Fangkai Yang, Chao Du, Chenzhuo Zhao, Pu Zhao, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang。

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务，如比较价格、添加购物车、回复各种社交媒体等。

项目地址：https://github.com/browser-use/browser-use

【开源免费】AutoGPT是一个允许用户创建和运行智能体的（AI Agents）项目。用户创建的智能体能够自动执行各种任务，从而让AI有步骤的去解决实际问题。

项目地址：https://github.com/Significant-Gravitas/AutoGPT

项目地址：https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

【免费】ffa.chat是一个完全免费的GPT-4o镜像站点，无需魔法付费，即可无限制使用GPT-4o等多个海外模型产品。

在线使用：https://ffa.chat/