港科大（广州）联合腾讯AI平台部开源VibeWorlding，3D世界构建迎来Vibe Coding时刻？

如果说 Vibe Coding 让「写代码」这件事从「敲键盘」变成了「和 AI 对话」，那么今天要介绍的这项工作，可能正在把同样的故事在 3D 世界构建 领域重演一遍。

图 1：VWE-Bench 与 VibeWorlding-Gym 总览

游戏关卡、数字孪生、具身智能仿真环境…… 这些场景都依赖大量可交互、可编辑的 3D 世界，但传统的人工搭建方式效率极低。近年来，随着多模态大模型（MLLM）的兴起，学界开始探索用 AI 智能体自动化完成这一过程，大致分为两条路线：

但这些工作普遍存在两个尴尬的现实：一是评测用的查询过于理想化和简单，难以反映真实用户天马行空、模糊不清、甚至互相矛盾的表达；二是几乎所有框架都不开源，学界既无法公平对比，也无法系统研究「训练是否真的能提升这些底层能力」这个更根本的问题。

团队把整个「3D 世界构建」任务，形式化为一个多轮、多模态、工具集成的推理过程：给定一个多模态请求（纯文本描述，或者「现有世界 + 编辑指令」），智能体需要自主推断用户意图、规划场景布局、调用 3D 工具（检索 / 添加 / 旋转 / 平移 / 删除 3D 资产），并在每一轮结束后观察沙盒返回的多模态反馈（3D 地图文本 + 五视角渲染图），如此循环，直到最终产出一个完整的交互式 3D 世界。

6828 条查询是怎么「反向」造出来的？

图 2：VWE-Bench 数据样例。(a) 按物理尺寸从小到大排列的 3D 资产样例；(b) 按复杂度从低到高排列的种子世界样例

一个 3D 世界能不能算「过关」，VibeWorlding 团队给出了两条硬性标准：

对于 Unverified 查询，只有物理可行性和四个意图维度全部通过才算成功；对于 Verified 查询，则直接和 Ground-truth 地图比对，按正确编辑的 3D 资产比例打分。

团队在 VWE-Bench 上系统评测了 8 个前沿闭源模型（GPT-5.5、Gemini 3.1-Pro/3.5-Flash、Kimi-K3、Qwen3.8-Max 等）、3 套 3D-Scene 智能体框架（SceneWeaver、SAGE、SceneAssistant），以及经过冷启动 SFT 和强化学习后训练的开源模型 VibeWorlder 系列。核心结论可以概括为三句话：

图 3：各模型在六个能力维度上的通过率对比

为了搞清楚「精确编辑」到底难在哪，团队人工审查了大量失败案例，归纳出两种最常见、最顽固的错误：

这两个案例共同指向一个结论：多模态智能体在语义理解上已经相当成熟，但在精确空间执行与跨轮状态保持上仍有明显短板 —— 这也是团队认为未来最值得投入的方向之一。

为了验证这套系统不只是「刷榜工具」，团队还提供了一个真正能用的命令行交互原型，配上浏览器端的实时 3D 渲染视图 —— 你敲一句自然语言指令，Agent 立刻思考、调用工具、执行编辑，浏览器里的 3D 世界同步刷新。

从零构建场景 —— 左侧终端展示 Agent 的完整推理与自我修正过程，右侧为实时渲染出的农场

多轮编辑场景 ——Agent 定位并删除指定车辆与建筑，同时严格保持其余元素不变。

论文在讨论部分列出了几条尚待跨越的门槛：

VibeWorlding 给出的答案并不是「3D 世界构建已经被解决」，恰恰相反 —— 论文用实验证明，即便是 GPT-5.5、Qwen3.8-Max 这样的顶级闭源模型，在这项任务上的整体成功率也不到 60%。但它同时证明了一件更重要的事：只要有可靠的验证器和奖励信号，开源的中小规模模型完全可以通过强化学习后训练反超闭源前沿模型，这与「Vibe Coding」在编程领域走过的路径高度相似 —— 先有工具化的沙盒环境，再有可验证的奖励，最后是开源模型的规模化追赶。

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务，如比较价格、添加购物车、回复各种社交媒体等。

项目地址：https://github.com/browser-use/browser-use

【开源免费】字节工作流产品扣子两大核心业务：Coze Studio（扣子开发平台）和 Coze Loop（扣子罗盘）全面开源，而且采用的是 Apache 2.0 许可证，支持商用！

项目地址：https://github.com/coze-dev/coze-studio

项目地址：https://github.com/n8n-io/n8n

在线使用：https://n8n.io/（付费）

项目地址：https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file

项目地址：https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用：https://vectorvein.ai/（付费）

【开源免费】AutoGPT是一个允许用户创建和运行智能体的（AI Agents）项目。用户创建的智能体能够自动执行各种任务，从而让AI有步骤的去解决实际问题。

项目地址：https://github.com/Significant-Gravitas/AutoGPT

项目地址：https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md