深度｜大模型的空间直觉从哪里来，又为什么会失灵？MirroS在S-Space里找答案

多模态模型的空间推理，有一种很反直觉的现象：它能看懂图里有什么，也能回答简单的左右上下，却会在换视角、判断方位、推理前后关系时突然失灵。

图注：S-Space是模型隐藏状态中的三维空间工作区，物体位置沿水平、垂直、距离三个方向编码。

S-Space最重要的发现，是把空间推理拆成了两层：一层是感知空间，一层是操作空间。

图注：从S-Space读出坐标并执行显式旋转后，视角转换准确率显著高于模型直接生成。

这个差距很能说明问题。模型不是完全没有空间感。它在很多时候已经“看见了”正确位置，只是在后续推理中没能稳定完成坐标变换。

对产业界来说，这个判断很关键。空间智能的下一步，不一定是让一个大模型在语言里硬想所有几何问题，而是把模型内部的空间表征接入更可靠的计算、规划和行动模块。模型负责感知世界，工具负责精确变换，Agent负责组织流程。这比“继续让模型多想几步”更接近工程现实。

S-Space的直觉并不复杂。多模态模型处理图像和文本时，会把输入变成一串token；每个token在每一层都有一个高维向量。MirroS要找的，就是这些高维向量里有没有稳定的空间方向。

关键不在于又训练了一个探针，而是模型内部似乎已经存在一种线性可读的空间数据格式。物体位置不是零散地藏在网络里，而是被组织成相对稳定的三维坐标。

这说明S-Space不是事后解释出来的相关性，而是参与模型空间判断的内部变量。过去调试空间推理，只能看输入、输出和提示词；现在有机会直接检查模型是不是把物体放错位置、是不是混淆参照系、是不是转错了坐标。

图注：S-Space将物体位置编码在模型中间层的三维线性子空间中；改写坐标会选择性改变模型空间判断。

如果S-Space只是图像检测结果的另一种表达，它的意义会有限。MirroS的实验显示，这张内部地图更像一个动态工作区，会随着提示、视角和上下文变化。

语言让模型形成更丰富的空间工作区，也会把隐喻、常识和不同参照系混在一起。要让多模态模型进入真实物理世界，光有空间表征还不够，参照系必须能分清。

S-Space从哪里来？MirroS给出的线索是，它不是某一种监督信号单独塑造出来的，而是语言、视觉和动作共同挤压出的内部结构。

但语言信号很粗，也容易混入隐喻和参照系歧义。left可以是物理左，也可以是政治左；north可以是地图上方，也可以是题目中特别定义的方向。语言能教会模型“怎么说空间”，却不一定能教会模型“怎么稳定操作空间”。

这意味着，行动学习改变的不只是模型最后做出的动作，也可能反过来校准模型内部的空间工作区。未来世界模型的竞争，核心不只是语料规模，也包括模型通过哪些模态接触世界。

如果只把S-Space看成一个解释性发现，它的意义会被低估。更重要的是，它提供了一种新的系统分工方式：多模态模型负责形成空间表征，外部模块负责可靠计算和行动执行，中间通过可读写的空间接口连接。

S-Space这类机制研究提供了一套排查路径：模型答错时，是没识别物体，还是把物体放错位置？是位置正确但旋转错误，还是参照系混乱？不同错误对应不同改法。感知问题补数据，计算问题接工具，参照系问题改训练和评测，行动问题引入交互反馈。

这正是它的行业意义。多模态模型已经显露出内部空间地图，但这张地图还没有被稳定转化为推理和行动能力。接下来的关键，不只是让模型更大、语料更多、回答更长，而是把模型机制分析变成可用基础设施。谁能打开真实系统的黑盒，理解模型内部发生了什么，并把这种理解接入感知、推理、规划和行动链路，谁就更接近可落地的物理智能。

https://mirros.ai/blog/s-space

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务，如比较价格、添加购物车、回复各种社交媒体等。

项目地址：https://github.com/browser-use/browser-use

【开源免费】AutoGPT是一个允许用户创建和运行智能体的（AI Agents）项目。用户创建的智能体能够自动执行各种任务，从而让AI有步骤的去解决实际问题。

项目地址：https://github.com/Significant-Gravitas/AutoGPT

项目地址：https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

【开源免费】graphrag是微软推出的RAG项目，与传统的通过 RAG 方法使用向量相似性作为搜索技术不同，GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址：https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG，Agent，模型管理等一站式AI开发的工具平台，并且项目方一直持续维护。其中在任务编排方面相对领先对手，可以帮助研发实现像字节扣子那样的功能。

项目地址：https://github.com/langgenius/dify

项目地址：https://github.com/infiniflow/ragflow/tree/main