Action Map Policy:从高维动作回归到像素分类,一种新的机器人操作学习范式
详细介绍
Figure1. Comparison of different policy-learning frameworks.
Action Map Policy(AMP)定义了一种新的动作表达(action representation)。它首先将三维运动(orientation + translation)可逆地表示为 3D 关键点轨迹,再将这些 3D 关键点投影到多个相机平面上。通过这种方式,原本的三维运动轨迹可以被表示为二维图像空间中的像素轨迹。
Diffusion Policy
Action Map policy
Figure2. Architecture of Action Map Policy. The left branches take one in-hand image and two side-view images as input. The center features a multi-view transformer that enables communication between the in-hand features and the side-view context features. The right branch consists of two decoders that generate heatmaps of keypoints across the temporal horizon.
AMP 在三个早餐场景任务中进行了验证:制作咖啡、烤面包和蒸鸡蛋。这些任务同时考察了模型的高精度操作能力和长时序多步骤任务执行能力。例如,将咖啡胶囊准确放入咖啡机、将面包片插入狭窄的烤槽、按下按钮或拉杆,以及将蒸蛋器的盖子准确盖合,都需要较高的空间精度和稳定的闭环控制。
AMP-Breakfast Combo-Make Coffee
AMP-Breakfast Combo-Toast Bread
AMP-Breakfast Combo-Steam Egg
Table 1: Real-world performance Comparison.
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
项目地址:https://github.com/infiniflow/ragflow/tree/main
项目地址:https://github.com/phidatahq/phidata
项目地址:https://github.com/TaskingAI/TaskingAI
