北京大学董豪团队提出首个通用指令导航大模型系统InstructNav，该工作已被CoRL 2024会议录用，不同导航任务需要不同能力，之前研究针对特定指令设计导航方法，无法满足人类下达混合类型指令的实际需求，而InstructNav极具价值。团队首先提出动态导航链路范式统一导航指令，利用大语言模型规划链路并在导航中根据场景更新。为引导机器人按链路行动，将规划结果映射到多源价值地图（包括动作、语义、直觉、轨迹价值地图），求和得到决策价值地图，以此控制机器人底层移动。作者在多种导航任务开展评测，InstructNav首次实现零样本视觉语言导航，在其他零样本导航任务上成功率最高。
论文地址：
https://arxiv.org/pdf/2406.04882
开源地址：
https://sites.google.com/view/instructnav
https://github.com/LYX0501/InstructNav
本站文章通过互联网转载或者由本站编辑人员搜集整理发布，如有侵权，请联系本站删除。