4RRwDPmr6ow tech.huanqiu.comarticle我科研团队在机器人空间智能领域取得新突破/e3pmh164r/e3pmh16qj科技日报记者 夏凡记者5日从浙江人形机器人创新中心获悉,该中心联合香港中文大学、浙江大学等团队在机器人空间智能领域取得重要突破,提出名为RAM的三维空间理解与操作模型,为提升机器人在复杂长程任务中的操作可靠性提供了新的技术路径。相关成果近日发表于国际学术期刊《科学·机器人》。以视觉语言大模型为代表的人工智能(AI)技术,提升了机器人理解自然语言指令和分解复杂任务的能力。但从“听懂指令”到“完成动作”之间,仍存在关键鸿沟:机器人需要在三维空间中理解物体的位置、朝向、尺度、可操作区域及相互关系,并将这些信息转化为可执行的运动约束。现有大模型多依赖二维图文数据训练,缺乏直接的物理世界经验,在推理物体位姿和空间关系时易产生不符合物理规律的判断。如何让模型获得可验证、可迁移的三维空间知识,并将高层语义规划与底层物理执行连接起来,是具身智能和机器人操作领域的重要课题。“针对这一挑战,我们提出了RAM模型,其借鉴检索增强生成的思想,为大模型配备可查询的外部三维知识库。机器人执行任务时,模型可以按需检索物体类别、几何属性、功能平面、抓取点等信息,从而弥补视觉语言模型自身三维空间理解不足的问题。”团队成员、浙江人形机器人创新中心首席技术官许学成介绍。 研究团队还专门构建了面向机器人操作场景的空间理解问答评测集,结果显示,在该评测集覆盖的多类空间推理任务中,RAM模型的整体表现优于多种代表性视觉语言大模型。除核心任务外,RAM展现出一定通用性与扩展性。“人形机器人走向真实应用场景,不仅需要硬件本体、灵巧手和运动控制能力,也需要理解三维环境、判断物理约束并规划可执行动作的算法能力。”许学成介绍,该研究让机器人不仅能“听懂人话”,还能“精准动手”,即通过给大模型配备一套结构化的几何知识库,打通了从语义推理到精确操作的“最后一公里”。据悉,浙江人形机器人创新中心由宁波市政府与浙江大学团队联合共建,成立于2023年12月。目前,该中心已形成软硬件深度融合,覆盖多行业、多场景的产品矩阵,正助力宁波打造以人形机器人为引领的全国具身智能创新高地。1778029918234责编:窦鹏科技日报17780299182341[]{"email":"doupeng@huanqiu.com","name":"窦鹏"}
科技日报记者 夏凡记者5日从浙江人形机器人创新中心获悉,该中心联合香港中文大学、浙江大学等团队在机器人空间智能领域取得重要突破,提出名为RAM的三维空间理解与操作模型,为提升机器人在复杂长程任务中的操作可靠性提供了新的技术路径。相关成果近日发表于国际学术期刊《科学·机器人》。以视觉语言大模型为代表的人工智能(AI)技术,提升了机器人理解自然语言指令和分解复杂任务的能力。但从“听懂指令”到“完成动作”之间,仍存在关键鸿沟:机器人需要在三维空间中理解物体的位置、朝向、尺度、可操作区域及相互关系,并将这些信息转化为可执行的运动约束。现有大模型多依赖二维图文数据训练,缺乏直接的物理世界经验,在推理物体位姿和空间关系时易产生不符合物理规律的判断。如何让模型获得可验证、可迁移的三维空间知识,并将高层语义规划与底层物理执行连接起来,是具身智能和机器人操作领域的重要课题。“针对这一挑战,我们提出了RAM模型,其借鉴检索增强生成的思想,为大模型配备可查询的外部三维知识库。机器人执行任务时,模型可以按需检索物体类别、几何属性、功能平面、抓取点等信息,从而弥补视觉语言模型自身三维空间理解不足的问题。”团队成员、浙江人形机器人创新中心首席技术官许学成介绍。 研究团队还专门构建了面向机器人操作场景的空间理解问答评测集,结果显示,在该评测集覆盖的多类空间推理任务中,RAM模型的整体表现优于多种代表性视觉语言大模型。除核心任务外,RAM展现出一定通用性与扩展性。“人形机器人走向真实应用场景,不仅需要硬件本体、灵巧手和运动控制能力,也需要理解三维环境、判断物理约束并规划可执行动作的算法能力。”许学成介绍,该研究让机器人不仅能“听懂人话”,还能“精准动手”,即通过给大模型配备一套结构化的几何知识库,打通了从语义推理到精确操作的“最后一公里”。据悉,浙江人形机器人创新中心由宁波市政府与浙江大学团队联合共建,成立于2023年12月。目前,该中心已形成软硬件深度融合,覆盖多行业、多场景的产品矩阵,正助力宁波打造以人形机器人为引领的全国具身智能创新高地。