MindTopo 基准揭示多模态大语言模型的空间推理能力
微软研究院推出 MindTopo 基准,评估多模态大语言模型对连通、封闭、排序、分离和打结等拓扑关系的理解,发现模型在静态识别上远优于交互规划。基准在五个拓扑类别上分别测试推理与规划,并在可控模拟器中提供精确真值以分离感知与规划两类失败。当前模型常在规划多步后失去结构关系或提出违反物理约束的动作,静态识别也会因漏看墙或开口而失败。
微软研究院推出 MindTopo 基准,评估多模态大语言模型对连通、封闭、排序、分离和打结等拓扑关系的理解,发现模型在静态识别上远优于交互规划。基准在五个拓扑类别上分别测试推理与规划,并在可控模拟器中提供精确真值以分离感知与规划两类失败。当前模型常在规划多步后失去结构关系或提出违反物理约束的动作,静态识别也会因漏看墙或开口而失败。
针对长程交互中递归摘要带来的性能损失,Berkeley AI Research提出ABBEL框架,将摘要组织为自然语言信念状态并引入信念评分以监督其信息内容。在CollabBench协作编码环境中,ABBEL将全上下文模型的性能差距缩小约50%,训练步数由100步减至50步,同时峰值上下文token大幅降低。
GRASP是一种新的基于梯度的规划器,用于学习动力学(世界模型),通过将轨迹提升为虚拟状态实现时间并行优化、直接向状态迭代添加随机性进行探索、重塑梯度以避免高维视觉模型中的脆弱梯度,从而让长视野规划变得实用。这项工作针对现代世界模型在长视野规划中的病态优化、非贪心局部极小和高维空间失效问题,提出了更鲁棒的梯度规划方法。