DC娱乐网

连拿四个第一,力压Genie 4和Atlas!中国团队造出真物理世界模型

世界模型赛道,这两天彻底迎来了大爆发!

就在昨天,谷歌DeepMind发布了全新一代实时世界模型Genie 4,做到了每秒24帧实时生成、单帧延迟低至40毫秒,还能保持长达2分钟的连贯记忆。

无论是谷歌的Genie 4还是李飞飞的Atlas,主流世界模型生成的三维场景已经一个比一个逼真。

可真要把它们搬进具身智能产线去训练机器人,工程师很快就会遇到瓶颈。因为这些漂亮的画面背后,还缺少底层的刚体力学计算。

要想让机器人在虚拟世界里真练出本事,世界模型就必须在逼真视觉之上更进一步,把真实的物理规律补上。

就在刚刚,大晓机器人联合南洋理工大学S-Lab,正式发布了面向具体环境构建、可探索、可交互的世界模型「Mundo」!

几张酒店照片重建3D空间并供机器人交互

和那些只能看景色的模型不同,Mundo是一个懂物理属性、能动手交互的世界模型。

它把3D场景重建、物理仿真与视频生成融为一体,还结合Astra打造了全新的空间理解能力。

比如在团队展示的办公室实测中,只需对着办公桌、转椅和抽屉柜随手拍下9张照片,整间屋子就能变成一个可以用Python代码操控的物理世界。

Python代码驱动抽屉滑开与苹果撞击显示器

要把物理碰撞算得这么准,前提是先把真实房间的三维结构还原准确。

你只需拿手机拍下1到12张照片,它就能把不同视角的信息放进同一个三维空间,拍到的地方按原样保留真实布局,没拍到的死角也会顺着房间结构自动补齐。

经过几轮迭代校准,酒店客房里3D框的边缘误差从72.3像素一路降到了1.9像素。

Boxer、SpatialLM与Mundo的3D框对比

这套能力并没有停留在实验室的桌面上,技术团队已经把Mundo带进真实的商业酒店完成了实测。

目前,这套技术体系已经走进商业场景,很快将在国内头部连锁酒店落地实际应用。

世界模型上半场比拼的是谁生成的画面更逼真,下半场比拼的则是谁能把真实的物理规律装进虚拟世界。

参考资料:

https://mundo-world-model.github.io/


编辑:摩西