News

李飞飞,发了个能“暂停时间”的世界模型

1 min read
Source: zhidx.com
智东西 编译 | 王涵 编辑 | 心缘 智东西9月2日消息,今天凌晨,“AI教母”李飞飞的世界模型创企World labs发布 新一代 世界模型Atlas 。 该模型采用 多模态自回归扩散Transformer架构 ,将所有输入融合到一个共享的空间上下文之中。 Atlas可以借助这一上下文来预测后续内容,在三维空间中与已见信息保持连贯一致,并能推想视野之外的景象。同时,Atlas遵循Scaling Law,其性能会随训练计算量的增加而稳步提升。 Atlas可执行 世界生成、重建和模拟 等任务,具体能力如下: 1、摄像机控制生成: Atlas可以根据一张或多张图像生成图像和视频,支持像素级精准的摄像机控制,可输出长达一分钟、分辨率高达1440p的视频内容。 2、空间重建: Atlas可以依据一至数十张输入图像,即可重建真实世界的三维场景。它既能生成新视角下的图像帧,也能输出显式的3D数据,其表现甚至超越了专攻三维重建的顶尖模型。 3、时空模拟: Atlas可基于输入视频对空间与时间进行联合建模,可对视频进行重新构图,同时为机器人领域开启“真实到模拟”的工作流程。 4、图像生成: Atlas可根据文本描述生成图像及360°全景图,不仅能遵循复杂指令,精准呈现文字,还能驾驭丰富多样的视觉风格。 在技术报告中,World labs团队补充称,Atlas将作为核心技术,驱动World Labs旗下Marble及未来更多产品的迭代升级。 一、可以想象摄像机后方场景,还能生成360°全景图 在摄像机控制方面,Atlas能够根据一张或多张参考图像,在用户指定的 任意摄像机位置和角度 生成全新的