北京智源人工智能研究院最近发布了全新的多模态表征世界模型悟界·RoboBrain Orca。该模型旨在通过深度学习技术，让AI在“脑海中”形成一个高度浓缩的表征，这个表征能够模拟当前世界状态及其未来演变。悟界·RoboBrain Orca的技术哲学是先利用多模态世界信号学习世界表征，再通过有意识和无意识的学习路径，实现对世界的深入理解。这种双重学习方法不仅有助于机器人更好地执行任务，还能促进科学发现和复杂系统建模。
--91likeyou---
The World is in Your Mind，这是该模型的核心哲学。在看到一段视频、一张图、一个指令、一段事件描述后，悟界·RoboBrain Orca 会先在内部形成一个统一的世界潜在表征空间。这个世界潜在表征空间就像 AI 的“脑海中的世界”，它把视觉、语言、事件、任务意图等多模态的信号组织起来，学习物体如何运动、场景如何变化、动作会带来什么后果、事件之间有什么因果关系；当前状态如何走向未来状态；甚至在某些条件下，世界会不会朝另一个方向演化。
悟界·RoboBrain Orca 的技术哲学：先利用多模态世界信号学习世界表征，再做好一切任务
同时，悟界·RoboBrain Orca 把世界学习拆成了两条互补路径：无意识学习和有意识学习。
婴儿会看到东西掉落，会看到人走动，会看到门被推开，会看到球滚到桌子下面。这些经验不是通过标签学习的，而是通过连续观察自然世界获得的。悟界·RoboBrain Orca 的无意识学习也是如此，它客观地看世界，通过海量真实世界的视频，让它先学会“世界自己怎么动”。悟界·RoboBrain Orca 的有意识学习，即主观地交互世界，就是用语言描述的事件、任务指令和 VQA 问答，帮助模型学习稀疏但有具体意义的状态转移。
智源表示，随着训练数据的增加，悟界·RoboBrain Orca 的下游任务能力可随之提升，且具备持续 Scaling 的潜力。
悟界·RoboBrain Orca 学到的表征可通过多种解码器读出。在文本读出上，悟界·RoboBrain Orca 更擅长状态转移的理解和动态运动的推理；在图像读出上，悟界·RoboBrain Orca 更能展现真实场景的交互预测能力；在动作读出上，悟界·RoboBrain Orca 没有在预训练中学习动作标签，也能帮助下游机器人更好地泛化。
悟界·RoboBrain Orca 所代表的世界学习范式有可能从具身智能进一步走向科学发现、复杂系统建模乃至更广阔的认知边界。它是多模态表征世界模型的一个早期版本，但有可能成为通用世界基础模型的一块重要基石。
🔥 热词：#悟界 · #RoboBrain · #Orca · #AI · #把世界学习拆成两条互补路径 · #成通用世界基础模型基石 · #大语言模型学会了预测 · #下一个词