Ilya预言成真，下一个token预测直达AGI！智源首发原生多模态世界模型Emu3，不用扩散

最近，Ilya向黄仁勋描述「只要能预测下一个token，就能达到AGI」的视频再次爆火全网，他的预言刚刚竟被证实？智源研究院基于下一个token预测，发布了原生多模态世界模型Emu3，无需扩散即可理解生成三种模态数据！

虽然，下一token预测已在大语言模型领域实现了ChatGPT等突破，但是在多模态模型中的适用性仍不明确，多模态任务仍然由扩散模型（如Stable Diffusion）和组合方法（如结合CLIP视觉编码器和LLM）所主导。

2024年10月21日，智源研究院正式发布原生多模态世界模型Emu3。该模型只基于下一个token预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。

Emu3在图像生成、视频生成、视觉语言理解等任务中超过了SDXL、LLaVA、OpenSora等知名开源模型，但是无需扩散模型、CLIP视觉编码器、预训练的LLM等技术，只需要预测下一个token。

在图像生成任务中，基于人类偏好评测，Emu3优于SD-1.5与SDXL模型。在视觉语言理解任务中，对于12项基准测试的平均得分，Emu3优于LlaVA-1.6。在视频生成任务中，对于VBench基准测试得分，Emu3优于OpenSora 1.2

Emu3提供了一个强大的视觉tokenizer，能够将视频和图像转换为离散token。这些视觉离散token可以与文本tokenizer输出的离散token一起送入模型中。

与此同时，该模型输出的离散token可以被转换为文本、图像和视频，为Any-to-Any的任务提供了更加统一的研究范式。而在此前，社区缺少这样的技术和模型。

此外，受益于Emu3下一个token预测框架的灵活性，直接偏好优化（DPO）可无缝应用于自回归视觉生成，使模型与人类偏好保持一致。

Emu3研究结果证明，下一个token预测可以作为多模态模型的一个强大范式，实现超越语言本身的大规模多模态学习，并在多模态任务中实现先进的性能。

通过将复杂的多模态设计收敛到token本身，能在大规模训练和推理中释放巨大的潜力。

下一个token预测为构建多模态AGI提供了一条前景广阔的道路。

目前Emu3生成和理解一体的预训练模型以及相应的SFT训练代码，已完全开源。

代码：https://github.com/baaivision/Emu3

项目页面：https://emu.baai.ac.cn/

模型：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f

Emu3一经上线便在社交媒体和技术社区引起了热议。

有网友指出，「这是几个月以来最重要的研究，我们现在非常接近拥有一个处理所有数据模态的单一架构。」

「Emu3是一种非常新颖的方法（至少在我看来是这样），它有机会将多模态合并为一，只需将它们都视为token即可。虽然还处于初期，但演示效果很不错。想象一下，我们可以无限扩展视频和生成多种模态。」

甚至有网友评价：「也许我们会得到一个真正开放的OpenAI v2？」

对于Emu3的意义和影响，有评论指出：「Emu3将彻底改变多模态AI领域，提供无与伦比的性能和灵活性。」

「Emu3在各行各业的广泛适用性和开源灵活性将为开发者和企业解锁人工智能创新能力的机会。」

「对于研究人员来说，Emu3意味着出现了一个新的机会，可以通过统一的架构探索多模态，无需将复杂的扩散模型与大语言模型相结合。这种方法类似于transformer在视觉相关任务中的变革性影响。」

「Emu3的统一方法将带来更高效、更多功能的AI系统，简化多模态AI的开发和应用以及内容生成、分析和理解的新可能性。」

「Emu3改写了多模态人工智能的规则…Emu3重新定义了多模态AI，展示了简单可以战胜复杂。多模态AI的未来变得更加精炼与强大。」

https://www.163.com/dy/article/JF1FKJQJ0511ABV6.html?spss=dy_author