为什么要这么做？因为文本的数据覆盖面更广，全量，而且是高知识量的。以此为基础，就可以获得更快的学习收敛速度。这里可以类比人，人学习的过程最重要的三大来源：说话、眼睛看世界、耳朵听东西，这三个信息可能最开始要引导的教育过程，是引导他讲东西，这也就是分阶段对齐的核心要义。从图来看，LLM Backbone以语言对齐为核心，分阶段去做多模态大模型的信息压缩，找到其中的信息系规律。