「多模态」这个词被用得太宽：能给图片打标签叫多模态，能生成视频也叫多模态。但从工程视角看，这个领域其实走过了四级清晰的台阶——每一级的能力边界、成本结构和落地场景都完全不同。这篇沿着台阶梳理：你在哪一级，下一级值不值得上。
第一级：拼接式——外挂编码器加文本大模型
最早的多模态是「拼」出来的：视觉编码器把图片压缩成向量，投影层把它翻译成大模型能读的 token，再接上语言模型。优点是改造成本低、迭代快；缺点是模态之间隔着一层「翻译损耗」——细粒度空间关系（谁在谁左边）和高分辨率细节丢失严重。适合图文问答、票据识别这类粗粒度任务，也是多数团队第一次做多模态的起点。
第二级：对齐式——对比学习打底的多模态理解
以视觉语言对比预训练为代表，图与文在同一个语义空间里对齐，检索、分类、零样本识别能力大幅提升。这一级的代表作能把「找一找相似的图」做得很准，但生成能力仍然依赖外挂模块。判断标志：你的模型能不能不微调就理解没见过的新概念组合？能，说明对齐质量过关；不能，还是拼接阶段。
第三级：原生式——统一 token 空间的联合训练
文本、图像、音频、视频在同一个模型里作为 token 被联合训练，模态之间不再有「翻译层」。直接收益：跨模态推理更自然（边看图边听声做判断）、指令跟随更统一（一套提示词管所有模态）、涌现能力更强。代价同样真实：训练成本按模态数量指数级上升，数据配比成为玄学，工程复杂度高一个量级。这一级是当前头部团队的竞争主战场。
第四级：全模态生成——从理解走向「全能表达」
在原生理解之上支持任意模态的输入输出组合：文生视频、图生音乐、语音驱动三维场景……这一级的技术标志是「生成一致性」——跨模态输出在语义、风格与时间轴上彼此自洽。它离成熟还有距离：视频的时序连贯性、长序列一致性、生成内容的可控性都是进行时。但方向已经明确：模型正在从「理解世界的描述者」变成「创造世界的工具」。
怎么判断该上哪一级
三点经验：一是先问任务是否真的多模态——多数业务用文本加小模型就能解决九成的问题，别为「多模态」三个字买单；二是对齐级解决「找得到」，原生级解决「想得通」，生成级解决「做得出」，按任务目标选级而不是按技术热度；三是算总账：原生多模态的推理成本通常是文本模型的数倍到数十倍，业务价值必须能覆盖这个倍数才值得迁移。
视频生成能力的验收标准见《AI 视频生成：四个门槛》；多模态内容的矩阵化运营见《AI 直播切片》；多模态技术合作欢迎通过联系合作沟通。