1. 项目概述当大模型“偏科”视觉感知为何总被文本牵着鼻子走最近在跟几个做多模态大模型落地的团队交流大家普遍反映一个挺有意思的现象模型在纯文本任务上表现惊艳能写诗、能编程、能逻辑推理可一旦涉及到需要“看”的任务比如描述一张复杂的图表、理解一段视频里的动作意图或者根据图片生成精准的指令效果就有点“拉胯”。不是完全不行而是总感觉差了那么点意思——模型的理解似乎总是被文本描述“带偏”对图像本身丰富、细微的视觉信息捕捉不足。这背后其实就是我们标题里提到的“模态失衡”问题而根源往往指向了模型底层那个“文本中心”的结构设计。简单来说当前绝大多数主流的多模态大模型其核心架构可以看作是一个强大的文本大语言模型LLM接上了一个视觉编码器比如ViT。视觉信息图片、视频帧先被编码成一系列特征向量视觉Token然后这些视觉Token被“对齐”或“投影”到文本Token的语义空间中最后一起扔给LLM去理解和生成。这个流程听起来很合理但问题就出在“对齐”和“投影”这一步。由于LLM天生是为处理离散、序列化的文本Token而设计和训练的它在整个模型中占据了绝对的主导地位和计算资源。视觉信息在进入LLM之前已经被迫“削足适履”压缩并转换成了文本语义空间下的近似表达其原本连续、高维、富含空间和纹理细节的特性被大幅削弱。这就好比让一个精通文学的作家去鉴赏一幅画他只能通过把画翻译成文字来描述而无法直接用画家的视角去感受色彩、笔触和构图。模型在完成视觉感知任务时本质上是在进行“基于文本描述的推理”而非真正的“视觉理解”。这个问题在哪些场景下会暴露得特别明显呢我总结了几类细粒度视觉问答VQA比如问“图片中那个人手里拿的杯子上印的是什么logo” 模型可能更倾向于根据文本上下文“人”、“杯子”去生成一个合理的logo名称而不是仔细分析图像中那个模糊的图案。空间关系与场景理解要求描述物体间的精确位置关系“A在B的左上方且部分遮挡了C”或者理解一个需要复杂空间推理的指令“请绕过沙发走到窗边那个盆栽的后面”。文本中心模型容易混淆左右、忽略遮挡层次。需要视觉常识或反直觉判断的任务例如一张“看起来像皮革但实际上是塑料”的材质图片模型很可能被训练语料中“皮革”与某些视觉模式的强关联所误导。开放域视觉生成与编辑当要求根据非常具体的视觉属性生成或修改图像时“把天空的云彩改成晚霞般的橙红色并带有丝缕状纹理”文本指令的模糊性会导致生成结果与预期有偏差。理解这个“文本中心结构主导视觉感知”的困局不仅是为了吐槽现有模型的不足更是为了给我们在模型选型、任务设计甚至研发方向上提供关键洞察。接下来我们就深入拆解一下这个结构的运作机理、它带来的具体问题以及在实际应用中我们该如何应对和缓解。2. 文本中心架构的运作机理与失衡根源要解决问题先得看清它的全貌。当前主流的视觉-语言多模态大模型其架构可以形象地比喻为“视觉翻译官文本大脑”的组合。让我们拆开看看每个部分是怎么工作的以及失衡是如何发生的。2.1 主流架构拆解视觉编码器、投影层与大语言模型视觉编码器Visual Encoder通常是像Vision TransformerViT或CLIP的视觉主干网络这样的模型。它的任务是把一张输入图像例如224x224分辨率切割成一个个图像块Patch然后将其编码成一个序列的视觉特征向量我们称之为“视觉Token”。这个过程可以理解为将丰富的像素信息压缩成一组高度抽象的、代表图像内容的“视觉概念”集合。例如一个包含猫和沙发的图片可能被编码成一组分别对应“猫头”、“猫身”、“沙发纹理”、“背景”等概念的Token。投影层Projection Layer / Connector这是整个架构中最关键也最脆弱的环节。它是一个或多个线性层或小型跨模态注意力模块。其唯一使命是将视觉编码器输出的视觉Token序列映射或曰“对齐”到文本大语言模型LLM的输入嵌入空间。因为LLM只认识它自己词典里的文本Token对应的向量空间所以所有外来信息包括图像、音频、视频都必须先“翻译”成LLM能理解的“语言”。这个投影层通常参数较少训练时它与视觉编码器一起通过大量的图像-文本对如“一张图配一段描述”进行端到端或两阶段训练目标是让投影后的视觉特征在LLM的语义空间里与描述该图像的文本特征尽可能接近。大语言模型Large Language Model, LLM架构的核心与主宰。它接收处理后的序列这个序列现在是文本Token嵌入和投影后视觉Token嵌入的混合体。LLM基于其强大的自回归生成能力像处理文本一样处理这个混合序列并输出文本响应。所有的复杂推理、知识调用和语言生成都在这里发生。2.2 信息瓶颈视觉特征在投影中的“失真”失衡的根源就从投影层开始。这个层面临一个几乎不可能完成的任务将一个高维、连续、富含空间和语义细节的视觉特征空间压缩并扭曲到另一个为离散、序列化文本而优化的特征空间。维度压缩与信息丢失视觉编码器输出的特征维度例如ViT-L的1024维与LLM的嵌入维度例如Llama的4096维或4096维往往不同。投影层进行线性变换时本质上是一种有损压缩。大量的细节信息特别是高频的纹理细节、精确的色彩梯度、微小的空间偏移在这个压缩过程中被平滑或丢弃了。语义空间的错配文本语义空间是由数十亿文本语料塑造的它高度结构化擅长处理抽象概念、逻辑关系和语法。视觉特征空间则是由图像数据塑造的更偏向于纹理、形状、颜色等感知属性。强行将后者映射到前者相当于用一套“哲学词典”去翻译“绘画技法手册”很多视觉专属的“词汇”如某种特定的光影效果在文本词典里根本没有精确的对应项只能找到一个近似的、模糊的“解释”。序列化处理的局限LLM处理的是严格的一维序列。视觉Token被投影并插入到文本Token序列中后它们之间的二维空间关系上下左右、相对距离信息变得极其微弱基本只能依靠位置编码来勉强维持顺序但原始的2D结构信息已严重受损。这对于需要理解复杂场景布局的任务是致命的。注意很多研究试图用更复杂的投影层如感知器、交叉注意力来缓解这个问题但这又引入了新的问题复杂的连接器需要更多的训练数据和计算资源且容易过拟合到训练集的特定对齐模式上泛化能力未必更好。2.3 训练数据的偏见文本描述主导了监督信号模型的“认知”是由训练数据塑造的。多模态大模型的训练数据主体是来自互联网的海量图像文本描述对。这里存在一个根本性的偏差描述的不完备性与主观性一张图片的文本描述往往是人类标注者对其主要内容的高度概括和主观解读。它不会、也不可能描述图像中的每一个细节。例如一张街景图描述可能是“一个繁忙的十字路口有行人和车辆”而不会说“左下角第三个行人穿着带蓝色条纹的袜子广告牌上第二个字母有褪色”。模型在学习对齐时会自然而然地学会关注那些容易被文本描述的宏观、显著物体而忽略那些未被提及的细粒度视觉属性。文本的优先性在训练损失函数如对比学习损失、生成式语言建模损失的驱动下模型的核心优化目标是“根据图像生成匹配的文本”或“判断图像和文本是否匹配”。这强化了文本的“标准答案”地位。模型内部会形成一种机制对于模糊的视觉信息倾向于用文本语料中常见的、概率高的关联去“脑补”而不是忠实于视觉证据。这就导致了前文提到的“看起来像皮革就判断为皮革”的错误。这种数据偏差使得模型在训练之初就建立了一种“文本是视觉的权威解释”的认知模式进一步固化了文本中心的主导地位。3. 模态失衡在视觉感知任务中的具体表现与案例理论说了很多我们落到实际任务中看看。这种结构性的失衡在各类视觉感知任务上会开出怎样的“问题之花”我结合一些实测和公开的案例来具体说明。3.1 视觉问答VQA中的“想当然”与“忽略细节”VQA是检验模型视觉理解能力的试金石。文本中心模型在这里常表现出两种倾向基于语言先验的“想当然”当图像内容模糊或存在歧义时模型会优先依赖文本问题中的词汇与训练语料中的统计关联来回答而非深入分析图像。例如经典测试给出一张“体育馆里空无一人的跑道”的图片提问“人们在做什么” 许多模型会回答“跑步”或“锻炼”因为“体育馆跑道”和“人们运动”在文本语料中强关联尽管图中根本没有人。模型没有进行严格的视觉验证。对细粒度视觉属性的忽略对于需要观察细节的问题模型能力不足。比如问“这本书的封面是什么颜色” 如果书封面是渐变色或者主色调之外有重要的小面积配色模型很可能只给出一个主要的、常见的颜色如“蓝色”而无法准确描述“从上至下由深蓝渐变为浅蓝书名处有烫金字样”。因为文本描述数据集中很少会对颜色进行如此精确的、超出基本范畴的描述。实操心得在评估或使用VQA模型时不要只看它回答“是/否”或简单物体识别类问题的准确率。一定要设计包含反语言先验和需要细粒度描述的测试集。例如故意用与常见认知相反的图片如“在雪地里穿着泳装的人”提问或询问物体上非常具体的纹理、磨损痕迹、文字内容等。3.2 指代表达理解与空间关系推理的混乱指代表达如“点击左上角那个红色的按钮”和空间关系推理“把左边的积木放到右边积木的上面”严重依赖对视觉场景的几何和拓扑理解。文本中心模型在这里的短板非常明显左右不分参照系混乱由于2D空间关系信息在序列化后严重丢失模型对“左/右”、“上/下”的判断常常基于物体识别后的粗糙位置估计容易出错。特别是当参照物不明确或视角倾斜时。无法处理复杂空间关系对于“A部分遮挡了B”、“C在D和E之间”这类需要理解相对深度和精确位置的任务模型表现不佳。因为投影后的视觉Token序列几乎无法有效编码遮挡关系和精确坐标。指代模糊对于“那个”、“这个”等指代词模型更倾向于关联到文本描述中最可能提到的物体而不是在视觉场景中根据注意力焦点或对话历史进行真正的视觉定位。案例在一个机器人抓取指令任务中指令是“请拿起放在笔记本旁边的咖啡杯”。场景中有一个笔记本电脑旁边有两个杯子一个马克杯一个带碟的 espresso 杯。文本中心模型可能成功识别出“笔记本”和“咖啡杯”但由于无法精确建模“旁边”的距离和方位它可能随机选择一个杯子或者选择那个在训练数据里更常与“咖啡杯”关联的马克杯即使视觉上espresso杯更近。3.3 图像描述生成笼统化与“幻觉”让模型描述一张图片最能体现其“世界观”。文本中心模型生成的描述往往笼统而缺乏细节倾向于生成安全、常见的描述模板如“这是一张美丽的风景照有山有水有天空”而避免描述具体的云朵形状、水波纹理、树木种类等。因为生成这些细节需要模型对视觉特征有高度自信且能在文本词表中找到精确对应这恰恰是瓶颈所在。产生“视觉幻觉”即生成图像中并不存在的内容。这通常是因为文本解码时语言模型基于强大的语言先验自动补全了它认为“应该存在”的东西。例如看到一张办公桌图片桌上有一台电脑和几本书模型可能描述“桌上有一台电脑、几本书和一杯咖啡”只因为“办公桌”、“电脑”、“书”和“咖啡”在文本世界中经常共现。空间描述顺序生硬描述物体时顺序可能不符合人类的视觉扫描习惯如从左到右、从中心到周边而是更像在列举一个物体识别清单缺乏空间叙事感。提示评估图像描述质量时除了传统的BLEU、CIDEr等基于n-gram匹配的指标更应关注基于视觉-语义对齐的指标如CLIPScore和人工评估中对细节准确性和幻觉出现频率的判断。3.4 多模态推理中的视觉证据利用不足对于一些需要结合视觉和文本进行深度推理的任务如基于图的问答、视觉常识推理等模型往往表现出“重文本轻视觉”的倾向。它可能会从问题文本中提取关键实体和关系然后主要依靠LLM内部的世界知识进行推理只是把图像作为一个粗略的“上下文验证”而非核心的证据来源。例如一个问题可能隐含需要从图表中读取精确数值进行计算的步骤但模型可能会尝试直接根据问题中的文字进行估算或调用记忆中的近似答案。4. 从模型设计到应用调优应对模态失衡的实践策略认识到问题是为了解决问题。虽然彻底改变文本中心架构可能需要学术界的突破但在工程和应用层面我们有一系列策略可以显著缓解模态失衡带来的负面影响。这些策略贯穿了模型选型、数据处理、提示工程和评估全流程。4.1 模型架构层面的改进趋势与选型参考尽管文本中心是主流但社区已经在探索改进路径。了解这些趋势有助于我们选择更合适的模型或为未来研发做准备。更强的视觉编码器选择那些使用了更大规模、更多样化数据预训练的视觉编码器的模型。例如采用在数十亿网络图像上训练过的ViT-Huge或更先进的视觉主干如EVA-CLIP其提取的视觉特征本身就更具代表性和鲁棒性能在投影前保留更多信息。更“平等”的架构探索Flamingo-style 的交叉注意力在LLM的每一层或关键层都插入视觉特征通过交叉注意力让文本生成过程能持续、动态地关注视觉信息而不是只在开头注入一次。这给了视觉信息更多影响决策的机会。视觉专家网络Visual Expert在模型内部引入专门处理视觉模态的小型网络模块与语言专家并行或交替工作让视觉处理拥有一定的“自主权”。例如Qwen-VL系列模型就在这方面做了尝试。统一序列化像Pix2Seq或一些视觉语言模型尝试用更统一的方式将图像表示为离散Token序列如通过VQ-VAE然后让一个统一的Transformer同时处理视觉和文本Token序列从架构上淡化模态差异。但这通常需要从头训练成本极高。选型建议对于需要较强视觉感知能力的应用如细粒度图像理解、文档分析在同等参数量级下可以优先考察那些视觉编码器更强、视觉Token分辨率更高即图像被切分成更多块、投影层或交互机制更复杂的模型。查阅论文或技术报告时重点关注其在需要细节和空间推理的基准如RefCOCO、VQAv2、TextVQA、DocVQA上的表现而不仅仅是看MMLU或GSM8K这类更偏重语言和数学推理的榜单。4.2 数据与训练策略注入更丰富的视觉监督如果我们有机会参与模型微调或领域适配数据策略是纠正失衡最有效的手段之一。构造细粒度对齐数据收集或生成大量强调视觉细节的图像文本对。文本描述不应只是概括主题而应强迫性地包含对颜色、形状、纹理、空间关系、相对大小、部件构成等属性的精确描述。例如不仅说“一辆车”而是说“一辆红色、两厢的掀背车左前轮毂有五辐条设计车顶有行李架”。引入区域-文本对齐数据使用目标检测框或分割掩码将图像中的特定区域与描述该区域的短语对齐。这能直接教会模型建立局部视觉特征与局部文本描述的关联增强其细粒度理解能力。很多开源VLP数据集已包含此类标注。使用反例和困难样本在训练数据中故意加入“误导性”文本描述如图片是猫描述写狗或者视觉上相似但类别不同的物体对迫使模型更依赖视觉证据而非文本先验来做判断。多任务联合训练在微调时不仅训练文本生成任务同时加入视觉相关的辅助任务如图像描述强调细节、视觉问答强调推理、指代表达理解强调定位等。多任务损失可以平衡模型对不同模态信息的关注度。4.3 提示工程与解码技巧引导模型“多看几眼”对于只能使用API或预训练模型的开发者巧妙的提示Prompt是成本最低的干预工具。明确要求关注视觉细节在指令中直接、具体地要求模型描述细节。对比以下两种提示弱提示“描述这张图片。”强提示“请详细描述这张图片。请依次说明图中的主要物体、它们的颜色、形状、相对位置关系以及任何你注意到的纹理、光线或背景细节。” 后一种提示能显著提升描述的细致程度。分步推理与自我验证对于复杂视觉问题引导模型进行“思维链”式的推理。例如“首先请列出图片中所有可见的物体。”“其次针对物体A描述它的颜色和大致位置。”“最后基于以上观察回答这个问题[你的问题]” 这相当于强迫模型将视觉感知过程分解、显式化每一步都更贴近图像内容。利用系统角色设定在对话开始时为模型设定一个擅长视觉观察的角色。例如“你是一个具有顶尖视觉观察力的助手总是基于图片中的实际证据回答问题不会依赖猜测。”温度Temperature与核采样Top-p参数调整降低生成时的随机性如Temperature0.1~0.3可以使模型输出更倾向于高概率的、基于视觉证据的Token减少天马行空的“幻觉”。但也要注意避免输出过于死板。实操心得提示工程的效果因模型而异需要大量实验。一个实用的方法是构建一个小型的“提示测试集”包含各种类型的视觉任务然后系统性地尝试不同的提示模板和参数记录效果找到最适合你所用模型和任务的最佳实践。4.4 后处理与集成方法融合专精模型当单一多模态大模型能力不足时一个可靠的工程策略是“扬长避短”将其与专精的视觉模型结合。级联管道Cascade Pipeline对于复杂任务先使用专门的视觉模型提取结构化信息再将此信息作为文本上下文输入给大模型。例如目标检测大模型先用YOLO或DETR检测出图中所有物体及其边界框将“物体列表位置”以文本形式描述给大模型再提问。OCR大模型处理文档或图表图片时先用PaddleOCR或Tesseract提取全部文字和布局信息将带坐标的文本输入大模型进行理解。图像分割大模型对需要理解区域的任务先用SAMSegment Anything获取感兴趣区域的掩码再针对该区域提问。 这种方法将最困难的视觉感知子任务交给了更专业的工具大模型则专注于它擅长的语言理解和推理效果往往比端到端模型更好、更可控。模型集成与投票对于关键任务可以同时使用多个多模态大模型或同一模型的不同提示然后对它们的输出进行一致性检查或投票选择最可信的结果。5. 评估、监控与持续迭代构建健壮的多模态应用将多模态模型投入实际生产不能只依赖论文中的基准分数。必须建立一套针对“模态失衡”问题的专项评估和监控体系确保应用在实际场景中的鲁棒性。5.1 构建针对性的评估数据集你的测试集应该能精准地暴露模型在视觉感知上的弱点。建议包含以下几类样本测试类别具体示例评估目标细粒度属性识别“图中人物的眼镜是什么形状的圆形/方形/猫眼”、“地毯的花纹是几何图案还是花卉图案”检验模型对颜色、形状、纹理、材质等非显著属性的捕捉能力。空间关系推理“请描述书架从上往下数第二层中间那本书的书脊颜色。”、“那个穿红衣服的人是在队伍的哪个位置最前/最后/中间”检验模型对绝对和相对位置、顺序、遮挡关系的理解。反语言先验图片一个孩子在图书馆里吃冰淇淋。问题“这个孩子可能在做什么”正确答案应包含“吃冰淇淋”而非“看书”检验模型是依赖视觉证据还是文本常识。需要计数的任务“图片中有多少扇窗户”、“桌上有几个苹果”检验模型对同类物体的区分和枚举能力避免模糊估计。指代表达理解在复杂场景图中用箭头或框标出一个物体问“这个物体是什么”检验模型将语言指代与视觉实体精准关联的能力。幻觉检测给出一张内容简单、清晰的图片让模型生成详细描述。人工检查描述中是否出现了图中不存在的事物。定量评估模型“无中生有”的频率。5.2 设计有效的监控指标线上服务中除了常规的响应延迟、成功率还需要业务层面的视觉感知质量监控。人工抽查流水线定期如每天或每周对线上请求进行抽样由标注人员对模型的视觉相关回答进行质量评分。重点关注上述测试集中的薄弱环节。一致性检查对于同一张图片用稍加改动的、语义相同的问题多次提问例如“描述图中的主要物体”和“图片里有什么东西”检查模型回答的核心事实是否一致。不一致可能表明模型对视觉内容的把握不稳定。置信度与不确定性估计一些模型可以输出生成Token的概率。对于视觉相关答案如果其生成概率显著低于文本部分可能意味着模型对视觉证据信心不足这个信号可以用来触发人工审核或降级处理。A/B测试当尝试新的提示模板、模型版本或集成策略时通过A/B测试严格对比其在视觉任务上的性能提升而不仅仅是整体满意度。5.3 常见问题排查清单当发现多模态应用在视觉任务上表现不佳时可以按以下清单进行排查输入图像质量图像是否分辨率过低、过度压缩、存在模糊或畸变视觉编码器对输入质量敏感。提示指令是否清晰指令是否明确要求模型“根据图片”回答问题是否避免了引导模型进行纯文本推理任务是否超出模型能力边界当前任务是否需要超细粒度识别或复杂空间推理这可能本就是当前架构模型的固有限制考虑引入专精模型辅助。领域偏移模型是否在训练时见过类似风格的图像例如将通用模型直接用于医学影像或卫星图片效果必然差。考虑领域适配微调。解码策略是否使用了过高的Temperature导致幻觉增多尝试调整生成参数。模型本身的选择是否使用了视觉能力较弱的模型对比其他在视觉基准上表现更好的模型。5.4 迭代方向从缓解到根治的思考长期来看要根本性解决模态失衡业界和学界正在探索的方向值得我们持续关注下一代架构真正平等的多模态架构例如基于扩散模型统一生成多种模态或者设计全新的、原生支持多模态输入的Transformer变体让视觉和文本在更早的阶段、更深的层次进行融合。更丰富的训练目标除了图像-文本匹配引入更多自监督的视觉学习目标如掩码图像建模、图像补全、视频帧预测等让模型在预训练阶段就建立更强的视觉表征能力。仿真与合成数据利用3D引擎和生成式AI创造海量、精准标注的视觉场景数据包含精确的空间关系、材质属性等为模型提供“教科书”级别的视觉监督。多模态大模型的“文本中心”结构是其成功从语言走向多模态的捷径但也成为了其深化视觉理解的枷锁。在实际工作中我们既要清醒地认识到这一结构性局限避免在不擅长的任务上对其抱有不切实际的期望也要积极运用数据、提示、工程集成等多种手段在现有框架下挖掘其最大潜力。理解失衡方能更好地驾驭平衡。这个过程本身就是探索AI如何更全面理解我们世界的一部分。
