你有没有遇到过这种情况：让 AI 画一只“在火星上喝咖啡的猫”，结果它给你的图里，猫长得像你家邻居的橘猫，背景却是某张著名科幻电影海报的拙劣复刻？这就是典型的“死记硬背”。
很多开发者以为数据喂得越多，文生图 (Text-to-Image) 模型就越聪明。现实往往相反。当模型开始背诵训练集里的像素排列，而不是理解“猫”和“火星”的概念关系时，它就陷入了过拟合的泥潭。
多模态学习的核心难点在于对齐。文本是离散的符号，图像是连续的像素。为了让两者匹配，模型需要找到一种通用的语义空间。
但在实际训练中，捷径往往存在。如果训练数据里，“赛博朋克”总是伴随着霓虹灯和雨水，模型就会偷懒：它不再学习什么是赛博朋克的建筑结构或社会隐喻，而是直接记住“霓虹+雨水=赛博朋克”这个像素公式。
这种记忆偏差在多模态模型中尤为致命。因为图像的高维特性，模型可以轻易通过记住背景纹理、光照角度甚至水印位置来降低损失函数，却完全忽略了 prompt 中的核心指令。
解决过拟合的第一刀，应该砍向数据，而不是网络结构。
很多开源数据集充满了噪声。重复的图片、错误的标签、甚至是被压缩失真的缩略图，都在误导模型。与其追求 PB 级的数据量，不如做减法。
高质量、多样化的数据配比，远比单纯增加数据总量更能抑制过拟合。
除了数据，训练策略也需要介入。传统的 L2 正则化在深度学习大模型面前显得力不从心。
尝试引入对比学习损失（Contrastive Loss）。强迫模型将同一概念的不同变体（比如不同品种的猫）在嵌入空间中拉近，同时将不同概念推远。这能迫使模型关注语义本质，而非表面像素。
另外，Dropout 的使用要谨慎。在 Transformer 架构中，过高的 Dropout 率可能破坏注意力机制的学习稳定性。建议采用 Layer Dropout 或 Stochastic Depth，随机丢弃整个层，而不是单个神经元，这样能更好地保持特征提取的完整性。
彻底消除过拟合几乎是不可能的，尤其是在生成式任务中。我们的目标不是让模型变成一台完美的复印机，而是让它成为一个懂举一反三的画师。
当你在测试集中发现模型又开始“背书”时，别急着加层数。回过头去看看，是不是你的数据里，某种风格又被过度代表了？有时候，少即是多。
