“何恺明新”作 给扩散模型加正则化 无需预训练无需数据：增强 超！简单实现性能提升

扩散模型风头正盛，何恺明最新论文也与此相关。

研究的是如何把扩散模型和表征学习联系起来——

给扩散模型加上“整理收纳”功能，使其内部特征更加有序，从而生成效果更加自然逼真的图片。

具体来说，论文提出了Dispersive Loss——一种即插即用的正则化方法。

核心思想是，在模型输出的标准回归损失（如去噪）外，引入一个目标函数，用于对模型的中间表示进行正则化。

这有点类似于对比学习中的排斥效应。但相较于对比学习，其独特的优势在于：

无需正样本对，避免了对比学习中的复杂性； 具有高度通用性，可以直接应用于现有扩散模型，不需要修改模型结构； 计算开销低，几乎不增加额外的计算成本； 与原始损失兼容，不干扰扩散模型原有的回归训练目标，易于在现有框架中集成。

让中间表示在隐藏空间中分散

一起来看论文细节。

何恺明和合作者Runqian Wang的出发点有三：

扩散模型的局限性

扩散模型在生成复杂数据分布方面表现出色，但其训练通常依赖于基于回归的目标函数，缺乏对中间表示的明确正则化。

表征学习的启发

表征学习（特别是对比学习）通过鼓励相似样本靠近、不同样本分散，能有效学习通用表示。

对比学习在分类、检测等任务中已经取得成功，但在生成任务中的潜力尚未被充分探索。

现有方法的不足

REPA（表征对齐）等现有方法尝试通过对齐生成模型的中间表示和预训练表示来改进生成效果，但存在依赖外部数据、额外模型参数和预训练过程的问题，代价高昂且复杂。

他们开始考虑，如何借鉴对比自监督学习，鼓励生成模型的中间表示在隐藏空间中分散，从而提高模型的泛化能力和生成质量。

基于这样的核心思想，他们设计了Dispersive Loss：通过正则化模型的中间表示，增大中间表示的分散性，使其在隐藏空间中分布得更加均匀。

与对比学习的不同之处在于，在对比学习中，正样本对需要通过数据增强等方法手动定义，并通过损失函数将正样本对拉近、负样本对分开。

Dispersive Loss则不需要定义正样本对，仅通过鼓励负样本对之间的分散性来实现正则化。

对于一批输入样本

，Dispersive Loss的目标函数可以表示为：

其中，

是单个样本的标准扩散损失，

为分散损失项，即正则化项，λ为正则化强度，用于平衡扩散损失和分散损失的权重。

可以看到，Dispersive Loss的实现非常简洁，不需要额外的样本对或复杂操作，可以直接作用于模型的中间层表示。

并且不仅支持单层应用，也支持多层叠加——理论上可以在多个中间层同时应用Dispersive Loss，进一步增强不同层级特征的分散性。

实验结果

作者在ImageNet上，使用DiT和SiT作为基线模型，对不同规模的模型进行了广泛测试。

结果显示，Dispersive Loss在所有模型和设置中均提高了生成质量。比如，在SiT-B/2模型上，FID从36.49降到了32.45。

与REPA方法相比，Dispersive Loss不依赖预训练模型或外部数据，生成质量则并不逊色。

在SiT-XL/2 模型上，Dispersive Loss的FID为1.97，而REPA的FID为1.80。

另外，无论是多步扩散模型还是单步生成模型，都能基于Dispersive Loss得到明显改进。

作者认为，不仅是在图像生成任务上，Dispersive Loss在图像识别等其他任务上也具有潜力。

穿越诸天：从零开始的升级系统之旅

穿越诸天从零开始的升级系统之旅是一部结合了穿越、升级、冒险等元素的小说，以下是与其相关的几个问题及简单解答

小说的主要情节是什么？

小说讲述了主角一次意外中穿越到一个充满冒险和未知的世界，获得了一个独特的升级系统。完成任务和挑战，主角不断提升自己的能力，结识各种伙伴，面对强敌，逐步揭开这个世界的秘密。

主角的升级系统如何运作？

主角的升级系统完成特定的任务和挑战来获得经验值，并能获取技能、装备等资源。系统还能根据不同的环境和敌人调整主角的战斗策略，增加游戏的趣味性和变数。

小说中有哪些重要的角色？

主角外，小说中还有多个重要角色，包括忠实的伙伴、强大的敌人和神秘的导师。这些角色各具特色，有的提供帮助，有的则是主角成长道路上的障碍，增加了故事的复杂性和吸引力。

这个故事传递了怎样的价值观？

故事强调努力和成长的重要性，主角不懈的努力和智慧克服一切困难。同时也展现了友情和团队合作的力量，强调面对挑战时，与伙伴们共同奋斗的重要性。

（内容来源：证券之星）