论文 #14: Neon - 阅读报告

基本信息

  • 标题: Neon: Negative Extrapolation From Self-Training Improves Image Generation
  • 作者: Sina Alemohammad, Zhangyang Wang, Richard Baraniuk
  • 发表日期: 2026 年 1 月 26 日
  • 主要领域: generative models
  • Submission Number: 23288

关键词

Generative Models, Self-Improvement, Weight Merging, Image Generation

TL;DR

与其简单地在生成模型自己的合成输出上微调，不如短暂微调它以找到模型崩溃的方向，然后将该更新的反向应用于原始模型以获得重大性能提升

摘要

扩展生成式 AI 模型受到高质量训练数据稀缺的瓶颈。从生成模型合成的便利性表明使用（未验证的）合成数据来增强有限的真实数据语料库，用于微调以希望提高性能。

然而，不幸的是，由此产生的正反馈循环导致模型自噬障碍（MAD，又称模型崩溃），导致样本质量和/或多样性的快速退化。

在本文中，我们介绍了 Neon（来自自训练的负向外推），一种新的学习方法，将自训练的退化转化为自改进的强大信号。

给定一个基础模型，Neon 首先在其自合成数据上微调它，然后反直觉地反转其梯度更新，从退化权重外推远离。

我们证明 Neon 有效，因为典型的推断采样器偏好高概率区域，在合成和真实数据群体梯度之间创建可预测的反向对齐，负向外推校正以更好地使模型与真实数据分布对齐。

Neon 非常容易实现，通过简单的后验合并，不需要新的真实数据，仅用 1k 合成样本就有效工作，通常使用少于 1% 的额外训练计算。

我们展示了 Neon 在一系列架构（扩散、流匹配、自回归和归纳矩匹配模型）和数据集（ImageNet、CIFAR-10 和 FFHQ）上的通用性。

特别是在 ImageNet 256x256 上，Neon 将 xAR-L 模型提升到新的 SOTA FID 1.02，仅使用 0.36% 的额外训练计算。

核心贡献

  1. Neon 方法: 负向外推从自训练改进生成模型
  2. 理论分析: 证明合成和真实数据梯度之间的反向对齐
  3. 高效实现: 简单后验合并，无需新真实数据
  4. 低计算成本: 仅用 1k 合成样本，<1% 额外计算
  5. SOTA 性能: ImageNet 上 FID 1.02，通用性强

研究意义

  • 解决了模型崩溃问题的创新方法
  • 将退化信号转化为改进信号
  • 极低计算成本的自改进方法
  • 对生成模型扩展有重要价值

阅读笔记

  • 核心思想非常反直觉：向模型崩溃方向微调然后反向更新
  • 理论分析解释了为什么这个方法有效
  • 实现简单，计算成本极低
  • 在多个架构和数据集上验证了通用性
  • 对于数据稀缺场景下的模型改进非常有价值

报告生成时间: 2026-04-13 OpenReview 链接: https://openreview.net/forum?id=kpLRYtPGt3