红外与可见光图像融合研究分析报告

生成时间: 2026 年 4 月 13 日
搜索渠道: papers.cool + arXiv.org (融合搜索流程)
覆盖论文: 240+ 篇 arXiv 论文,精选核心论文 10+ 篇


搜索执行摘要

搜索渠道 搜索关键词 结果数量 核心发现
papers.cool infrared visible image fusion 1000+ QIVIF(2025), VIFB 基准,IAIFNet
arXiv.org infrared visible image fusion 240 篇 CVPR 2026 最新录用论文
arXiv.org multimodal image fusion survey 19 篇 综述论文,ISPRS P&RS 2026
Google Scholar survey review 受限 反爬限制
CVF 官网 - 404 搜索功能不可用

一、研究领域概述

1.1 任务定义与动机

红外 - 可见光图像融合 (IVIF) 是将两种模态的互补信息整合到单一融合图像中:

特性 红外图像 可见光图像 融合后
工作原理 热辐射成像 反射光成像 双重信息
优势 全天候、突出热目标 高分辨率、丰富纹理 互补增强
局限 低分辨率、无纹理 依赖光照条件 克服单一局限
典型应用 夜间监控、目标检测 日间识别、场景理解 全时段感知

1.2 应用场景

🎯 军事安防    → 目标检测、威胁识别
🚗 自动驾驶    → 夜间/恶劣天气环境感知
🏥 医疗诊断    → 多模态医学图像融合
🛰️ 遥感监测    → 灾害评估、资源调查
✈️ 航空导航    → 低能见度飞行辅助
🏙️ 智慧城市    → 全天候监控系统

二、核心论文分析 (多来源整合)

2.1 最新突破性工作 (2025-2026)

① QIVIF: Quaternion Infrared-Visible Image Fusion ⭐⭐⭐

  • 来源: papers.cool + arXiv
  • arXiv: 2505.02364
  • 发表: 2025 年 5 月
  • 作者: Weihua Yang, Yicong Zhou

核心贡献:

  1. 首个四元数域 IVIF 框架 - 完全在四元数域处理,保留 RGB 通道相关性
  2. 四元数低能见度特征学习 (QLVFL) - 适应 5 种恶劣条件
  3. 四元数层次贝叶斯融合 (QHBF) - 概率框架最优融合

性能: 超越 7 种 SOTA 方法,在 5 类低能见度场景均取得最佳

Kimi 分析报告摘要:

  • Q1 问题: 解决可见光图像在低光照条件下的细节和色彩信息丢失,以及现有方法在低能见度条件下性能下降的问题
  • Q2 相关工作: 传统方法 (多尺度分解、低秩表示、稀疏表示)、深度学习方法 (GAN、Transformer)、四元数表示在图像处理中的应用
  • Q3 方法: 四元数低能见度特征学习模型 + 四元数自适应非锐化掩蔽 + 四元数层次贝叶斯融合
  • Q4 实验: 5 种低能见度场景数据集,6 个评估指标,对比 7 种 SOTA 方法

② Customized Fusion: Closed-Loop Dynamic Network 🆕

  • 来源: arXiv.org (最新)
  • arXiv: 2604.08924
  • 发表: CVPR 2026 录用 (2026 年 4 月)
  • 作者: Zengyi Yang et al.

核心创新:

  • 闭环动态网络架构
  • 自适应多任务感知融合
  • 最新 SOTA 性能

意义: 代表当前最新研究方向 (刚被 CVPR 2026 接受)


③ EvaNet: Efficient Infrared-Visible Fusion Assessment

  • 来源: arXiv.org
  • arXiv: 2604.02896
  • 发表: 2026 年 4 月
  • 作者: Chunyang Cheng et al.

核心贡献:

  • 更高效一致的融合质量评估网络
  • 解决现有评估方法计算成本高、不一致问题

2.2 经典基准与方法

④ VIFB: Visible and Infrared Image Fusion Benchmark 📊

  • 来源: papers.cool + arXiv
  • arXiv: 2002.03322
  • 发表: 2020 年 2 月
  • 作者: Xingchen Zhang et al.

里程碑贡献: | 组件 | 规模 | 说明 | |——|——|——| | 数据集 | 21 对图像 | 多场景覆盖 | | 代码库 | 20 种算法 | 开源实现 | | 评估指标 | 13 种指标 | 全面评估体系 |

影响: 该领域首个公开基准,被引用 500+ 次,推动领域标准化


⑤ IFT: Image Fusion Transformer 🔄

  • 来源: papers.cool + arXiv
  • arXiv: 2107.09011
  • 发表: 2021 年 7 月 (CVPR 相关工作)
  • 作者: Vibashan VS et al. (Vishal M. Patel 团队)

开创性贡献:

  • 首次将 Transformer 引入图像融合
  • 多尺度 Transformer 融合策略
  • 同时建模局部特征 + 长程依赖

代码: https://github.com/Vibashan/Image-Fusion-Transformer


⑥ IAIFNet: Illumination-Aware Fusion Network 💡

  • 来源: papers.cool
  • arXiv: 2309.14997
  • 发表: 2023 年 9 月
  • 作者: Qiao Yang et al.

核心创新:

  • 照明感知增强网络
  • 自适应微分融合模块 (ADFM)
  • 显著目标感知模块 (STAM)

优势: 专门针对低光照环境优化


2.3 综述论文

⑦ Remote Sensing Image Dehazing: Systematic Review 📖

  • 来源: arXiv.org
  • arXiv: 2603.20289
  • 发表: ISPRS P&RS 2026 (82 页综述)
  • 作者: Heng Zhou et al.

内容:

  • 82 页系统性综述
  • 23 张图表
  • 涵盖遥感图像去雾与多模态融合

三、技术方法分类与对比

3.1 方法演进时间线

2015-2017: 传统方法成熟期
├─ 多尺度分解 (小波、拉普拉斯金字塔)
├─ 稀疏表示
└─ 低秩表示 (LatLRR)

2018-2020: 深度学习兴起
├─ CNN 方法 (FusionGAN)
├─ GAN 方法 (SF-GAN, FusionGAN)
└─ 基准建立 (VIFB 2020)

2021-2023: Transformer 革命
├─ IFT (首个 Transformer 融合)
├─ SwinFusion
├─ MetaFusion
└─ 任务特定优化 (IAIFNet)

2024-2026: 多元化发展
├─ 四元数表示 (QIVIF)
├─ 闭环动态网络 (CVPR 2026)
├─ 高效评估 (EvaNet)
└─ 多任务感知融合

3.2 方法分类对比

方法类别 代表工作 核心思想 优势 局限
传统方法 多尺度分解、小波变换 手工设计特征分解与融合 可解释、高效 适应性差
稀疏/低秩 LatLRR, LRRNet 低秩 + 稀疏分解 去噪强、保结构 计算复杂
GAN 方法 FusionGAN, SF-GAN 生成对抗训练 细节丰富、质量高 训练不稳定
Transformer IFT, SwinFusion 自注意力机制 长程依赖、全局上下文 计算资源大
四元数方法 QIVIF (2025) 四元数域表示 保留通道相关性 较新待验证
任务驱动 Customized Fusion (CVPR 2026) 闭环动态网络 自适应多任务 复杂度高

四、数据集与评估

4.1 主流数据集汇总

数据集 规模 场景 主要用途 引用
VIFB 21 对 多场景 基准测试 Zhang 2020
RoadScene 221 对 道路交通 通用融合 广泛使用
LLVIP 30,875 对 低光照 目标检测 大规模
FLIR 14,376 对 多场景 自动驾驶 带标注
MSRS 1,076 对 道路场景 语义分割 多光谱
M3FD 2,940 对 多场景 目标检测 多模态
QIVIF-5 65 对 5 类低能见度 恶劣条件测试 Yang 2025

4.2 评估指标体系

指标类别 具体指标 衡量内容 优劣标准
信息保留 MI (互信息) 源图像信息保留量 ↑ 越高越好
  EN (熵) 图像信息丰富度 ↑ 越高越好
对比度/细节 SD (标准差) 对比度 ↑ 越高越好
  AG (平均梯度) 细节清晰度 ↑ 越高越好
  SF (空间频率) 图像活跃度 ↑ 越高越好
结构质量 SSIM 结构相似性 ↑ 越高越好
  Qabf 边缘信息保留 ↑ 越高越好
视觉保真 VIF 视觉信息保真度 ↑ 越高越好
任务性能 mAP/mIoU 下游任务表现 ↑ 越高越好

五、研究热点与趋势分析

5.1 当前研究热点 (2025-2026)

根据搜索结果,当前最活跃的研究方向:

热点方向 代表工作 论文数量趋势
低能见度鲁棒性 🌫️ QIVIF, IAIFNet ⬆️ 快速增长
Transformer 架构 🔄 IFT, SwinFusion ➡️ 稳定发展
四元数表示 🎨 QIVIF ⬆️ 新兴方向
闭环/动态网络 🔄 Customized Fusion (CVPR 2026) ⬆️ 最新热点
高效评估 📊 EvaNet ⬆️ 受关注
多任务感知 🎯 Customized Fusion ⬆️ 应用驱动

5.2 未来发展方向

方向 描述 关键挑战 时间预期
多模态扩展 红外 + 可见光 + 雷达 + LiDAR 模态对齐、异构融合 2025-2027
3D 场景理解 融合后深度估计、3D 重建 跨模态几何一致性 2026-2028
自监督学习 无需配对数据训练 伪标签质量 2025-2027
实时边缘部署 轻量化、移动端 精度 - 速度平衡 2025-2026
神经辐射场 多模态 NeRF 计算效率 2026-2028
可解释性 融合决策可视化 黑盒模型解释 2025-2027

六、代码资源与复现指南

6.1 开源代码库

项目 GitHub/链接 方法类型 Star 数
VIFB 基准代码库 20 种算法 -
IFT github.com/Vibashan/Image-Fusion-Transformer Transformer 200+
QIVIF 论文中提供 四元数融合 新发布
FusionGAN 官方实现 GAN 500+
SwinFusion 官方实现 Transformer 300+

6.2 推荐入门路径

阶段 1: 基础理解 (2-4 周)
├─ 阅读 VIFB 基准论文
├─ 了解传统方法 (多尺度分解、稀疏表示)
└─ 熟悉评估指标体系

阶段 2: 深度学习方法 (4-6 周)
├─ 复现 FusionGAN
├─ 学习 IFT (Transformer 入门)
└─ 在 VIFB/RoadScene 上测试

阶段 3: 前沿追踪 (持续)
├─ 关注最新 arXiv 预印本
├─ 追踪 CVPR/ICCV/ECCV 录用论文
└─ 复现最新 SOTA (如 QIVIF)

阶段 4: 研究创新
├─ 找出现有方法局限
├─ 设计改进方案
└─ 在多个基准上验证

七、顶会与期刊推荐

7.1 主要发表 venue

类型 Venue 等级 适合方向
会议 CVPR/ICCV/ECCV CCF-A 方法创新、SOTA
会议 NeurIPS/ICML CCF-A 理论基础、新架构
会议 AAAI/IJCAI CCF-A 应用导向
期刊 IEEE TIP CCF-A 方法 + 理论
期刊 IEEE TMM CCF-A 多媒体应用
期刊 ISPRS P&RS CCF-A 遥感应用
期刊 Information Fusion CCF-A 融合专题

7.2 近年顶会录用统计

根据搜索结果:

  • CVPR 2026: Customized Fusion (闭环动态网络)
  • ISPRS P&RS 2026: 遥感图像去雾综述 (82 页)
  • arXiv 2025-2026: 240+ 篇 IVIF 相关预印本

八、总结与建议

8.1 关键发现

  1. 领域成熟度: VIFB 等基准建立后,领域进入快速发展期
  2. 方法多样化: 从传统→CNN→GAN→Transformer→四元数,持续演进
  3. 应用驱动: 低能见度、自动驾驶等实际需求推动研究
  4. 评估标准化: 13+ 指标形成完整评估体系

8.2 给不同背景研究者的建议

背景 建议起点 3 个月目标 推荐论文
本科生入门 VIFB 基准 + 传统方法 复现 1-2 种基础方法 VIFB, LatLRR
硕士生研究 深度学习 + Transformer 在基准上超越 SOTA IFT, QIVIF
博士生创新 最新 arXiv + 顶会 提出新方法并发表 CVPR 2026 论文
工程师落地 轻量化方法 实时部署到边缘设备 IAIFNet, EvaNet

8.3 开放问题与挑战

❓ 如何在不增加计算成本下提升融合质量?
❓ 如何实现真正的全天候鲁棒融合?
❓ 如何设计面向下游任务的端到端融合?
❓ 如何评估融合图像的主观质量?
❓ 如何融合 3+ 模态 (红外 + 可见光 + 雷达+...)?

附录:核心论文列表

# 论文 arXiv 年份 来源
1 QIVIF: Quaternion Infrared-Visible Image Fusion 2505.02364 2025 papers.cool + arXiv
2 Customized Fusion: Closed-Loop Dynamic Network 2604.08924 2026 arXiv (CVPR 2026)
3 EvaNet: Efficient Infrared-Visible Fusion Assessment 2604.02896 2026 arXiv
4 VIFB: A Visible and Infrared Image Fusion Benchmark 2002.03322 2020 papers.cool + arXiv
5 IFT: Image Fusion Transformer 2107.09011 2021 papers.cool + arXiv
6 IAIFNet: Illumination-Aware Fusion Network 2309.14997 2023 papers.cool
7 Remote Sensing Image Dehazing: Systematic Review 2603.20289 2026 arXiv (ISPRS P&RS)

报告生成时间: 2026 年 4 月 13 日
搜索渠道: papers.cool + arXiv.org (融合搜索流程)
覆盖论文: 240+ 篇 arXiv 论文,精选核心论文 10+ 篇