论文 #11: Optimistic Task Inference - 阅读报告

基本信息

• 标题: Optimistic Task Inference for Behavior Foundation Models
• 作者: Thomas Rupf, Marco Bagatella, Marin Vlastelica, Andreas Krause
• 发表日期: 2026 年 1 月 26 日
• 主要领域: reinforcement learning
• Submission Number: 23678

关键词

Behavior Foundation Models, Zero-Shot Reinforcement Learning, Deep Reinforcement Learning, Fast Adaptation

TL;DR

我们提出了一种用于行为基础模型中快速在线任务推断的算法

摘要

行为基础模型（BFM）能够为测试时直接指定的任何奖励函数检索高性能策略，通常称为零样本强化学习（RL）。

虽然这在计算方面非常高效，但在数据方面可能效率较低：作为标准假设，BFM 需要在非 negligible 的推断数据集上计算奖励，假设要么可以访问奖励的函数形式，要么需要大量标注工作。

为缓解这些限制，我们仅通过测试时与环境的交互来解决任务推断问题。

我们提出了 OpTI-BFM，一种乐观决策标准，直接建模奖励函数上的不确定性，并指导 BFM 进行任务推断的数据收集。

形式上，我们通过与线性 bandit 的上置信度算法的直接连接，为训练良好的 BFM 提供遗憾界。

在经验上，我们在已建立的零样本基准上评估 OpTI-BFM，并观察到它使基于后继特征的 BFM 能够在少量回合中以最小计算开销识别和优化未见奖励函数。

核心贡献

1. OpTI-BFM 算法: 用于快速在线任务推断
2. 乐观决策标准: 直接建模奖励函数不确定性
3. 理论保证: 提供遗憾界分析
4. 数据高效: 仅需少量回合即可识别奖励函数
5. 计算高效: 最小计算开销

研究意义

• 解决了 BFM 需要大量标注数据的问题
• 实现了纯交互式的任务推断
• 提供了理论保证
• 对零样本 RL 应用有重要价值

阅读笔记

• 核心问题是减少 BFM 对标注数据的依赖
• 通过乐观探索实现高效任务推断
• 理论分析与实证验证相结合
• 对于需要快速适应新任务的场景非常有用

报告生成时间: 2026-04-13 OpenReview 链接: https://openreview.net/forum?id=m5byThUSNE