罗盘 / 强化学习长时程信用分配
暗星档案 · 未点亮的星强化学习长时程信用分配
本条为初评草案（AI 辅助编目）：T 阶为三问初评（撬动面 × 停滞度 × 临界性），双评过 σ 门并红蓝复核后才升"已建档"。查不到的字段留空不编。点亮者会进入亮星候选流程，其贡献与星阶按 HCF 独立重评，不从暗星自动继承。
强化学习长时程信用分配T5 量级 · 新星
一连串动作后才见结果·怎么知道哪一步真正起了作用
所属星云智能统一理论理解万物
暗星编号DS-1138
轴E · 能量与能力前沿
领域ai-computing
状态初评草案 · 待双评与红蓝复核
这是什么 · 为什么难
强化学习中，当奖励延迟且稀疏（一连串动作后才知道结果好坏），如何把最终收益正确"记到"中间哪个动作头上，是时序信用分配问题——这是强化学习的基础性瓶颈之一，随着时间跨度拉长，可能的轨迹数呈指数增长，方差随环境随机性和动作间相互依赖急剧放大。近年提出的层级化子目标规划、事后信用分配（Hindsight Credit Assignment）等方法尝试把粗粒度的轨迹级反馈拆解为细粒度的分步优势信号。攻破意味着智能体能在长达数千步、奖励极度稀疏的真实任务（如自主科研、长期规划）中稳定学习，是通用智能体走向长时程自主行动的理论地基之一。
卡在哪 · 机制级卡点
轨迹数随时间跨度指数增长导致方差爆炸，现有层级化方法通过引入子目标绕开问题而非从根本上解决；事后信用分配等新方法主要在LLM智能体等特定场景验证，尚未形成能覆盖任意长时程、任意奖励结构的通用理论框架。
谁在攻
多所高校强化学习理论实验室（层级化子目标规划、信息论视角的信用分配研究）；相关LLM智能体研究团队（事后信用分配优化方法，2026年针对长时程LLM智能体任务的研究）
怎么参与
强化学习理论课程（学习）；强化学习/智能体研究方向（职业）