罗盘 / 上下文学习的理论机制
暗星档案 · 未点亮的星上下文学习的理论机制
本条为初评草案（AI 辅助编目）：T 阶为三问初评（撬动面 × 停滞度 × 临界性），双评过 σ 门并红蓝复核后才升"已建档"。查不到的字段留空不编。点亮者会进入亮星候选流程，其贡献与星阶按 HCF 独立重评，不从暗星自动继承。
上下文学习的理论机制T5 量级 · 新星
无需改权重就能学会新任务·Transformer里到底发生了什么
所属星云智能统一理论理解万物
暗星编号DS-1137
轴E · 能量与能力前沿
领域ai-computing
状态初评草案 · 待双评与红蓝复核
这是什么 · 为什么难
大语言模型能在不更新参数的情况下，仅凭提示词里的几个示例学会新任务（in-context learning），这一现象自GPT-3以来被反复观察但理论解释长期滞后。主流假说包括"隐式梯度下降"（把上下文当作元学习的内循环，前向传播等价于对少量样本做梯度更新）与"归纳头"（induction head，一对协同的注意力头负责复制序列中的重复模式）；2025年后的研究进一步发现除归纳头外还存在多阶段电路涌现，归纳头本身只能解释答案已包含在上下文中的简单复制型任务。攻破意味着把"学习"这件事在Transformer前向传播里的确切算法本质说清楚，是智能统一理论最核心的悬案之一。
卡在哪 · 机制级卡点
归纳头假说只能解释简单的复制式上下文学习，面对需要抽象、组合新规则的复杂任务，现有电路层面的解释明显不足；隐式梯度下降与归纳头两条理论路线尚未统一，不同任务、不同模型规模下哪种机制主导仍无定论。
谁在攻
苏黎世联邦理工学院等团队（隐式梯度下降/元优化器假说）；Anthropic与多所高校联合团队（归纳头电路发现与多阶段电路涌现研究）
怎么参与
深度学习理论/机制可解释性交叉课程（学习）；理论机器学习研究方向（职业）