罗盘 / 自复制系统安全遏制协议
暗星档案 · 未点亮的星自复制系统安全遏制协议
本条为初评草案（AI 辅助编目）：T 阶为三问初评（撬动面 × 停滞度 × 临界性），双评过 σ 门并红蓝复核后才升"已建档"。查不到的字段留空不编。点亮者会进入亮星候选流程，其贡献与星阶按 HCF 独立重评，不从暗星自动继承。
自复制系统安全遏制协议T5 量级 · 新星
让能自我复制的机器"想失控也失控不了",而不是靠自觉不作恶
暗星编号DS-1131
轴R · 风险与文明安全
领域civilization-safety
状态初评草案 · 待双评与红蓝复核
这是什么 · 为什么难
从工厂造工厂的自动化产线到分子级自组装装配体,机器自我复制能力越强,一旦设计缺陷或被恶意修改导致失控扩散("灰蒙蒙"情景)的后果就越难挽回。Foresight Institute自1989年起就在推动分子纳米技术的安全准则,提出把自复制系统设计为非自主(每一代复制都需要外部授权信号或稀缺原料才能启动)、内建物理限制(如依赖特制、不天然存在的原料)等多层安全机制,而不是依赖复制体自身"讲道理"。攻破意味着任何具备自我复制能力的系统(无论是宏观机器人产线还是分子装配体)在设计阶段就被证明性地、可验证地限定在可控复制代数与可控扩散范围内。
卡在哪 · 机制级卡点
"可证明安全"与"复制效率"天然冲突——遏制机制越强(如依赖外部授权、稀缺原料),复制速度和自主性就越弱,而工程上又难以证明某个复制限制在所有可能的故障模式和恶意改造下都不可被绕过,是安全性可验证性本身的理论难题,不只是工程实现问题。
谁在攻
Foresight Institute(分子纳米技术安全准则制定者,及其Secure AI项目)
怎么参与
从控制理论/形式化验证方向切入,或参与AI智能体能力遏制(capability control)相关研究