元伦理收敛 · 价值不确定性
本条为初评草案(AI 辅助编目 · 评于 2026-07):T 阶为三问初评(撬动面 × 停滞度 × 临界性),双评过 σ 门并红蓝复核后才升"已建档"。查不到的字段留空不编。点亮者会进入亮星候选流程,其贡献与星阶按 HCF 独立重评,不从暗星自动继承。
人类和 AI 都要面对同一个终极问题:当我们对「什么是对的」并不确定、甚至各文明的价值体系彼此冲突时,该如何做决定?这既是 AI 对齐的最深处(我们要把 AI 对齐到「谁的价值」、价值能否随反思而收敛),也是文明间冲突的根源。目前只有学院哲学做了初步的形式化——比如把「道德不确定性下的决策」类比成社会选择问题——但离一套工程师和政策制定者能用的可操作框架还很远。攻破它,等于给「多元价值如何共处、AI 该被对齐到什么」提供地基。
卡点待考的成分很大,但已知的硬结在于「跨理论可比性」:不同道德理论给出的『好坏』刻度互不通约,无法简单加权求和,导致「道德不确定下如何理性行动」缺乏公认的聚合规则。更深一层,「价值是否会收敛」本身连是不是一个有确定答案的问题都存疑——这让它介于哲学与科学的模糊地带,难以形成可累积的进展。
Global Priorities Institute(GPI,牛津)、William MacAskill / Toby Ord 等的道德不确定性理论(《Moral Uncertainty》)
读分析哲学中的元伦理学与决策论,补社会选择理论和形式认识论;这是少数「哲学功底是硬门槛」的方向。进 GPI 这类全球优先事项 / 哲学研究机构,或 AI 对齐研究中处理价值聚合、可纠正性的团队。从一个能形式化的小问题切入——比如「在两个不可通约的道德理论间该如何分配决策权重」——把哲学直觉推进成可计算的规则。
谁在攻这颗暗星 · 攻关者名录7 人
这不是终点站——今天在这颗暗星上攻坚的人,就是明天点亮它、登上星光榜的候选。名录含科研、创业与第三方三类关键角色,初评待核实,欢迎补充与纠正。
去哪家 · 机构与公司名录3 家 · 其中初创/成长期 0
给求职者和投资人的信息增量——不只是听过的大机构,更多是正在攻这颗暗星的初创与新公司(联网实搜、初创优先排序,初评待核实)。