罗盘 / 价值收敛
暗星档案 · 未点亮的星

元伦理收敛 · 价值不确定性

本条为初评草案(AI 辅助编目 · 评于 2026-07):T 阶为三问初评(撬动面 × 停滞度 × 临界性),双评过 σ 门并红蓝复核后才升"已建档"。查不到的字段留空不编。点亮者会进入亮星候选流程,其贡献与星阶按 HCF 独立重评,不从暗星自动继承。

元伦理收敛 · 价值不确定性T5 量级 · 新星
不同价值体系能否收敛、道德没有确定答案时该如何行动——AI 对齐与文明间冲突共同的上游难题。
暗星编号DS-0210
R · 风险与文明安全
领域culture-meaning
状态初评草案 · 待双评与红蓝复核
这是什么 · 为什么难

人类和 AI 都要面对同一个终极问题:当我们对「什么是对的」并不确定、甚至各文明的价值体系彼此冲突时,该如何做决定?这既是 AI 对齐的最深处(我们要把 AI 对齐到「谁的价值」、价值能否随反思而收敛),也是文明间冲突的根源。目前只有学院哲学做了初步的形式化——比如把「道德不确定性下的决策」类比成社会选择问题——但离一套工程师和政策制定者能用的可操作框架还很远。攻破它,等于给「多元价值如何共处、AI 该被对齐到什么」提供地基。

卡在哪 · 机制级卡点

卡点待考的成分很大,但已知的硬结在于「跨理论可比性」:不同道德理论给出的『好坏』刻度互不通约,无法简单加权求和,导致「道德不确定下如何理性行动」缺乏公认的聚合规则。更深一层,「价值是否会收敛」本身连是不是一个有确定答案的问题都存疑——这让它介于哲学与科学的模糊地带,难以形成可累积的进展。

谁在攻

Global Priorities Institute(GPI,牛津)、William MacAskill / Toby Ord 等的道德不确定性理论(《Moral Uncertainty》)

怎么参与

读分析哲学中的元伦理学与决策论,补社会选择理论和形式认识论;这是少数「哲学功底是硬门槛」的方向。进 GPI 这类全球优先事项 / 哲学研究机构,或 AI 对齐研究中处理价值聚合、可纠正性的团队。从一个能形式化的小问题切入——比如「在两个不可通约的道德理论间该如何分配决策权重」——把哲学直觉推进成可计算的规则。

谁在攻这颗暗星 · 攻关者名录7 人

这不是终点站——今天在这颗暗星上攻坚的人,就是明天点亮它、登上星光榜的候选。名录含科研、创业与第三方三类关键角色,初评待核实,欢迎补充与纠正。

ACADEMIA学界 · 科研6
威廉·麦卡斯基尔William MacAskill道德哲学家 / GPI 联合创始人
牛津大学 / Global Priorities Institute
合著《Moral Uncertainty》,把「不确定该信哪种道德理论时如何决策」形式化,是这一方向最系统的学术推动者之一。
托比·奥德Toby Ord道德哲学家
牛津大学(University of Oxford)
从早期博士工作起对道德不确定性下的决策做形式化处理,并合著《Moral Uncertainty》奠定该领域框架。
克里斯特·比克维斯特Krister Bykvist道德哲学家
斯德哥尔摩大学 / 未来研究所(Institute for Futures Studies)
作为《Moral Uncertainty》三位作者之一,处理价值不可通约与理论间比较等最硬的形式化难题。
希拉里·格里夫斯Hilary Greaves道德哲学家 / GPI 创始主任
牛津大学 / Global Priorities Institute
创建全球优先研究所并研究道德不确定性下的「议会模型」等决策结构,把该问题带向可操作化。
克里斯蒂安·塔斯尼Christian Tarsney道德哲学家(道德不确定性与长期主义)
Global Priorities Institute(研究学者)
专注道德不确定性与跨理论决策的形式模型,推进「多元价值下如何理性抉择」的技术性框架。
安德烈亚斯·莫根森Andreas Mogensen道德哲学家
牛津大学 / Global Priorities Institute
研究道德不确定性、代际伦理与理论间比较,是 GPI 在这一地基问题上的核心研究者之一。
INDUSTRY业界 · 创业与工程1
亚森·加布里埃尔Iason GabrielAI 伦理研究者 / 高级研究科学家
Google DeepMind
以《Artificial Intelligence, Values, and Alignment》把「AI 该被对齐到谁的价值、价值多元如何处理」引入对齐工程的核心议程。

去哪家 · 机构与公司名录3 家 · 其中初创/成长期 0

给求职者和投资人的信息增量——不只是听过的大机构,更多是正在攻这颗暗星的初创与新公司(联网实搜、初创优先排序,初评待核实)。

来源 · 可查证