罗盘 / 价值收敛
暗星档案 · 未点亮的星元伦理收敛 · 价值不确定性
元伦理收敛 · 价值不确定性潜能 T5
不同价值体系能否收敛、道德没有确定答案时该如何行动——AI 对齐与文明间冲突共同的上游难题。
暗星编号DS-0210
轴R · 风险与文明安全
领域culture-meaning
状态初步评估
这是什么 · 为什么难
人类和 AI 都要面对同一个终极问题:当我们对「什么是对的」并不确定、甚至各文明的价值体系彼此冲突时,该如何做决定?这既是 AI 对齐的最深处(我们要把 AI 对齐到「谁的价值」、价值能否随反思而收敛),也是文明间冲突的根源。目前只有学院哲学做了初步的形式化——比如把「道德不确定性下的决策」类比成社会选择问题——但离一套工程师和政策制定者能用的可操作框架还很远。攻破它,等于给「多元价值如何共处、AI 该被对齐到什么」提供地基。
卡在哪 · 机制级卡点
卡点待考的成分很大,但已知的硬结在于「跨理论可比性」:不同道德理论给出的『好坏』刻度互不通约,无法简单加权求和,导致「道德不确定下如何理性行动」缺乏公认的聚合规则。更深一层,「价值是否会收敛」本身连是不是一个有确定答案的问题都存疑——这让它介于哲学与科学的模糊地带,难以形成可累积的进展。
谁在攻
Global Priorities Institute(GPI,牛津)、William MacAskill / Toby Ord 等的道德不确定性理论(《Moral Uncertainty》)
怎么参与
读分析哲学中的元伦理学与决策论,补社会选择理论和形式认识论;这是少数「哲学功底是硬门槛」的方向。进 GPI 这类全球优先事项 / 哲学研究机构,或 AI 对齐研究中处理价值聚合、可纠正性的团队。从一个能形式化的小问题切入——比如「在两个不可通约的道德理论间该如何分配决策权重」——把哲学直觉推进成可计算的规则。
谁在攻这颗暗星 · 攻关者名录7 人
这里列出正在探索这一问题的研究者、创业者与支持者。人物资料仍在核对,欢迎补充与纠正。
ACADEMIA学界 · 科研6
威廉·麦卡斯基尔William MacAskill道德哲学家 / GPI 联合创始人
牛津大学 / Global Priorities Institute
合著《Moral Uncertainty》,把「不确定该信哪种道德理论时如何决策」形式化,是这一方向最系统的学术推动者之一。
托比·奥德Toby Ord道德哲学家
牛津大学(University of Oxford)
从早期博士工作起对道德不确定性下的决策做形式化处理,并合著《Moral Uncertainty》奠定该领域框架。
克里斯特·比克维斯特Krister Bykvist道德哲学家
斯德哥尔摩大学 / 未来研究所(Institute for Futures Studies)
作为《Moral Uncertainty》三位作者之一,处理价值不可通约与理论间比较等最硬的形式化难题。
希拉里·格里夫斯Hilary Greaves道德哲学家 / GPI 创始主任
牛津大学 / Global Priorities Institute
创建全球优先研究所并研究道德不确定性下的「议会模型」等决策结构,把该问题带向可操作化。
克里斯蒂安·塔斯尼Christian Tarsney道德哲学家(道德不确定性与长期主义)
Global Priorities Institute(研究学者)
专注道德不确定性与跨理论决策的形式模型,推进「多元价值下如何理性抉择」的技术性框架。
安德烈亚斯·莫根森Andreas Mogensen道德哲学家
牛津大学 / Global Priorities Institute
研究道德不确定性、代际伦理与理论间比较,是 GPI 在这一地基问题上的核心研究者之一。
INDUSTRY业界 · 创业与工程1
亚森·加布里埃尔Iason GabrielAI 伦理研究者 / 高级研究科学家
Google DeepMind
以《Artificial Intelligence, Values, and Alignment》把「AI 该被对齐到谁的价值、价值多元如何处理」引入对齐工程的核心议程。
去哪家 · 机构与公司名录3 家 · 其中初创/成长期 0
了解正在研究或开发相关技术的团队,寻找工作与合作机会。机构资料仍在核对。
Global Priorities Institute (GPI)科研实验室
MacAskill、Ord 等创立的哲学+经济学研究所,把「道德不确定下如何理性行动」形式化(类比社会选择问题),2024–25 持续产出跨理论可比性、期望值决策的核心论文。
↗ 暗星点名的攻坚者——这是少数「哲学功底是硬门槛」的方向,GPI 是把元伦理直觉推成可计算规则的学术心脏,也是 AI 对齐价值聚合团队的人才源。
Forethought非营利
2024 年中由 Max Dalton、Will MacAskill、Tom Davidson 等创立的 AI 宏观战略研究组,研究如何在道德不确定下导航向超级智能过渡、「好的未来长什么样」。
↗ 全新(2024)成立、由《Moral Uncertainty》作者 MacAskill 参与的新组织,把道德不确定性理论直接对准 AI 转型这个临界窗口。
Meaning Alignment Institute非营利
研究如何让 AI、市场与民主制度对齐到「人们真正珍视的东西」,提出「full-stack alignment(全栈对齐)」,联合 30+ 专家做价值聚合与可操作框架。
↗ 少数把「多元不可通约价值如何聚合、AI 该对齐到谁」从哲学推向工程可用框架的机构,获 ARIA、OpenAI、SFF 支持——正对暗星最缺的「工程师能用的框架」痛点。