罗盘 / 科研可复现性·AI置信度评分
暗星档案 · 未点亮的星科研可复现性·AI置信度评分
本条为初评草案(AI 辅助编目):T 阶为三问初评(撬动面 × 停滞度 × 临界性),双评过 σ 门并红蓝复核后才升"已建档"。查不到的字段留空不编。点亮者会进入亮星候选流程,其贡献与星阶按 HCF 独立重评,不从暗星自动继承。
科研可复现性·AI置信度评分T5 量级 · 新星
在论文发表前就预判它能不能被复现
所属星云让机器替人类做科研理解万物
暗星编号DS-0962
轴E · 能量与能力前沿
领域governance-institutions
状态初评草案 · 待双评与红蓝复核
这是什么 · 为什么难
社科与部分医学领域大量已发表结论无法被独立复现,是科学公信力的系统性危机。DARPA于2019-2022年资助SCORE项目(Systematizing Confidence in Open Research and Evidence),召集多个团队用众包预测市场结合文本、方法学特征,构建能自动给论文结论打「复现置信度分数」的模型,试图在结果被大规模引用、影响政策之前先标出高风险声称。攻破意味着科研资助、政策采信、后续研究引用能在事前过滤掉大概率不可复现的结论,减少整个科学生态的资源浪费。
卡在哪 · 机制级卡点
复现本身仍需重新做实验,自动化目前只能预测复现概率而非真正验证;不同学科对「可复现」的定义(统计显著性/效应量/机制层)不统一,预测模型的跨领域迁移能力未在大规模真实场景验证,SCORE项目已结束但工具尚未成为科研常规流程的一部分。
谁在攻
DARPA SCORE项目(2019-2022·资助多团队用预测市场+自动化特征构建复现置信度模型);Center for Open Science(推动开放科学实践与复现项目·含自动化工具探索)
怎么参与
阅读DARPA SCORE项目公开数据集与相关论文,或参与Center for Open Science的复现项目