p(doom)
概要
p(doom) は、AI が人類の絶滅、恒久的な無力化、文明規模の破局などを引き起こす確率についての主観的な見積もりを指す俗語である。数式として標準化された指標ではなく、AI 安全性や長期リスクの議論で「自分はどの程度深刻に見ているか」を短く表すために使われる。
通常は 0 から 1、または 0% から 100% で表される。ただし、何を doom と数えるか、どの期間を見るか、どの AI シナリオを想定するかは話者によって異なる。
背景
p(doom) は、合理主義コミュニティや AI 安全性コミュニティで使われてきた非公式表現である。2022 年以降、生成 AI の能力向上と長期リスクへの注目が高まったことで、研究者、起業家、投資家、政策関係者の間でも見かけるようになった。
2023 年には Center for AI Safety の声明や、AI 研究者への調査結果が報道され、AI による深刻なリスクを確率で語る文化が一般にも広がった。ただし、p(doom) そのものは学術的に定義されたリスク尺度ではない。
シンギュラリティ文脈
シンギュラリティ文脈では、p(doom) は AI の急速な能力向上に対する楽観・悲観の差を可視化する言葉として使われる。高い p(doom) を置く人は、アライメント未解決、道具的収束、競争圧力、ガバナンス不全を重く見ることが多い。低い p(doom) を置く人は、技術的緩和、制度的制御、段階的導入、人間の適応能力を重く見ることが多い。
この語は議論の出発点にはなるが、単独では政策判断にならない。重要なのは数値そのものより、その数値の背後にある前提である。
使い方の注意
p(doom) は精密な予測値ではなく、主観的な確率表明である。比較するときは、次を明示する必要がある。
- 対象期間
- doom の定義
- AGI や超知能の想定
- アライメント成功率の仮定
- ガバナンスや規制の仮定
- 破局以外の重大被害を含めるか
メディアや SNS では、p(doom) が人物の思想ラベルとして使われることがある。しかし、同じ数値でも理由は異なるため、数値だけで立場を判断しない方がよい。
関連項目
- AI安全性
- AIアライメント
- doomer
- 道具的収束
- 直交仮説
参考
- Center for AI Safety, "Statement on AI Risk" https://www.safe.ai/work/statement-on-ai-risk
- Katja Grace et al., "Thousands of AI Authors on the Future of AI" https://arxiv.org/abs/2401.02843
- Psychology Today, "What Is the Probability of AI Doom?" https://www.psychologytoday.com/us/blog/hot-thought/202406/what-is-the-probability-of-ai-doom/