Anthropicが警告：AIはまもなく自己加速段階に突入する可能性があり、人類が気づいたときにはすでに手遅れになる恐れがある

Anthropic は11月2日に更新されたIPO招書において、AIが「再帰的自己改善（RSI）」の重要な臨界点を急速に突破する可能性について警告を発した。この突破により、AI自身の研究開発プロセスが大幅に加速される恐れがある。歴史上、研究の進展が静かに加速し、その加速が既成事実となってからようやく認識されるケースが何度も見受けられてきた。現在、Claudeはすでにコード作成、実験の実行、訓練データの処理など、AI研究の核心的な工程に実際に関与しており、より強力な次世代モデルの開発を直接支援している。こうした新モデルはさらに後続の研究効率を高め、持続的な加速を伴う好循環を生み出している。

Anthropicの現行安全方針において、「重要な閾値に到達」とは、以下のいずれかの状況が生じたことを意味する：
1. AIが、人間チームとほぼ同等のコストで、AI研究全体を独立して遂行できるようになること；
2. AI技術の進歩速度が少なくとも2倍に達すること、すなわち、従来2年を要していた進展が1年以内に達成されるようになること。

AIが自らの研究プロセスへの関与を深めるにつれ、その能力進化のスピードは、既存の安全性評価、アライメント研究、および防護メカニズムの更新ペースをすでに上回り始めている可能性がある。Anthropicは明確に指摘しているが、現時点で、既存のいかなるモデルもこの閾値に達したと判定されたことはない。今回の警告は、主に社内の技術的推演および将来のモデル能力に対する先見的な予測に基づいている。潜在的なリスクに対応するため、同社は安全方針の見直し案を慎重に検討中であり、その中心的な目標は、重要な研究工程において常に人間による監視・コントロール権を確保することである。