Anthropic警告：AI可能很快進入自我加速階段，等人類察覺或為時已晚

Anthropic 在 11 月 2 日更新的 IPO 招股書中發出警示：AI 或將迅速突破「遞歸自我改進」（RSI）的關鍵臨界點，從而極大加速其自身研發進程。歷史上曾多次出現研發進展悄然提速、直至加速已成事實才被察覺的情形。當前，Claude 已實際介入代碼編寫、實驗執行與訓練數據處理等核心研發環節，直接助力更強大下一代模型的開發；而這些新模型又將進一步推動後續研發效率提升，形成持續加速的正向循環。

根據 Anthropic 現行安全政策，所謂「觸及關鍵門檻」特指以下任一情形發生：
1. AI 能以接近人類團隊的成本，獨立完成整套 AI 研究工作；
2. AI 技術進步速率至少提升一倍，即原本需兩年實現的進展被壓縮至一年內達成。

隨著 AI 在自身研發流程中參與度不斷加深，其能力演進速度可能已開始超越安全評估、對齊研究及防護機制的迭代節奏。Anthropic 明確指出，截至目前，尚無任何現有模型被判定已達該門檻；本次預警主要依據內部技術推演與對未來模型能力的前瞻性預估。為應對潛在風險，公司正審慎評估對安全政策的修訂方案，核心目標是確保關鍵研發環節始終保有人類監督與控制權。