Anthropic предупреждает: ИИ может скоро войти в фазу самоускорения — к моменту, когда люди это заметят, будет уже поздно

В обновлённом 2 ноября проспекте IPO Anthropic предупредила: ИИ может быстро преодолеть критический порог «рекурсивного самосовершенствования» (RSI), что резко ускорит собственный цикл разработки. В истории уже неоднократно случалось, что темпы исследований незаметно наращивались — и лишь когда ускорение становилось очевидным фактом, его замечали. На сегодняшний день Claude уже напрямую участвует в ключевых этапах разработки: написании кода, проведении экспериментов и обработке обучающих данных — тем самым напрямую способствуя созданию более мощных моделей следующего поколения. А эти новые модели, в свою очередь, ещё больше повысят эффективность последующих циклов разработки, формируя устойчивый положительный обратный цикл ускорения.

Согласно действующей политике безопасности Anthropic, «достижение критического порога» означает наступление хотя бы одного из следующих условий:
1. ИИ способен самостоятельно выполнять весь спектр задач по исследованию ИИ с затратами, сопоставимыми с затратами человеческой команды;
2. Темпы прогресса в области ИИ удваиваются — то есть достижения, которые ранее требовали двух лет, теперь достигаются за один год.

По мере углубления участия ИИ в собственных процессах разработки скорость его эволюции может начать опережать темпы обновления механизмов обеспечения безопасности, исследований выравнивания (alignment) и защитных мер. Anthropic прямо указывает, что на текущий момент ни одна из существующих моделей не была признана достигшей этого порога; данное предупреждение основано преимущественно на внутренних технических прогнозах и перспективной оценке возможностей будущих моделей. В целях смягчения потенциальных рисков компания проводит осторожную оценку возможных изменений в своей политике безопасности, при этом главная цель — гарантировать, что ключевые этапы разработки всегда остаются под контролем и наблюдением человека.