📢 Noticias
Anthropic advierte: la IA podría pronto entrar en una fase de aceleración autónoma, y cuando los humanos lo noten, ya podría ser demasiado tarde
Anthropic emitió una advertencia en su folleto de oferta pública inicial (IPO) actualizado el 2 de noviembre: la inteligencia artificial (IA) podría superar rápidamente el umbral crítico de la «mejora recursiva de sí misma» (RSI), acelerando así de forma significativa su propio proceso de investigación y desarrollo. Históricamente, ha habido múltiples casos en los que los avances en I+D se aceleraron de forma silenciosa hasta que dicha aceleración ya era un hecho evidente. Actualmente, Claude ya participa activamente en etapas centrales del ciclo de investigación y desarrollo —como la escritura de código, la ejecución de experimentos y el procesamiento de datos de entrenamiento—, contribuyendo directamente al desarrollo de modelos de próxima generación más potentes; a su vez, estos nuevos modelos impulsarán aún más la eficiencia de las fases posteriores de investigación, creando un ciclo positivo de aceleración continua.
Según la política de seguridad vigente de Anthropic, «alcanzar el umbral crítico» se refiere específicamente a cualquiera de los siguientes escenarios:
1. La IA es capaz de llevar a cabo de forma autónoma todo el ciclo de investigación en IA con un costo comparable al de un equipo humano;
2. La tasa de progreso técnico de la IA se duplica al menos, es decir, avances que originalmente requerían dos años se logran ahora en un año o menos.
A medida que la IA profundiza su participación en sus propios procesos de investigación y desarrollo, su ritmo de evolución podría ya estar superando el de las evaluaciones de seguridad, las investigaciones sobre alineación y la actualización de mecanismos de protección. Anthropic señala explícitamente que, hasta la fecha, ningún modelo existente ha sido calificado como haber alcanzado dicho umbral; esta advertencia se basa principalmente en simulaciones técnicas internas y en estimaciones prospectivas sobre las capacidades de futuros modelos. Para mitigar los riesgos potenciales, la empresa está evaluando con cautela posibles revisiones de su política de seguridad, cuyo objetivo central es garantizar que los seres humanos mantengan en todo momento la supervisión y el control sobre las etapas clave del desarrollo.
Según la política de seguridad vigente de Anthropic, «alcanzar el umbral crítico» se refiere específicamente a cualquiera de los siguientes escenarios:
1. La IA es capaz de llevar a cabo de forma autónoma todo el ciclo de investigación en IA con un costo comparable al de un equipo humano;
2. La tasa de progreso técnico de la IA se duplica al menos, es decir, avances que originalmente requerían dos años se logran ahora en un año o menos.
A medida que la IA profundiza su participación en sus propios procesos de investigación y desarrollo, su ritmo de evolución podría ya estar superando el de las evaluaciones de seguridad, las investigaciones sobre alineación y la actualización de mecanismos de protección. Anthropic señala explícitamente que, hasta la fecha, ningún modelo existente ha sido calificado como haber alcanzado dicho umbral; esta advertencia se basa principalmente en simulaciones técnicas internas y en estimaciones prospectivas sobre las capacidades de futuros modelos. Para mitigar los riesgos potenciales, la empresa está evaluando con cautela posibles revisiones de su política de seguridad, cuyo objetivo central es garantizar que los seres humanos mantengan en todo momento la supervisión y el control sobre las etapas clave del desarrollo.
