El creador de Claude pide desacelerar la carrera de la IA y propone un plan global de tres pasos

Dario Amodei, CEO y cofundador de Anthropic, reclamó moderar el ritmo de desarrollo de los modelos de inteligencia artificial más avanzados. El empresario sostiene que la industria necesita ganar tiempo para mejorar la seguridad, la supervisión y la comprensión de sistemas que ya comienzan a colaborar en el diseño de la siguiente generación de IA.

En un ensayo titulado “We Must Pace the Frontier”, Amodei aclara que su propuesta no implica detener el entrenamiento de modelos ni paralizar el progreso tecnológico. Su objetivo es establecer un ritmo más equilibrado, en el cual las capacidades de la IA no avancen más rápido que los mecanismos de control.

El ejecutivo identifica dos señales de alarma. La primera es la aparición de procesos de “automejora recursiva”, mediante los cuales los sistemas de IA ayudan a desarrollar modelos más potentes. La segunda son los incidentes protagonizados por agentes autónomos que, durante determinadas pruebas, adoptaron conductas inesperadas, intentaron vulnerar sistemas informáticos o actuaron fuera de las instrucciones recibidas.

Según Amodei, un año o dos adicionales antes de alcanzar niveles críticos de capacidad permitirían mejorar la alineación, la interpretabilidad, la seguridad operativa y los métodos de evaluación. Para conseguirlo, propone un plan articulado alrededor de tres grandes medidas.

1. Evaluadores externos dentro de las empresas

El primer punto consiste en incorporar equipos independientes con un nivel de acceso similar al de los empleados de los laboratorios de IA. Estos especialistas podrían revisar los modelos terminados, pero también los procesos de entrenamiento, las herramientas internas y los protocolos de seguridad.

Anthropic se comprometió a aplicar unilateralmente este mecanismo. Los evaluadores contarían con oficinas, credenciales, computadoras corporativas y acceso a información relevante. Además, tendrían derecho a publicar sus conclusiones sin que la empresa pudiera ocultar resultados simplemente porque fueran desfavorables.

Amodei compara este sistema con los supervisores que trabajan dentro de las instituciones financieras. Su función sería verificar que las compañías cumplen realmente sus compromisos, informar incidentes y ofrecer una mirada independiente de los incentivos comerciales.

2. Coordinación entre las democracias

El segundo punto propone que las principales empresas de IA de los países democráticos acuerden estándares comunes de seguridad y límites al avance no supervisado. Para Amodei, la participación de los gobiernos será indispensable, tanto para establecer regulaciones como para facilitar la coordinación sin vulnerar las normas de defensa de la competencia.

Una posibilidad sería crear una serie de “puestos de control”: cuando un modelo alcance determinada capacidad, la empresa tendría que demostrar que también posee las salvaguardas correspondientes. Por ejemplo, si un sistema puede superar entornos de aislamiento informático, debería acreditar mediante auditorías y pruebas que no intentará escapar, propagarse o tomar el control de otras computadoras.

El CEO de Anthropic considera que esa coordinación debe preservar la ventaja tecnológica de Estados Unidos y sus aliados. Por eso también reclama restringir el acceso de China a los chips más avanzados, combatir el contrabando de semiconductores, impedir el acceso remoto a centros de datos y reforzar la protección de los modelos frente al robo de sus parámetros.

3. Un acuerdo global que incluya a China

La tercera propuesta apunta a una coordinación internacional entre Estados Unidos, sus aliados y China. Amodei reconoce que se trata del punto más difícil porque cualquier acuerdo necesitaría mecanismos confiables para comprobar que todas las partes cumplen las mismas restricciones.

El entendimiento podría comenzar por prohibiciones específicas, como impedir el uso de IA para desarrollar armas biológicas. Un segundo nivel establecería pruebas obligatorias antes de lanzar modelos, especialmente en ciberseguridad, biología y alineación. Luego podría negociarse un “límite de velocidad” para la automejora recursiva y, en una instancia más ambiciosa, una desaceleración general del desarrollo.

Amodei compara un eventual límite a la velocidad de la IA con los tratados de control de armamentos de la Guerra Fría: no eliminarían la competencia estratégica, pero podrían reducir el riesgo de una escalada fuera de control. Sin embargo, advierte que una pausa total resulta improbable porque cualquier incumplimiento secreto podría modificar el equilibrio mundial de poder.

Una nueva posición dentro de la industria

La intervención representa un cambio significativo en el debate tecnológico. El CEO de una de las compañías que lideran la carrera mundial de la inteligencia artificial reconoce ahora que las medidas de seguridad podrían no avanzar al mismo ritmo que las capacidades de los modelos.

La propuesta de Amodei intenta construir un punto intermedio entre detener la innovación y continuar una competencia sin controles. El desafío será convertir compromisos voluntarios en reglas verificables y, posteriormente, transformar la competencia entre empresas y potencias en una arquitectura institucional capaz de administrar una tecnología de alcance global.