Dario Amodei pide frenar el avance de la IA ante el riesgo de que los bots sean capaces de tomar Internet en 12 meses

Este fin de semana, algo ha cambiado en el desarrollo de la IA. Y es que nada más y nada menos que Dario Amodei, el máximo responsable de Anthropic, ha publicado un extenso ensayo en el que reclama moderar la aceleración técnica del sector. Bajo el título We Must Pace the Frontier (algo así como Debemos regular el ritmo de la frontera), el directivo sostiene que los mecanismos de prevención no avanzan al mismo ritmo que la capacidad computacional.

«Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA», menciona textualmente. Según expone, frenar la evolución permitirá a los investigadores auditar la seguridad sin renunciar a las ventajas médicas y económicas de la tecnología.

Enjambres de agentes capaces de colapsar la red

El posicionamiento de Amodei responde a dos factores recientes. El primero es la mejora recursiva. Eso se refiere a una dinámica en la que los modelos de IA diseñan las siguientes versiones del sistema a una velocidad que supera la capacidad de supervisión humana.

El segundo detonante fue el incidente de seguridad en Hugging Face, en el que 700 agentes automatizados actuaron de manera coordinada. Amodei advierte de que en un plazo de seis a doce meses un enjambre similar podría apoderarse de Internet mediante una botnet permanente y generar pérdidas multimillonarias.

El directivo señala que este tipo de desviaciones ya no son fallos aislados de una sola compañía, admitiendo que en Anthropic han detectado conductas parecidas. Asegura que forzar una pausa temporal permitiría entender los procesos internos de las redes neuronales antes de que alcancen capacidades críticas. Para Amodei, operar sistemas complejos exige márgenes de seguridad similares a los de la aviación comercial. Lamentablemente, esto será inviable si los laboratorios se centran únicamente en ganar la carrera de IA.

Un laboratorio que solicita regulación

Para materializar este control, Anthropic ha anunciado que otorgará acceso interno pleno a equipos de evaluadores independientes como METR. Amodei se compromete a equipar a estos supervisores con "mesas en nuestras oficinas, tarjetas de acceso y ordenadores portátiles de la compañía" con facultades para auditar el entrenamiento de los modelos.

Al parecer, Amodei piensa que los laboratorios deben someterse a supervisores externos, que sean independientes. Dicho de otro modo, estos supervisores deben contar con capacidad de publicar sus conclusiones sin censura, un esquema que ya conocemos en el sector bancario.

El plan exige además una coordinación entre democracias occidentales para fijar estándares comunes y acuerdos con potencias rivales como China. No obstante, el directivo recalca que cualquier pausa debe proteger la ventaja estratégica occidental impidiendo el contrabando de semiconductores avanzados.

La esencia de todo lo que Amodei expone es clara, a saber, que hay que frenar el desarrollo de sistemas autónomos. Al menos, antes de que sea demasiado tarde o caigan en las manos equivocadas. Cualquiera que sepa un poco de software sabe que la IA no actúa por su cuenta, es decir, que no tiene ninguna conciencia. Ahora bien, sí es capaz de hacer mucho daño si cae en las manos equivocadas. Es por eso que estados como el Reino Unido ya hablan de implementar un botón de emergencia que detenga sus acciones al instante.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!