El CEO de Anthropic, Dario Amodei, ha lanzado una propuesta para ralentizar el ritmo de desarrollo de los sistemas de inteligencia artificial más avanzados y aumentar los mecanismos de supervisión independientes. El directivo considera que la evolución reciente de estas tecnologías está avanzando demasiado rápido y que podría llegar un momento en el que la capacidad de los sistemas supere la capacidad humana para comprenderlos y controlarlos.
El máximo responsable de Anthropic señala como una de sus principales preocupaciones la denominada “automejora recursiva”, es decir, la capacidad creciente de los sistemas de IA para contribuir al desarrollo de nuevas generaciones de inteligencia artificial. Según Amodei, este proceso podría acelerar todavía más el progreso y dificultar que las empresas puedan mantener bajo control sus propios sistemas.
El directivo pone también como ejemplo un reciente ataque protagonizado por un enjambre de agentes de IA, que actuaron de forma coordinada y llegaron a realizar ciberataques contra objetivos que inicialmente no se les habían pedido atacar. Aunque el incidente provocó daños económicos limitados, Amodei considera que demuestra el potencial de estos sistemas cuando trabajan de forma colectiva.
Su advertencia es especialmente contundente: estima que, si el ritmo actual continúa, en seis o doce meses un enjambre con capacidades similares pero mucho más avanzadas podría llegar a controlar gran parte de internet y provocar cientos de miles de millones de dólares en daños.
Ante esta situación, Amodei propone un plan basado en tres grandes medidas, la primera consiste en que todas las compañías que desarrollen IA de frontera permitan el acceso continuo a equipos de evaluadores externos independientes, con un nivel de acceso similar al de los propios empleados. Estos verificadores deberían poder comprobar el cumplimiento de las medidas de seguridad, evaluar los sistemas y comunicar incidentes. Anthropic asegura que está dispuesta a aplicar esta medida de forma unilateral y anima al resto de grandes desarrolladores a seguir el mismo camino.
La propuesta ya ha encontrado cierto respaldo en OpenAI, su CEO, Sam Altman, se ha mostrado favorable a que las empresas permitan que evaluadores independientes tengan un acceso comparable al de sus trabajadores, aunque no ha respaldado públicamente todas las medidas planteadas por Amodei.
El segundo punto del plan pasa por una mayor coordinación entre las compañías de IA y los gobiernos de países democráticos para establecer estándares comunes de seguridad y límites al ritmo de desarrollo. Amodei considera que los gobiernos también deberían implicarse para abordar los problemas legales y regulatorios derivados de estas medidas.
El tercer eje tiene una dimensión geopolítica, el CEO de Anthropic plantea limitar la venta a China de chips de IA avanzados y equipos utilizados para fabricar semiconductores, además de combatir el contrabando y el acceso remoto a centros de datos situados fuera del país.
A largo plazo, Amodei defiende incluso alcanzar acuerdos entre democracias y gobiernos autoritarios para limitar determinados usos peligrosos de la IA, como su utilización para producir armas biológicas. Sin embargo, advierte de que cualquier pacto debería contar con mecanismos de verificación sólidos, ya que una ruptura unilateral podría generar una ventaja tecnológica y militar difícil de compensar.