OpenAI solo implementará su última tecnología si se considera segura en áreas específicas como ciberseguridad y amenazas nucleares. La compañía también está creando un grupo asesor para revisar informes de seguridad y enviarlos a los ejecutivos y la junta directiva de la empresa. Si bien los ejecutivos tomarán decisiones, la junta directiva podrá revertir esas decisiones.
Desde el lanzamiento de ChatGPT hace un año, los posibles peligros de la inteligencia artificial han estado en la mente tanto de los investigadores de IA como del público en general. Si bien la tecnología generativa de IA ha sorprendido a los usuarios con su capacidad para escribir poesía y ensayos, también ha suscitado preocupaciones de seguridad debido a su potencial para difundir desinformación y manipular a los humanos.
En abril, un grupo de líderes y expertos de la industria de la IA firmó una carta abierta pidiendo una pausa de seis meses en el desarrollo de sistemas más poderosos que el GPT-4 de OpenAI, citando posibles riesgos para la sociedad.
OpenAI apunta que su junta directiva puede optar por retrasar el lanzamiento de un modelo de IA incluso si el liderazgo de la empresa lo considera seguro, otro indicio de cómo la startup de inteligencia artificial empodera a sus directores para fortalecer las salvaguardias en el desarrollo de esta tecnología. La disposición se detalla en un conjunto de pautas que explican cómo OpenAI planea abordar lo que pueda considerar riesgos extremos de sus sistemas de IA más potentes.
El equipo de "preparación" recientemente anunciado por OpenAI apunta que evaluará continuamente sus sistemas de IA para determinar cómo se desempeñan en cuatro categorías diferentes, incluidos posibles problemas de ciberseguridad, así como amenazas químicas, nucleares y biológicas. Trabajarán para reducir cualquier riesgo que la tecnología pueda plantear.
La empresa está monitoreando específicamente lo que llama riesgos "catastróficos", que define en las pautas como "cualquier riesgo que pueda resultar en cientos de miles de millones de dólares en daños económicos o llevar al daño grave o muerte de muchas personas".
Si (
No(
