Meta ha anunciado un importante refuerzo de las medidas de seguridad de Meta AI para adolescentes. La compañía comenzará a avisar a los padres cuando detecte posibles indicios de suicidio o autolesiones en las conversaciones que los menores mantengan con su asistente de inteligencia artificial, además de trabajar en una función que permitirá contactar directamente con los servicios de emergencia cuando exista un riesgo inminente. La iniciativa forma parte de la estrategia de Meta para ofrecer experiencias de IA adaptadas a la edad de los usuarios y reforzar la protección de los menores dentro de sus plataformas.
Hasta ahora, cuando un adolescente expresaba pensamientos relacionados con el suicidio o las autolesiones, Meta AI respondía ofreciendo información sobre líneas de ayuda especializadas y recomendando acudir a un padre, un tutor o un profesional de confianza pero, con esta actualización, la plataforma irá un paso más allá. Si los sistemas de Meta detectan que una conversación sugiere que un menor podría encontrarse en una situación de riesgo, los padres que supervisan la cuenta recibirán una notificación acompañada de recursos elaborados por expertos para ayudarles a abordar la situación.
Según explica la compañía, el sistema ha sido desarrollado junto a especialistas en salud mental y familias para identificar tanto referencias explícitas como señales más sutiles relacionadas con posibles conductas suicidas o autolesivas.
Meta ha señalado que todas las conversaciones marcadas por sus sistemas de inteligencia artificial serán revisadas manualmente antes de enviar una alerta a los padres, la empresa asegura que, cuando existan dudas sobre la intención del adolescente, optará por actuar con prudencia y notificar igualmente a la familia, aunque posteriormente pueda comprobarse que no existía un riesgo real. El objetivo es minimizar los falsos negativos y priorizar la seguridad de los menores mientras continúa mejorando la precisión de sus modelos de detección.
Actualmente, estas alertas ya están disponibles para los padres que utilizan la supervisión parental de Instagram en Estados Unidos, Reino Unido, Canadá y Australia aunque Meta prevé extender la función al resto del mundo antes de finalizar el año.
Además de las notificaciones a los padres, Meta trabaja en un sistema que permitirá contactar directamente con los servicios de emergencia cuando una conversación con Meta AI, tanto de adolescentes como de adultos, indique un riesgo inminente de suicidio. La compañía ya aplica un procedimiento similar en Facebook e Instagram cuando detecta publicaciones que sugieren un peligro real para la vida de una persona, solo durante el último año realizó más de 19.000 avisos a los servicios de emergencia en diferentes países para facilitar comprobaciones de bienestar.
Meta también ha anunciado que ampliará el modo Limited Content a las conversaciones con Meta AI, este nivel de protección, disponible para las cuentas de adolescentes supervisadas por sus padres, restringirá todavía más el tipo de conversaciones que podrán mantener con la inteligencia artificial. Mientras que la configuración estándar ya impide que Meta AI participe en conversaciones sexuales o románticas con menores o responda a determinadas solicitudes sensibles, el nuevo modo limitará un número aún mayor de temas para reducir la posibilidad de interacciones potencialmente inapropiadas.
Para desarrollar estas medidas, Meta ha contado con la colaboración de más de 75 especialistas en salud mental, además de su Consejo de Expertos en Bienestar de IA, su grupo asesor sobre suicidio y autolesiones y diversos asesores juveniles. Las recomendaciones de estos profesionales han servido para mejorar la forma en que Meta AI responde a conversaciones relacionadas con la salud mental, haciendo que el asistente reconozca las emociones del usuario y le dirija de forma más natural hacia recursos de ayuda, evitando respuestas excesivamente automáticas o bruscas.