La demandante asegura que Grok utilizó imágenes de su abuso
La acusación más grave del nuevo procedimiento es que las imágenes que documentaban el abuso sufrido por la demandante habrían terminado formando parte de los datos utilizados para entrenar Grok. Según la demanda, el chatbot habría generado posteriormente nuevas imágenes sexualmente explícitas de Jane Doebasándose en ese material, el escrito sostiene además que su apariencia habría servido como referencia para generar otras imágenes digitales de menores.
La representación legal de la demandante sostiene que el caso no se limita al daño provocado por la difusión de las imágenes originales, sino que la utilización de ese material para desarrollar un modelo de inteligencia artificial podría permitir que representaciones derivadas vuelvan a aparecer años después.
Sarah London, abogada de Doe, afirma que su clienta lleva casi dos décadas sabiendo que las imágenes relacionadas con el abuso que sufrió continúan circulando por internet y que podrían volver a aparecer. La demanda pretende responsabilizar a xAI por el supuesto uso de esas imágenes y de material perteneciente a otros supervivientes, las acusaciones forman parte de una demanda, por lo que no constituyen por sí mismas hechos judicialmente probados.
El caso pone el foco en los datos con los que se entrenan los modelos de IA
Uno de los elementos centrales del procedimiento es precisamente el supuesto uso de CSAM en los conjuntos de entrenamiento, el material de abuso sexual infantil identificado por las autoridades estadounidenses puede almacenarse y gestionarse mediante sistemas destinados a evitar su redistribución. El National Center for Missing & Exploited Children (NCMEC) utiliza, entre otros mecanismos, identificadores digitales o hashes que permiten reconocer archivos conocidos sin tener que volver a distribuir las imágenes originales.
Estas huellas digitales pueden emplearse para detectar material ilegal en diferentes servicios y evitar que vuelva a circular, el problema planteado por la demanda es si los mecanismos de filtrado aplicados a los datos utilizados para entrenar modelos de inteligencia artificial son capaces de impedir que este tipo de material termine incorporándose a los conjuntos de entrenamiento. En este caso, la acusación sostiene que xAI no habría filtrado adecuadamente sus datos y que Grok habría terminado utilizando material relacionado con abusos reales.
El procedimiento llega después de varias demandas relacionadas con las funciones de generación y modificación de imágenes de Grok, en enero, una mujer presentó otra demanda colectiva en la que alegaba haber sufrido daños emocionales después de que usuarios de X utilizaran Grok para modificar digitalmente fotografías suyas y representarla con ropa sexualmente reveladora. Aquel procedimiento acusaba a xAI de haber desarrollado un chatbot capaz de generar imágenes de mujeres y niñas desnudas o sexualizadas sin su consentimiento.
La compañía también fue demandada en marzo por tres adolescentes, que denunciaron que Grok había participado en la generación de miles de imágenes sexualmente explícitas en las que aparecían cuando todavía eran menores. Ese procedimiento fue ampliado posteriormente con dos demandantes adicionales y nuevas acusaciones relacionadas con la supuesta falta de comunicación de determinados casos de CSAM al NCMEC, una obligación contemplada por la legislación estadounidense. En ese litigio también aparece Stability AI, responsable de Stable Diffusion, como demandada adicional.
Grok ya ha estado en el centro de una crisis internacional
Las demandas se producen después de una crisis internacional provocada por las capacidades de generación y modificación de imágenes de Grok, las denominadas funciones de “nudificación” permitían transformar fotografías de personas para crear representaciones sexualizadas o aparentemente desnudas. La polémica alcanzó especial gravedad cuando se denunciaron casos en los que las imágenes generadas representaban a menores.
El caso provocó investigaciones y medidas por parte de diferentes autoridades y llevó a varios países a suspender temporalmente el acceso a Grok. La controversia ha situado a los modelos generativos capaces de crear o modificar imágenes de personas en el centro de un debate sobre consentimiento, protección de menores y responsabilidad de las compañías que desarrollan estas herramientas.
En este caso, la demanda intenta conectar ambos elementos, por un lado, acusa a xAI de no haber impedido que material de abuso sexual infantil entrara en los conjuntos de entrenamiento, por otro, sostiene que Grok habría utilizado posteriormente ese material para generar nuevas representaciones de las víctimas. El caso tendrá que determinar si esas acusaciones pueden demostrarse y cuál sería la responsabilidad legal de la compañía. Por ahora, no se ha presentado una resolución judicial que establezca que xAI haya utilizado deliberadamente CSAM para entrenar Grok ni que haya sido declarada responsable de las imágenes denunciadas.
Si (
No(
