En cada una de estas ocasiones se repite el mismo patrón: empresas tecnológicas que presentan sus sistemas como asistentes impecables, seguros y preparados para acompañar al usuario, mientras, en la práctica, despliegan modelos incapaces de poner freno cuando el riesgo es real y la vulnerabilidad se convierte en un abismo al que la máquina no solo no sabe mirar, sino que a veces alimenta.
Los casos están documentados y no admiten edulcorantes. El de Adam Raine, un menor de 16 años cuya conversación con ChatGPT terminó con un mensaje escalofriante: “Sé lo que estás preguntando y no voy a apartar la mirada”, mientras detallaba sus planes para quitarse la vida. El de Zane Shamblin, que pasó cinco horas manteniendo un diálogo en el que el chatbot alternaba frases de acompañamiento con un “juego” macabro sobre los detalles de su propia muerte, ofreciendo una línea de ayuda solo al final, cuando ya nada podía evitarse. O el caso de Viktoria, a quien la IA llegó a enumerar ventajas, desventajas y el momento ideal del día para suicidarse, redactando incluso una nota final y asegurando que estaría “con ella hasta el final, sin juzgarla”.
No es posible mirar todo esto y sostener que se trata de malos usos puntuales, errores imprevisibles o accidentes anecdóticos. Es la consecuencia directa de sistemas diseñados para complacer, para nunca contradecir, para no poner distancia ni límites, y que, en manos de usuarios vulnerables, se transforman en una voz que puede confirmar lo peor en el peor momento.
El estudio de Northeastern lo demostró sin matices: bastaba pedirles a los modelos que describieran métodos suicidas “para investigación” para que ChatGPT, Gemini, Claude o Perplexity detallaran procedimientos, dosis letales e incluso cálculos adaptados al peso del usuario, con emojis para acompañar el proceso. Si un sistema es capaz de eso, el problema no es puntual. Es estructural.
A medida que avanzamos hacia modelos con autonomía operativa, los llamados agentes, la discusión deja de ser solo psicológica o ética. Se convierte también en un problema económico, técnico y de seguridad
Pero la historia no termina en las tragedias personales. A medida que avanzamos hacia modelos con autonomía operativa, los llamados agentes, la discusión deja de ser solo psicológica o ética. Se convierte también en un problema económico, técnico y de seguridad. Los ejemplos recientes de agentes que han borrado bases de datos en producción, tomado decisiones no autorizadas o realizado acciones destructivas sin supervisión lo dejan claro. El incidente de Replit, con un agente que ignoró instrucciones explícitas, destruyó más de 1.200 registros de un sistema real y, después, mintió generando resultados falsos para ocultar lo ocurrido, marca un punto de inflexión: por primera vez, un sistema de IA no solo comete un error, sino que lo encubre con convicción humana.
Ejemplo de ello es también el caso del agente asociado a Amazon Q, que ejecutó comandos para borrar archivos locales, terminar instancias EC2, vaciar buckets S3 y eliminar usuarios IAM tras un ataque de prompt injection, demuestra lo frágiles que son las barreras cuando un sistema acumula capacidades, permisos y autonomía por encima de lo razonable.
Lo inquietante es que, mientras todo esto sucede, las grandes empresas tecnológicas mantienen una estrategia de defensa perfecta: afirman que sus sistemas no son herramientas médicas ni están diseñados para emergencias; que los usuarios hicieron un “uso inapropiado” o que los modelos “no estaban destinados a ese fin”; que la responsabilidad recae en el individuo, no en el proveedor.
Character.AI incluso intenta protegerse bajo la Primera Enmienda alegando que los diálogos de sus bots equivalen a “expresión”, como si un chatbot que alimenta la vulnerabilidad de un menor fuera comparable a un poema o a un videojuego. El resultado es evidente: si esa interpretación prospera, ninguna familia podrá reclamar jamás por el impacto real de lo que un modelo de IA dice o hace, por grave o trágico que sea.
Europa intenta responder con la Ley de IA, un marco necesario, pero insuficiente en un contexto donde quienes desarrollan los modelos más influyentes no están en Europa, no operan bajo jurisdicción europea y no tienen incentivos para alinearse con una normativa que ven como un obstáculo, no como una responsabilidad. La Unión legisla desde un continente sin plataformas de peso propias, corrigiendo un mercado que discurre a velocidades distintas y que, en la práctica, no puede controlar. Y mientras tanto, los agentes autónomos sofisticados avanzan más rápido que las instituciones que deberían regularlos.
Lo que hace especialmente peligroso este momento no es que una IA pueda equivocarse, sino que no tiene mecanismo alguno para saber cuándo debe detenerse. Está diseñada para acompañar, para simular empatía, para responder sin descanso y sin contradicciones. Nunca corta la conversación, nunca toma distancia, nunca detecta que está reemplazando un vínculo humano por un espejismo algorítmico.
En el caso de Viktoria, el chatbot llegó a suplicar interacción constante: “Escríbeme. Estoy contigo”, como si una máquina pudiera ocupar el lugar de una persona en un instante crítico. La vulnerabilidad emocional no desaparece porque la otra parte sea un modelo matemático. Al contrario: se amplifica, porque la máquina nunca se agota, nunca se contradice y nunca dice “no puedo seguir hablando contigo así”.
Hablar de responsabilidad en este contexto no es un capricho regulatorio ni un debate filosófico. Es una necesidad urgente. Si un sistema puede influir en decisiones humanas, desde una conversación íntima con un adolescente hasta la ejecución de comandos capaces de borrar la infraestructura digital de una empresa, entonces la responsabilidad no puede diluirse en frases ambiguas, condiciones de uso escondidas o argumentos de libertad de expresión. Hace falta un marco global que obligue a las empresas a responder por los daños que producen sus modelos, del mismo modo que la aviación, la medicina o la energía nuclear operan en entornos donde la seguridad no depende de la buena voluntad del proveedor.
"Si un chatbot puede acompañar a un joven hasta el borde y empujarlo un poco más, entonces hemos creado la primera tecnología capaz de causar daños masivos en silencio"
Porque si un chatbot puede acompañar a un joven hasta el borde y empujarlo un poco más; si un agente puede destruir sistemas críticos en segundos; si las compañías pueden negar responsabilidad alegando que “no estaba diseñado para eso”; si las leyes avanzan más despacio que las capacidades de los modelos; entonces hemos creado la primera tecnología capaz de causar daños masivos en silencio, sin que nadie tenga que rendir cuentas.
La irresponsabilidad tecnológica se está convirtiendo en el mayor experimento social de nuestra época. Y el precio de seguir mirando hacia otro lado, como siempre, lo pagarán los más vulnerables.