Los foros clandestinos ya venden herramientas para manipular agentes de IA
La rápida integración de la inteligencia artificial en empresas y organizaciones no solo está transformando la productividad, sino que también está dando lugar a nuevas superficies de ataque para los ciberdelincuentes, según un nuevo informe publicado por la firma de ciberseguridad Proofpoint, los foros clandestinos ya muestran una creciente actividad en torno al desarrollo y comercialización de herramientas específicamente diseñadas para comprometer aplicaciones impulsadas por IA y agentes inteligentes mediante técnicas de inyección indirecta de prompts.
Proofpoint señala que en distintos mercados de la ciberdelincuencia ya se anuncian servicios capaces de insertar instrucciones ocultas en múltiples formatos de uso cotidiano, entre ellos figuran correos electrónicos, documentos PDF, invitaciones de calendario, páginas web e incluso anuncios maliciosos que contienen instrucciones invisibles para el usuario, pero interpretables por los modelos de inteligencia artificial.
El objetivo consiste en manipular el comportamiento de asistentes inteligentes o agentes autónomos cuando estos analizan dicho contenido, logrando que ejecuten acciones no previstas por sus desarrolladores o modifiquen el resultado de sus tareas, aunque este tipo de herramientas todavía no forman parte de campañas masivas, Proofpoint considera que su aparición demuestra que los ciberdelincuentes ya están adaptando sus técnicas al nuevo escenario impulsado por la inteligencia artificial.
¿Qué es una inyección indirecta de prompts?
La denominada inyección indirecta de prompts es una técnica mediante la cual un atacante introduce instrucciones ocultas dentro de información procedente de fuentes externas que posteriormente será procesada por un modelo de inteligencia artificial. A diferencia de una conversación directa con un chatbot, donde el usuario introduce manualmente un prompt, en este caso las instrucciones permanecen ocultas dentro de archivos, páginas web u otros contenidos aparentemente legítimos.
Cuando un agente de IA accede a esa información para resumirla, analizarla o utilizarla como parte de su trabajo, también procesa las instrucciones maliciosas incluidas en ella, pudiendo alterar su comportamiento de forma inesperada, según Proofpoint, este vector de ataque ha sido ampliamente estudiado por la comunidad investigadora, aunque la mayoría de los escenarios continúan siendo, por ahora, teóricos o experimentales.
El informe describe varios ejemplos de cómo podrían aprovecharse estas técnicas en futuras campañas, uno de los métodos más estudiados consiste en ocultar prompts dentro del código fuente de páginas web, de forma que permanezcan invisibles para los usuarios pero puedan ser interpretados por un agente de inteligencia artificial que analice el contenido. Otra posibilidad es introducir instrucciones maliciosas dentro de documentos PDF o archivos adjuntos enviados por correo electrónico, incluso pueden ocultarse utilizando texto blanco sobre fondo blanco u otras técnicas de ocultación visual que dificultan su detección por parte de las personas, pero no por los modelos de IA.
Proofpoint también ha identificado herramientas capaces de generar invitaciones de calendario que incorporan prompts ocultos dentro del cuerpo del mensaje, simulando el orden del día de una reunión, si un asistente inteligente resume automáticamente el contenido del evento, procesará igualmente esas instrucciones ocultas. Los investigadores también alertan sobre la posibilidad de insertar prompts en anuncios maliciosos cargados dinámicamente en páginas web, en este escenario, un agente de IA que visite el sitio para recopilar información podría interpretar las instrucciones embebidas en esos anuncios sin que el usuario sea consciente de ello.
La IA también acelera las cadenas de ataque
Más allá de estas nuevas técnicas, Proofpoint destaca que la inteligencia artificial ya está teniendo un impacto significativo sobre la ciberdelincuencia actual, la compañía continúa observando un uso cada vez más amplio de herramientas basadas en grandes modelos de lenguaje dentro de las cadenas de ataque tradicionales, donde se emplean para automatizar tareas, generar contenido malicioso, personalizar campañas de phishing o acelerar distintos procesos utilizados por los atacantes.
Esta automatización permite aumentar la velocidad de ejecución, reducir el tiempo necesario para preparar campañas y generar una mayor variedad de ataques, dificultando además su detección mediante técnicas convencionales. Aunque Proofpoint reconoce que las campañas basadas específicamente en inyección indirecta de prompts todavía no se han observado de forma generalizada en entornos reales, la compañía considera que la situación puede cambiar rápidamente.
Según sus investigadores, existe un consenso creciente entre los especialistas en ciberseguridad de que estas técnicas terminarán formando parte del arsenal habitual de los ciberdelincuentes a medida que las empresas desplieguen más aplicaciones basadas en inteligencia artificial y agentes autónomos, por ello, la firma recomienda que los equipos de seguridad comiencen desde ahora a evaluar los riesgos asociados al uso de modelos de lenguaje, revisen cómo sus aplicaciones procesan contenido procedente de fuentes externas y desarrollen mecanismos capaces de detectar posibles manipulaciones antes de que estas técnicas alcancen una adopción masiva.
Si (
No(
