Los ciberdelincuentes utilizan cada vez más herramientas impulsadas por IA y modelos de lenguaje grandes (maliciosos) para crear correos electrónicos convincentes y sin errores, deepfakes , personajes en línea, sitios web falsos o similares y malware.
Incluso ha habido un caso documentado de un atacante que utilizó el asistente de codificación de inteligencia artificial Claude Code (junto con Kali Linux) para casi todos los pasos de una operación de extorsión de datos.
Más recientemente, Microsoft Threat Intelligence detectó y bloqueó una campaña de ataque que entregaba un archivo adjunto malicioso ofuscado con LLM.
La campaña de phishing y la carga útil ofuscada por LLM
Los atacantes utilizaron una cuenta de correo electrónico de una pequeña empresa comprometida para enviar mensajes que parecían una notificación para ver un archivo compartido.
Los usuarios que descargaron y abrieron el archivo (aparentemente un PDF, pero en realidad un archivo SVG (gráficos vectoriales escalables)) fueron redirigidos a una página web con un mensaje de CAPTCHA y luego probablemente a una página creada para recopilar credenciales.
Lo que distingue a este ataque es cómo el archivo SVG intentó ocultar su comportamiento malicioso: en lugar de usar cifrado para ofuscar el contenido, los atacantes disfrazaron la carga útil con lenguaje comercial.
Los archivos SVG son muy populares entre los atacantes porque están basados en texto y les permiten incrustar JavaScript y otro contenido dinámico. Este tipo de archivo también les permite incluir elementos invisibles, atributos codificados y retrasar la ejecución de scripts, lo que les ayuda a evitar el análisis estático y el sandbox.
Para esta campaña, los atacantes rellenaron el archivo con elementos de un supuesto Panel de Rendimiento Empresarial, con barras de gráficos y etiquetas mensuales. Estos elementos eran invisibles para el usuario, ya que los atacantes configuraron su opacidad a cero y su relleno a transparente.
Dentro del archivo, los atacantes codificaron la carga maliciosa utilizando una larga secuencia de términos relacionados con el negocio. Palabras como ingresos, operaciones, riesgo o acciones se concatenaron en un atributo oculto de análisis de datos de un…elemento dentro del SVG. Los términos de este atributo fueron utilizados posteriormente por JavaScript incrustado, que procesó sistemáticamente las palabras relacionadas con la empresa mediante varios pasos de transformación», señalaron los analistas de amenazas de Microsoft.
En lugar de incluir directamente el código malicioso, los atacantes codificaron la carga útil asignando pares o secuencias de estos términos comerciales a caracteres o instrucciones específicos. A medida que se ejecuta el script, decodifica la secuencia y reconstruye la funcionalidad oculta a partir de lo que parecen ser metadatos comerciales inofensivos.
La carga útil final puede identificar el navegador/sistema y, si las “condiciones” son adecuadas, redirigir a la víctima potencial a una página de phishing.
¿Detectar el uso de LLM podría ayudar a detectar ataques?
Microsoft ha utilizado Security Copilot, su asistente de ciberseguridad con inteligencia artificial, para analizar el archivo SVG y decidir si fue escrito por un humano o una IA.
La herramienta detectó varios artefactos que sugerían fuertemente una generación de LLM, como nombres de variables y funciones demasiado descriptivos, una estructura de código sobrediseñada, comentarios repetitivos, elementos de código innecesarios y técnicas de ofuscación formulística típicas del código generado por LLM.
Debido a estas características, los analistas de amenazas concluyeron que era muy probable que el código fuera sintético y probablemente generado por un LLM o una herramienta que utilizara uno.
Afortunadamente, bloquear los intentos de phishing implica más que simplemente determinar si una carga útil es dañina. Sin embargo, la ofuscación generada por IA a menudo introduce artefactos sintéticos, que pueden convertirse en nuevas señales de detección, señalaron los analistas .
Por lo tanto, es posible que el uso de LLM pueda en ocasiones hacer que los ataques sean más fáciles de detectar, y no menos.
Fuente y redacción: helpnetsecurity.com / Zeljka Zorz