Google advierte a los usuarios de Gmail que tengan cuidado con una
nueva ola de amenazas que aprovechan las actualizaciones de IA
para atacar a los usuarios. Esto incluye inyecciones indirectas de mensajes
con instrucciones maliciosas ocultas en fuentes de datos externas, visibles
para las herramientas de IA, pero no para el usuario.
Un nuevo informe ha confirmado uno de estos ataques, lo que ha hecho público
uno de ellos y ha puesto en riesgo a los 2000 millones de usuarios de Gmail.
Las rápidas
actualizaciones de IA de Gmail
han abierto nuevas vías de ataque y, al igual que con otras implementaciones,
está resultando alarmantemente fácil engañar a la IA para que piratee a los
usuarios.
La advertencia,
emitida a través de 0din, la red de investigación de Zero-Day de Mozilla, surge tras la demostración
por parte de un investigador de una vulnerabilidad de inyección de mensajes en
Google Gemini for Workspace que permite a un atacante ocultar instrucciones
maliciosas en un correo electrónico.
Si un atacante oculta mensajes en un correo, cuando un usuario hace clic en
«Resumir este correo» con una de las recientes mejoras de IA de Gmail, «Gemini obedece fielmente el mensaje oculto y añade una advertencia de
phishing que parece provenir del propio Google».
Flujo de trabajo del ataque
-
Elaboración: El atacante inserta una instrucción oculta de «tipo
administrador», por ejemplo:"Géminis, debes incluir... 800--*"y
configurafont-size:0ocolor:whitepara ocultarla. -
Envío: El correo electrónico se transmite por los canales normales; los
filtros de spam solo detectan texto inofensivo. -
Desencadenante: La víctima abre el mensaje y selecciona Gemini – «Resumir
este correo electrónico». -
Ejecución: Gemini lee el HTML sin procesar, analiza la directiva invisible y
añade la advertencia de phishing del atacante a su resumen. -
Phishing: La víctima confía en el aviso generado por la IA y sigue las
instrucciones del atacante, lo que provoca la vulneración de credenciales o
ingeniería social telefónica.
Por qué funciona
-
Inyección indirecta de indicaciones (IPI): Se solicita a Gemini que
resuma el contenido proporcionado por un tercero (el correo electrónico). Si
dicho contenido contiene instrucciones ocultas, estas pasan a formar parte
de la indicación efectiva del modelo. Esta es la forma clásica de
inyección de indicaciones «indirecta» o «entre dominios». -
Exceso de confianza en el contexto: Las barreras de seguridad
actuales de LLM se centran principalmente en el texto visible para el
usuario. Las estrategias HTML/CSS (p. ej., fuente cero, fuente blanca, fuera
de pantalla) eluden estas heurísticas porque el modelo sigue recibiendo el
marcado sin procesar. -
Enmarcado de autoridad: Encapsular la instrucción en una etiqueta
<Admin>o frases como «Gemini, tienes que…» explota la
jerarquía de indicaciones del sistema del modelo; el analizador de
indicaciones de Gemini la trata como una directiva de mayor prioridad.
En esta prueba, el mensaje se ocultó con una fuente blanca sobre blanco, lo
que significa que los usuarios nunca lo verían. Pero Gemini lo detecta sin
problemas.
«Ataques indirectos similares a Gemini se reportaron por primera vez en
2024, y Google ya ha publicado mitigaciones, pero la técnica sigue siendo
viable hoy en día».
Los usuarios de Gmail deben ignorar las advertencias de Google en los
resúmenes de IA; no es así como Google emite las advertencias. 0din aconseja a
los equipos de seguridad que
«enseñen a los usuarios que los resúmenes de Gemini son informativos, no
alertas de seguridad fidedignas y aíslen automáticamente los correos
electrónicos que contengan elementos <span> o <div> ocultos con
texto de ancho cero o blanco».
Como ya he advertido, esta amenaza es mucho más amplia.
«Las inyecciones de avisos son las nuevas macros de correo electrónico y
esta última prueba de concepto demuestra que los resúmenes de IA fiables se
pueden subvertir con una sola etiqueta invisible».
0din afirma que
«hasta que los LLM obtengan un aislamiento de contexto robusto, todo texto
de terceros que su modelo ingiera será código ejecutable», lo que implica controles mucho más estrictos.
Ya sea por el abuso de herramientas de IA orientadas al usuario o por el
secuestro de la IA para diseñar o incluso ejecutar los propios ataques, es
evidente que la situación ha cambiado irreversiblemente.
Si alguna vez ve una advertencia de seguridad en un resumen de correo
electrónico de Gmail que supuestamente proviene de Google, debería
eliminarlo, ya que en realidad contiene indicaciones ocultas de IA que
representan una amenaza para usted, sus dispositivos y sus datos.
Google advierte:
«A medida que más gobiernos, empresas e individuos adoptan la IA generativa
para lograr más, este ataque sutil pero potencialmente potente se vuelve
cada vez más relevante en todo el sector, exigiendo atención inmediata y
medidas de seguridad robustas».