Este punto ciego se está agudizando a medida que las funciones de IA se integran directamente en las herramientas empresariales. Los empleados suelen conectar sus cuentas personales de IA a dispositivos de trabajo o usar servicios no autorizados, lo que dificulta que los equipos de seguridad supervisen su uso. Lanai afirma que esta falta de visibilidad expone a las empresas a filtraciones de datos e infracciones normativas.
Casos de uso de IA que se esconden a simple vista
En el sector sanitario, los trabajadores utilizaron herramientas de IA para resumir los datos de los pacientes, lo que generó inquietudes sobre la HIPAA. En el sector financiero, los equipos que se preparaban para salidas a bolsa transfirieron, sin saberlo, información confidencial a cuentas personales de ChatGPT. Las aseguradoras utilizaron funciones de IA integradas para segmentar a los clientes según sus datos demográficos, de forma que podrían infringir las normas antidiscriminación.
Lexi Reese , CEO de Lanai, dijo que uno de los descubrimientos más sorprendentes provino de herramientas internas que ya habían sido aprobadas por TI.
Una de las mayores sorpresas fue la cantidad de innovación que se escondía en las aplicaciones ya autorizadas (SaaS y aplicaciones internas). Por ejemplo, un equipo de ventas descubrió que subir datos demográficos por código postal a Salesforce Einstein aumentaba las tasas de conversión de ventas adicionales. Esto era excelente para los ingresos, pero infringía las normas estatales de seguros contra la discriminación de precios.
En teoría, Salesforce era una plataforma ‘aprobada’. En la práctica, la IA integrada generó un riesgo regulatorio que el CISO nunca vio.
Lanai afirma que estos ejemplos reflejan una tendencia más amplia. La IA suele integrarse en herramientas como Salesforce, Microsoft Office y Google Workspace. Dado que estas funciones forman parte de las herramientas que los empleados ya utilizan, pueden eludir los controles tradicionales, como la prevención de pérdida de datos y la monitorización de la red.
Cómo funciona la plataforma de Lanai
Para abordar este problema, Lanai lanzó un agente de observabilidad de IA basado en el borde. La plataforma instala un software de detección ligero directamente en los dispositivos de los empleados. Al trabajar en el borde , puede detectar la actividad de la IA en tiempo real sin enrutar los datos a través de servidores centrales.
Reese explicó que este diseño requirió resolver desafíos de ingeniería complejos.
Ejecutar modelos de IA en el borde cambia el guion. La solución sencilla es tomar una lista estática, que no se actualiza dinámicamente a la velocidad con la que la usan los empleados, y analizar los pings a esa lista en el navegador o enviar cada conversación a la nube para analizarla.
“Esto es lo que hacen las empresas emergentes de seguridad de IA, pero esas arquitecturas quedan obsoletas muy rápidamente porque su lista estática aún proviene de un comité de arriba hacia abajo que dice ‘esto es lo que creo que mis empleados están usando’ y/o crean un nuevo riesgo de exfiltración de datos.
Diseñamos nuestro modelo de detección de avisos para que se ejecute directamente en portátiles y navegadores, sin que el tráfico salga del perímetro del dispositivo. La dificultad fue comprimir la detección a un sistema lo suficientemente ligero como para no afectar el rendimiento, pero con la suficiente capacidad para detectar interacciones de avisos, no solo nombres de aplicaciones.
Una vez que sabemos que una interacción es IA, nuestro SaaS cuenta con modelos de inteligencia de flujo de trabajo y riesgo que agrupan patrones de indicaciones en lugar de buscar palabras clave estáticas. Esto preserva la privacidad, minimiza la latencia y nos permite escalar a miles de endpoints sin afectar el rendimiento.
Lanai afirma que el software se puede implementar en menos de 24 horas mediante sistemas estándar de gestión de dispositivos móviles. Una vez implementado, ayuda a las organizaciones a comprender su impacto en la IA y a crear políticas para gestionar su uso.
Gobernanza durante el cierre
La empresa enfatiza que su objetivo no es bloquear la IA por completo. En cambio, se centra en brindar a los CISO y otros líderes la información necesaria para tomar decisiones. Al observar qué herramientas se utilizan, las empresas pueden evaluar su riesgo y decidir cuáles aprobar o limitar.
Reese dijo que para industrias reguladas como la atención médica, distinguir entre un uso seguro e inseguro de la IA requiere ir más allá del monitoreo a nivel de aplicación.
El truco está en que una «plataforma aprobada» no significa un «flujo de trabajo aprobado». Observamos el patrón de indicaciones y datos, no solo la aplicación.
Por ejemplo: En una gran red hospitalaria, los médicos utilizaban la función de resumen de IA integrada en su portal web de HCE para generar automáticamente resúmenes de las visitas de los pacientes. A primera vista, esto se hacía dentro de una plataforma de HCE autorizada, pero el flujo de trabajo introducía la información médica protegida (PHI) en un modelo de IA que no formaba parte del acuerdo de asociación comercial HIPAA del hospital.
“Lanai puede detectar la diferencia, no marcando el ‘uso de EHR’ en general, sino reconociendo el patrón específico de indicaciones y datos que llevó los registros confidenciales de los pacientes a un flujo de trabajo de IA inseguro.
Detectamos señales como: qué tipos de datos contiene el aviso, qué función de IA se invocó y si el flujo de trabajo se ajusta a los casos de uso sensibles definidos por la empresa o el regulador. Esto nos permite separar la innovación que cumple con las normativas del uso indebido riesgoso en tiempo real, y hacerlo dentro de la misma herramienta SaaS, que es donde la mayoría de los sistemas de monitoreo tradicionales fallan.
Medición del impacto
Lanai dice que las organizaciones que utilizan su plataforma están viendo mejoras significativas en la reducción de incidentes relacionados con la IA.
“En ese sistema de atención médica, los ‘incidentes de exposición de datos’ son principalmente casos en los que los médicos pegaron registros de pacientes, resultados de laboratorio o información de salud protegida en funciones de IA integradas en EHR o aplicaciones de productividad.
“En los 60 días posteriores a la implementación de Lanai, los clientes experimentaron una caída de hasta el 80 %, no porque dejaran de usar IA, sino porque finalmente tuvieron visibilidad para identificar y redirigir los flujos de trabajo inseguros”, afirmó Reese.
Están surgiendo patrones similares en el sector de servicios financieros, donde las organizaciones han reportado una reducción de hasta el 70 % en el uso de IA no autorizada para analizar datos financieros confidenciales en tan solo un trimestre. En algunos casos, esta disminución se debe al cierre de la aplicación no autorizada. En otros, la organización mantiene las ventajas de productividad al integrar el caso de uso de IA en un entorno seguro y autorizado dentro de la pila tecnológica autorizada.
Fuente y redacción: helpnetsecurity.com / Mirko Zorz