Clonadores de voz con IA carecen de garantías adecuadas para prevenir abusos

Una investigación reciente de la asociación de consumidores estadounidense
Consumer Reports ha analizado
seis de las principales plataformas de clonación de voz disponibles para el
gran público, y la conclusión ha sido que cinco de ellas tienen medidas de
seguridad débiles y fácilmente eludibles. Las empresas evaluadas
fueron DescriptElevenLabsLovoPlayHTResemble AI y Speechify.

Cuatro de estas compañías (Speechify, PlayHT, Lovo y ElevenLabs) sólo
requieren que los usuarios marquen una casilla en la que afirman tener derecho
a clonar la voz, sin ningún mecanismo real de verificación. Resemble AI,
por su parte, exige que la persona grabe audio en tiempo real en lugar de
subir un archivo… aunque este requisito fue fácilmente burlado por los
investigadores al reproducir un audio pregrabado.

La única empresa que implementa una medida de seguridad algo más robusta es
Descript, que exige la grabación de una declaración de consentimiento
específica, aunque esto también podría ser vulnerado utilizando otro de los
servicios de clonación de voz anteriores.

Aumentan los casos de uso lícito

Es importante dejar claro que los usos potenciales de la clonación de voz con
IA no son exclusivamente negativos: existen aplicaciones legítimas y
beneficiosas, como la generación de audiolibros, la ayuda a personas con
discapacidades del habla y la traducción de contenido a múltiples idiomas
manteniendo la identidad vocal del hablante. No obstante, el mal uso de esta
tecnología representa una amenaza creciente.

Uno de los casos más notorios de abuso en los Estados Unidos ocurrió durante
su último proceso de primarias, cuando se difundieron llamadas automáticas (robocalls) con una imitación de la voz de Joe Biden instando a los votantes a no
participar en los comicios. El artífice de este engaño fue sancionado con una
multa de seis millones de dólares, y la Comisión Federal de Comunicaciones
(FCC) prohibió posteriormente las llamadas automatizadas generadas por IA.

El robocalling, o la realización de llamadas automatizadas mediante el
uso de bots (también denominadas ‘robollamadas’), constituye una de las
prácticas más molestas (y frecuentes) de los spammers telefónicos. Estos
sistemas automatizados llaman a miles de números al azar, verificando si están
activos y, en muchos casos, preparando el terreno para futuras llamadas
comerciales… o incluso estafas.

Las estafas telefónicas también se han visto reforzadas con esta tecnología.
En la modalidad conocida como «estafa del abuelo o del tío»,
los delincuentes llaman a personas mayores haciéndose pasar por un familiar
en peligro para pedir dinero de urgencia.

Esta estafa existe desde hace tiempo, pero la Comisión Federal de Comercio de
EE.UU. ha advertido que los timadores empiezan a recurrir a la IA para hacer
que las voces suenen más convincentes.

Incluso en el ámbito de la industria del entretenimiento, los abusos han sido
evidentes. Hace ya dos años,
una canción que utilizaba voces clonadas de los artistas Drake y The
Weeknd

se volvió viral en redes sociales tras ser lanzada sin su consentimiento.

Detectar voces manipuladas

ElevenLabs ha creado un
detector de voz manipuladas por IA
y, a través de marcas de agua denominado HashVoice, es posible firmar un audio
pensando para detener la viralización de campañas de difamación, o falsas
noticias por las plataformas sociales. Hashvoice fue presentando en la
conferencia RootedCON 2025 y permite validar que un mensaje de audio corresponde a un
usuario y firmarlo mediante un proceso de hashing, JWT y esteganografía. Queda definir qué tan útil sería este método de detección y si el mismo no podría ser fácilmente eliminado.

Regulación y políticas de las compañías

A pesar del creciente uso indebido de la clonación de voz con IA, los defensores
de los consumidores ven aún la regulación como insuficiente: aunque la FTC
estadounidense ha aprobado una norma que prohíbe la suplantación de identidades
gubernamentales y empresariales mediante IA, aún no ha logrado extender esta
prohibición a la imitación de individuos.

Algunas empresas tecnológicas han optado por restringir motu proprio el acceso
a sus herramientas de clonación de voz por temor a su mal uso. Microsoft, por
ejemplo, ha decidido no lanzar públicamente
su tecnología VALL-E 2, y OpenAI ha limitado el acceso a su motor de síntesis de voz por razones
similares.

Frente a eso, algunas compañías continúan promoviendo el uso fraudulento de
esta tecnología: el informe de Consumer Reports revela que PlayHT y Speechify
proponen las «bromas telefónicas» como un ejemplo de utilidad de sus
herramientas de clonación de voz.

En el estudio de CR, se incluye una
lista de prácticas recomendadas
por las empresas y recomendaciones adicionales sobre políticas de IA.

Fuente:
Genbeta

Ver fuente

Related Post