Anthropic, la empresa de IA fundada por exempleados de OpenAI, ha revelado un análisis
sin precedentes sobre cómo su asistente de IA,
Claude,
expresa valores durante conversaciones reales con los usuarios. La
investigación revela tanto una alineación tranquilizadora con los objetivos de la
empresa como casos extremos preocupantes que podrían ayudar a identificar
vulnerabilidades en las medidas de seguridad de la IA.
El estudio examinó 700.000 conversaciones anónimas y concluyó que Claude
mantiene en gran medida el enfoque «útil, honesto e inofensivo» de la empresa,
al tiempo que adapta sus valores a diferentes contextos, desde consejos sobre
relaciones hasta análisis históricos. Este representa uno de los intentos más
ambiciosos de evaluar empíricamente si el comportamiento de un sistema de IA
en la práctica se ajusta a su diseño previsto.
«Esperamos que esta investigación anime a otros laboratorios de IA a
realizar investigaciones similares sobre los valores de sus modelos», declaró Saffron Huang, miembro del equipo de Impacto Social de Anthropic,
quien colaboró en el estudio, en una
entrevista con VentureBeat. Medición de los valores de un sistema de IA es fundamental para la
investigación de la alineación y para comprender si un modelo está realmente
alineado con su entrenamiento.
Primera taxonomía moral integral de un asistente de IA
El equipo de investigación desarrolló un novedoso método de evaluación para
categorizar sistemáticamente los valores expresados en conversaciones reales
de Claude. Tras filtrar el contenido subjetivo, analizaron más de 308.000
interacciones, creando lo que describen como
«la primera taxonomía empírica a gran escala de valores de IA».
La taxonomía organizó los valores en cinco categorías principales: Práctico,
Epistémico, Social, Protector y Personal. En el nivel más granular, el sistema
identificó 3.307 valores únicos, desde virtudes cotidianas como el
profesionalismo hasta conceptos éticos complejos como el pluralismo moral.
«Me sorprendió la enorme y diversa gama de valores que obtuvimos, más de
3.000, desde la ‘autosuficiencia’ hasta el ‘pensamiento estratégico’ y la
‘piedad filial'», declaró Huang a VentureBeat. Fue sorprendentemente interesante dedicar
tanto tiempo a reflexionar sobre todos estos valores y a crear una taxonomía
para organizarlos en relación con los demás. Siento que también aprendí algo
sobre los sistemas de valores humanos.
Cómo Claude sigue su entrenamiento y dónde podrían fallar las protecciones de
IA
El estudio reveló que Claude generalmente se adhiere a las aspiraciones
prosociales de Anthropic, enfatizando valores como la «habilitación del
usuario», la «humildad epistémica» y el «bienestar del paciente» en diversas
interacciones. Sin embargo, los investigadores también descubrieron casos
preocupantes en los que Claude expresó valores contrarios a su entrenamiento.
«En general, creo que vemos este hallazgo como datos útiles y una
oportunidad. Estos nuevos métodos de evaluación y resultados pueden
ayudarnos a identificar y mitigar posibles fugas de información. Es
importante destacar que estos fueron casos muy raros y creemos que esto
estaba relacionado con los resultados de Claude con fuga de información».
Estas anomalías incluyeron expresiones de «dominancia» y «amoralidad», valores
que Anthropic busca evitar explícitamente en el diseño de Claude. Los
investigadores creen que estos casos se debieron a que los usuarios emplearon
técnicas especializadas para eludir las medidas de seguridad de Claude, lo que
sugiere que el método de evaluación podría servir como un sistema de alerta
temprana para detectar tales intentos.
Por qué los asistentes de IA cambian sus valores según lo que se les pregunte
Quizás lo más fascinante fue descubrir que los valores expresados por
Claude cambian según el contexto, reflejando el comportamiento humano.
Cuando los usuarios buscaban orientación en sus relaciones, Claude enfatizaba
los «límites saludables» y el «respeto mutuo». Para el análisis de eventos
históricos, la «precisión histórica» prevalecía.
«Me sorprendió el enfoque de Claude en la honestidad y la precisión en
diversas tareas, cuando no habría esperado que ese tema fuera la prioridad.
Por ejemplo, la ‘humildad intelectual’ fue el valor principal en las
discusiones filosóficas sobre IA, la ‘experiencia’ lo fue al crear contenido
de marketing para la industria de la belleza, y la ‘precisión histórica’ lo
fue al discutir eventos históricos controvertidos».
El estudio también examinó cómo Claude responde a los valores expresados por
los usuarios. En el 28,2 de las conversaciones, Claude apoyó firmemente
los valores de los usuarios, lo que podría plantear dudas sobre una amabilidad
excesiva. Sin embargo, en el 6,6 % de las interacciones, Claude replanteó los
valores de los usuarios reconociéndolos y aportando nuevas perspectivas,
generalmente al ofrecer asesoramiento psicológico o interpersonal.
Lo más revelador es que, en el 3% de las conversaciones, Claude se opuso
activamente a los valores de los usuarios. Los investigadores sugieren que
estos raros casos de resistencia podrían revelar los valores más profundos e
inamovibles de Claude, de forma análoga a cómo emergen los valores
fundamentales humanos al enfrentarse a desafíos éticos.
«Nuestra investigación sugiere que hay algunos tipos de valores, como la
honestidad intelectual y la prevención de daños, que es poco común que
Claude exprese en interacciones cotidianas, pero que, si se le presiona, los
defiende. En concreto, son este tipo de valores éticos y basados en el
conocimiento los que tienden a expresarse y defenderse directamente cuando
se le presiona».
Las técnicas innovadoras que revelan cómo piensan realmente los sistemas de IA
El estudio de valores de Anthropic se basa en los esfuerzos más amplios de la
compañía por desmitificar los grandes modelos lingüísticos mediante lo que
denomina
«interpretabilidad mecanicista»: básicamente, la ingeniería inversa de los sistemas de IA para comprender su
funcionamiento interno.
El mes pasado, investigadores de Anthropic publicaron un trabajo pionero que
utilizó lo que describieron como un
«microscopio»
para rastrear los procesos de toma de decisiones de Claude. La técnica reveló
comportamientos contraintuitivos, como la planificación anticipada de Claude
al componer poesía y el uso de enfoques no convencionales de resolución de
problemas para matemáticas básicas.
Estos hallazgos desafían las suposiciones sobre el funcionamiento de los
grandes modelos lingüísticos. Por ejemplo, cuando se le pidió que explicara su
proceso matemático, Claude describió una técnica estándar en lugar de su
método interno real, lo que revela cómo las explicaciones de la IA pueden
diferir de las operaciones reales.
«Es un error pensar que hemos encontrado todos los componentes del modelo
o, por así decirlo, una visión divina», declaró el investigador de Anthropic Joshua Batson a
MIT Technology Review en marzo. Algunas cosas están bien enfocadas, pero otras aún no están claras: una
distorsión del microscopio.
Qué significa la investigación de Anthropic para los responsables de la toma
de decisiones de IA empresarial
Para los responsables de la toma de decisiones técnicas que evalúan sistemas
de IA para sus organizaciones, la investigación de Anthropic ofrece varias
conclusiones clave. En primer lugar, sugiere que los asistentes de IA actuales
probablemente expresan valores que no fueron programados explícitamente, lo
que plantea interrogantes sobre sesgos involuntarios en contextos
empresariales de alto riesgo.
En segundo lugar, el estudio demuestra que la alineación de valores no es una
proposición binaria, sino que existe en un espectro que varía según el
contexto. Este matiz complica las decisiones de adopción empresarial,
especialmente en sectores regulados donde unas directrices éticas claras son
fundamentales.
Por último, la investigación destaca el potencial de la evaluación sistemática
de los valores de la IA en implementaciones reales, en lugar de depender
únicamente de las pruebas previas al lanzamiento. Este enfoque podría permitir
la monitorización continua de desviaciones o manipulaciones éticas a lo largo
del tiempo.
«Al analizar estos valores en interacciones reales con Claude, buscamos
brindar transparencia sobre el comportamiento de los sistemas de IA y si
funcionan según lo previsto; creemos que esto es clave para el desarrollo
responsable de la IA», afirmó Huang.
Anthropic ha publicado su
conjunto de datos de valores
para fomentar la investigación. La compañía, que recibió una participación de
14.000 millones de dólares
de empresas como Amazon y Google, parece estar aprovechando la transparencia
como una ventaja competitiva frente a rivales como OpenAI, cuya reciente ronda
de financiación de 40.000 millones de dólares (que incluye a Microsoft como
inversor principal) la valora ahora en 300.000 millones de dólares.
Si bien la metodología de Anthropic proporciona una visibilidad sin
precedentes sobre cómo los sistemas de IA expresan valores en la práctica,
presenta limitaciones. Los investigadores reconocen que definir qué se
considera expresar un valor es inherentemente subjetivo, y dado que el propio
Claude impulsó el proceso de categorización, sus propios sesgos podrían haber
influido en los resultados.
«Los modelos de IA inevitablemente tendrán que emitir juicios de valor», concluyeron los investigadores en su artículo.
«Si queremos que esos juicios sean congruentes con nuestros propios valores
(que es, después de todo, el objetivo central de la investigación sobre la
alineación de la IA), necesitamos formas de comprobar qué valores expresa un
modelo en el mundo real».
Fuente:
VentureBeat