Anthropic entrenó a Claude para evaluar después de cada respuesta si la conversación sugiere un uso indebido

Anthropic informó el jueves 29 de octubre que entrenó a su modelo Claude para hacer una evaluación preliminar de seguridad de la conversación después de cada respuesta. La empresa llama a este método «autoevaluación» (self-assessment) y afirma que desde junio detectó usos indebidos que sus otras salvaguardas no captaban^[1]. El detalle técnico está en un artículo de su blog de salvaguardas, fechado el 16 de octubre y firmado por nueve investigadores^[2].

Cómo funciona

Cuando Claude termina de responder, el sistema le agrega una instrucción breve que le pide reflexionar sobre la seguridad de la conversación. Lo que el modelo devuelve es un registro con formato fijo. Si no encuentra problemas, sólo indica que la conversación no fue marcada. Si la marca, agrega la categoría de daño (por ejemplo ciberataques, armas químicas, biológicas, radiológicas, nucleares o explosivas, o seguridad infantil), si Claude se negó a ayudar, una prioridad de 1 a 10 para la revisión humana y una frase con el motivo^[2].

Según la empresa, cada evaluación genera en promedio unos diez tokens más. Sobre su tráfico de API, el método suma menos de 2% al cómputo de inferencia, un costo que no se cobra a los clientes. Un clasificador separado que analiza la conversación a partir de instrucciones necesita, dice Anthropic, «muchas veces más» cómputo por conversación^[2].

El entrenamiento usó sólo conversaciones sintéticas: 1.024 escenarios dañinos y 1.024 benignos por cada subpolítica de uso. La mitad está en alguno de nueve idiomas distintos del inglés, y algunos incluyen trucos para ocultar el pedido, como texto codificado. Como «maestro» se usó un clasificador basado en Claude Mythos Preview que tenía en sus instrucciones los documentos internos de políticas completos^[2].

Qué dice que detectó

Según el artículo, en agosto el sistema generó más de 100.000 alertas de abuso y explotación sexual infantil originadas en un solo cliente de la API. El equipo de seguridad infantil de la empresa investigó el caso y denunció el material ante el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) de Estados Unidos. En septiembre, las alertas llevaron a una operación que usaba Claude Code, la herramienta de programación de la empresa, para armar y ejecutar una estafa romántica automatizada contra decenas de víctimas. Después de una revisión humana, las cuentas fueron suspendidas^[2].

La empresa sostiene que más de la mitad de las organizaciones que señaló el método no tenía alertas de ninguna otra fuente de detección en el mes anterior. El sistema funciona desde el lanzamiento de Claude Fable 5, en junio, y está en todos los modelos que Anthropic lanzó desde entonces. Es pasivo: marca conversaciones para revisarlas, pero no las bloquea. Tampoco se aplica al tráfico de los clientes con acuerdos de retención cero de datos^[2].

Las cifras y sus límites

Con una tasa de falsos positivos de 1%, la autoevaluación de Claude Fable 5 marcó 78% de las conversaciones que marca el clasificador maestro, y 94% de las de prioridad alta (7 o más). El área bajo la curva ROC, una medida de precisión en la que 1 es el máximo, fue de 0,986^[2]. Esa medición compara el sistema con el mismo clasificador que lo entrenó. El artículo reconoce que el sistema hereda los puntos ciegos de ese maestro y que una evaluación contra él no puede revelarlos. La muestra de prioridad alta fue de 17 conversaciones. Todas las cifras salen de evaluaciones de la propia empresa^[2].

En pruebas de ataque dirigido, los investigadores usaron la autoevaluación para bloquear, con los demás filtros apagados, y el resultado fue más débil. Sobre 24 ataques, lograron su objetivo 19 sin ninguna salvaguarda, 13 con la autoevaluación y 6 con el clasificador por instrucciones. Cada ataque exitoso necesitó en promedio 691.000 tokens con la autoevaluación, contra 163.000 sin protección y 2,1 millones con el clasificador. Según la empresa, eso encarece cada éxito unas cuatro veces. Cuando revisó esos ataques después de ocurridos, el sistema marcó 21 de los 24 al menos una vez^[2].

«No detecta todas las conversaciones dañinas y no es lo bastante robusta para frenar a un atacante decidido», escriben los autores^[2].

El artículo agrega otros límites. La capacidad de detectar daños para los que no fue entrenado sólo se probó con fraude y ciberataques. Además, el método «todavía no es un monitor confiable» de la conducta del propio Claude. En cuanto a privacidad, la empresa dice que el sistema no recoge datos adicionales de los usuarios. El campo del motivo, un texto libre que puede parafrasear lo que escribió el usuario, recibe los mismos controles que los mensajes. Anthropic admite que investigar un abuso exige guardar las conversaciones marcadas y que todavía busca el equilibrio entre eficacia y privacidad^[2].