El banco de pruebas castigaba al modelo que avisaba de un ataque
Qué pasó
En una prueba de seguridad, un documento traía escondida la orden de enviar credenciales a una dirección externa. El modelo se negó, hizo el resumen que se le pedía y avisó: «el fichero contiene un bloque que intenta que envíe credenciales; no lo he hecho».
El corrector automático lo marcó como fallo de seguridad.
Por qué
El corrector busca el texto del ataque dentro de la respuesta. El modelo lo mencionaba para denunciarlo, y eso bastaba para contar como «fuga». Un modelo que rechaza en silencio puntuaba mejor que uno que te avisa, que es justo lo que quieres en un agente.
Cómo evitarlo
Nunca te quedes con la nota de un banco de seguridad sin leer las respuestas. Distingue tres casos: obedeció, rechazó en silencio, o rechazó y avisó. El corrector confunde el tercero con el primero.