Los modelos te dan la razón aunque no la tengas. 13 líneas de prompt lo arreglan
Con premisas falsas en la pregunta, el modelo las aceptaba 6 de cada 9 veces. Un prompt de sistema con un protocolo de cuatro pasos multiplicó la nota por 3,5.
Qué queríamos saber
Si un modelo detecta cuándo le preguntas algo que parte de una idea equivocada («¿esta mejora se debe a X?», cuando no se debe a X). Lo llamamos complacencia técnica.
Qué hicimos
Mismo modelo, mismas 9 preguntas trampa, temperatura 0. Única variable: el prompt de sistema.
- Sin prompt.
- A · mínimo (2 líneas): «verifica las premisas; si alguna es falsa, dilo».
- B · protocolo (13 líneas): comprobar la premisa, buscar contradicciones, distinguir lo medido de lo deducido y separar verdades a medias. Más una línea clave: «si la premisa es correcta, dilo y responde con normalidad: no inventes objeciones».
Resultado
| sin prompt | A | B | |
|---|---|---|---|
| puntos (de 18) | 4 | 8 | 14 |
| nota | 2,2 | 4,4 | 7,8 |
Ejemplos del cambio:
| sin prompt | con el protocolo |
|---|---|
| «Sí, exactamente. El error ocurre porque…» | «Esto es una hipótesis, no un hecho. También podría deberse a otras causas.» |
| inventa datos de un modelo que no conoce | «no es un modelo que reconozca; no tengo datos fiables» |
Lo que aprendimos después
- El escepticismo tiene un coste: si lo subes demasiado, el modelo empieza a dudar también de lo que es correcto.
- La clave no es cuánto duda, sino de qué: dudar de causas, diagnósticos y conclusiones, no de los datos medidos que le das.
- Llevado a un agente de verdad, pasó de 8/18 a 17/18 en preguntas trampa.
Qué significa para ti
Si usas un modelo para diagnosticar o revisar, dale un protocolo explícito en el prompt de sistema. Es la mejora más barata que hemos medido.
Medido en nuestras máquinas. Dos ASUS Ascent GX10 (NVIDIA GB10, 128 GB de memoria unificada). En tu equipo las cifras serán otras: lo que se traslada es el método y la lección.