← Las 34 trampasTrampa P-016 · severidad media

Medir la velocidad solo con «content»: los modelos que razonan dan cero

Qué pasa

Modelos como DeepSeek, Qwen o Ling, cuando razonan, envían el texto del razonamiento en delta.reasoning_content (o delta.reasoning, según el servidor), no en delta.content. Un medidor que solo mire content no cuenta nada hasta que el razonamiento termina, y si la respuesta es todo razonamiento, no ve ni un token.

Cómo evitarlo

  • Cuenta content, reasoning_content, reasoning y las llamadas a herramientas: todo es salida generada.
  • Mejor aún: pide al servidor que te diga cuántos tokens generó (stream_options: {"include_usage": true}) y usa ese número en lugar de contar fragmentos. Con decodificación especulativa, un solo fragmento puede traer varios tokens.