Modelos de razonamiento

La cadena de pensamiento, en una fórmula

Un modelo autorregresivo genera cada token condicionado a todo lo anterior: $y_t \sim p_\theta(\cdot \mid x, y_{<t})$. Si responde directo, la respuesta $a$ sale de $p_\theta(a \mid x)$ en unas pocas pasadas. Con cadena de pensamiento, primero escribe $c = (c_1, \dots, c_m)$ y luego responde condicionado a ella:

Cada token de $c$ cuesta una pasada completa, unas $2N$ operaciones para un modelo de $N$ parámetros (lecciones 24 y 26): con $N = 4\cdot 10^9$ y $m \approx 500$ son unos $4\cdot10^{12}$ cálculos más, y $m$ vueltas más de decodificación. Wei et al. (2022) lo dicen así: la cadena permite descomponer un problema en pasos, de modo que «se puede asignar cómputo adicional a los problemas que requieren más pasos».

Con 8 ejemplos resueltos en la indicación, en GSM8K (problemas escolares de matemáticas): PaLM 540B pasó de 17.9 a 56.9 %, PaLM 62B de 9.6 a 29.9 % y PaLM 8B bajó de 4.9 a 4.1 % (Wei et al., tabla 2). Los autores observaron que los modelos pequeños producían cadenas «fluidas pero ilógicas». Kojima et al. (2022) mostraron que basta añadir «Let's think step by step»: con text-davinci-002, GSM8K subió de 10.4 a 40.7 %. En la escena, los 3 y 51 tokens se contaron con el tokenizador de Qwen3.5, que separa cada cifra en un token.

Recompensas verificables

En la lección 28, RLHF maximiza los puntos de un modelo de recompensa $r_\phi$ sin alejarse demasiado del modelo de partida:

El refuerzo con recompensas verificables (RLVR, nombre de Lambert et al., 2024) usa el mismo objetivo pero cambia el juez por una función que comprueba: $r(x,y) = \alpha\cdot\mathbb{1}[\,\text{verificar}(x,y)\,]$, por ejemplo «la respuesta final coincide con la correcta» o «el código pasa las pruebas». DeepSeek-R1-Zero (DeepSeek-AI, 2025) muestrea 16 respuestas por pregunta y compara cada recompensa con la del grupo (GRPO): $A_i = (r_i - \text{media}(r))/\text{desv}(r)$. Su recompensa es exactitud + formato; evitaron los modelos de recompensa neuronales porque son «susceptibles al reward hacking». En AIME 2024 su exactitud pasó de 15.6 a 77.9 % (una muestra) y a 86.7 % votando entre 16. La longitud media de sus respuestas creció durante el entrenamiento, y apareció el «momento ajá» («Wait, wait. Wait.»). OpenAI describe o1 (2024) como «entrenado con aprendizaje por refuerzo a gran escala para razonar usando cadena de pensamiento»; no publicó su receta.

Autoconsistencia

Con $k$ respuestas muestreadas $a_1, \dots, a_k$, se elige la más repetida:

Wang et al. (2023) votaron entre 40 cadenas: PaLM 540B pasó de 56.5 a 74.4 % en GSM8K (su medición de la cadena sola es 56.5 %; la de Wei et al., 56.9 %). OpenAI informó que o1 resolvía el 74 % de AIME 2024 con una muestra y el 83 % con consenso entre 64 (GPT-4o: 12 %). Votar ayuda cuando los errores se dispersan; si el modelo se equivoca siempre igual, la votación confirma el error.

Nuestra medición

Qwen3.5-4B (Qwen, 2026; Apache-2.0), cuantizado a fp8 y ejecutado con vLLM en una RTX 3060. Para cada idioma, 32 cadenas de pensamiento completas (hasta 4 096 tokens) con temperatura 0.7, top-p 0.95 y top-k 20. Presupuesto forzado, como el budget forcing de Muennighoff et al. (2025): si la cadena terminó sola en $L \le B$ tokens, se usa su respuesta; si no, se corta en $B$ tokens, se cierra el pensamiento con una frase fija y se pide la respuesta. $B = 0$ es el modo sin pensar del modelo. La comprobación de la respuesta (¿es 120?) es la misma regla que usaría una recompensa verificable.

presupuesto (tokens)	0	32	64	128	256	512	1 024 – 4 096
aciertos, pregunta en español	14	0	4	3	30	32	32
aciertos, pregunta en inglés	10	7	31	21	27	32	32

Las cadenas completas midieron entre 470 y 628 tokens (media 529) en español y entre 400 y 714 (media 498) en inglés. Con presupuestos cortos el resultado sube y baja; desde 512 no cambia. Es un solo problema con 32 intentos y un modelo pequeño: ilustra el fenómeno, no lo mide en general.

En código

from collections import Counter
import random

correcta = 120
sin_pensar = [140, 142, 120, 120, 148, 130, 136, 120, 170, 140, 148, 120, 138, 120, 120, 120,
              138, 143, 164, 160, 141, 120, 142, 120, 148, 120, 120, 134, 120, 142, 120, 120]
corte_32 = [180] * 32                  # presupuesto de 32 tokens: los 32 intentos dijeron 180
largo = [543, 509, 517, 509, 507, 514, 495, 470, 513, 545, 521, 508, 585, 486, 608, 531,
         529, 530, 538, 545, 549, 515, 512, 532, 628, 571, 521, 504, 517, 530, 518, 515]  # tokens que pensó cada intento

def aciertos(resp):
    return sum(r == correcta for r in resp)

def votacion(resp):                    # la respuesta que más se repite y sus votos
    return Counter(resp).most_common(1)[0]

print(aciertos(sin_pensar), votacion(sin_pensar))
print(Counter(r for r in sin_pensar if r != correcta).most_common(1))   # el error más repetido
print(aciertos(corte_32), votacion(corte_32))

# ¿qué tan seguido acierta la votación si votan k intentos tomados al azar?
rng = random.Random(0)
for k in (1, 5, 15):
    bien = sum(votacion(rng.choices(sin_pensar, k=k))[0] == correcta for _ in range(10_000))
    print(k, bien / 10_000)

# tokens de pensamiento con presupuesto B (si el modelo termina antes, se detiene solo)
for B in (0, 256, 512, 4096):
    print(B, round(sum(min(l, B) for l in largo) / len(largo), 1))
# 14 (120, 14)
# [(142, 3)]
# 0 (180, 32)
# 1 0.4375
# 5 0.6854
# 15 0.9501
# 0 0.0
# 256 256.0
# 512 508.6
# 4096 528.6

(En un empate, most_common se queda con la respuesta que apareció primero.)

Costo y espera

Anthropic, por ejemplo, cobra los tokens de pensamiento como salida, y cobra el pensamiento completo aunque solo muestre un resumen. Votar entre $k$ multiplica por $k$ los tokens generados (en nuestra prueba, 32 intentos pensando suman 16 915 tokens en español y 15 942 en inglés). Los 100 tokens por segundo de la escena son un supuesto.

Límites

Wei et al. revisaron 50 cadenas que terminaban en una respuesta equivocada: el 46 % estaban casi bien, salvo un error menor (una cuenta, un símbolo o un paso faltante). Chen et al. (2025) dieron a los modelos una pista escondida en la pregunta y midieron si su pensamiento la mencionaba cuando la usaban: Claude 3.7 Sonnet lo hizo en el 25 % de los casos y DeepSeek-R1 en el 39 %. El pensamiento escrito ayuda a calcular y a revisar, pero no es una explicación fiel garantizada.

Lo que viene

Cada pregunta de esta lección fue independiente. En una conversación, todo lo anterior también ocupa la ventana del modelo (y el pensamiento, también tokens): eso es la lección 30, contexto y memoria.