Alucinaciones y límites

Qué optimiza el entrenamiento

El preentrenamiento minimiza la entropía cruzada sobre texto real:

La pérdida baja cuando el modelo da alta probabilidad a la pieza que de verdad siguió en el texto. En la fórmula no hay ninguna variable «verdad»: si el texto contiene un error, el objetivo lo premia igual. Después, el ajuste con preferencias humanas (RLHF, lección 28) añade otra señal y puede cambiar la calibración: el informe técnico de GPT-4 (OpenAI, 2023) dice que el modelo preentrenado estaba muy bien calibrado y que tras el ajuste posterior la calibración se reducía.

Los datos vistos una sola vez

Kalai, Nachum, Vempala y Zhang (2025) formalizan el efecto de lo poco frecuente. Sea $s_r$ la fracción de los hechos de entrenamiento que aparecen exactamente una vez (la «tasa de singletons», del estimador de masa faltante de Good y Turing). Para hechos arbitrarios, sin un patrón que generalizar (como un cumpleaños), el error de un modelo base cumple, con probabilidad al menos 99 %,

donde $N$ es el número de ejemplos, $E_c$ el conjunto de respuestas erróneas plausibles para el contexto $c$ y $\delta$ mide la descalibración. En palabras de los autores: si el 20 % de los cumpleaños aparece una sola vez en los datos de preentrenamiento, se espera que un modelo base alucine en al menos el 20 % de los cumpleaños. Es un resultado teórico para hechos sin estructura; no predice la tasa de un modelo concreto. Kandpal et al. (2023) lo observan en la práctica: la exactitud en preguntas de datos crece con el número de documentos de preentrenamiento relacionados con la pregunta.

Por qué el ajuste no lo quita: los exámenes premian adivinar

Kalai et al. (2025) también explican por qué las alucinaciones sobreviven al ajuste posterior: la mayoría de las evaluaciones que dominan las tablas de clasificación califican de forma binaria (1 si acierta, 0 si no), y «no lo sé» vale 0. En un examen de opción múltiple con cuatro opciones, adivinar vale en promedio $\tfrac14$ de punto y dejar en blanco, 0: adivinar siempre conviene. Proponen anunciar en la instrucción un umbral de confianza $t$ y penalizar cada error con $t/(1-t)$ puntos, de modo que contestar «no lo sé» valga 0 y adivinar deje de convenir cuando la confianza es baja.

Corte de conocimiento y lo que se queda viejo

Pythia se entrenó con The Pile (Gao et al., 2020), publicado el 31 de diciembre de 2020: no puede saber nada posterior. A «Who won the 2022 FIFA World Cup?», con el mismo prompt de cinco ejemplos y decodificación voraz, Pythia-1.4B responde «Germany» con probabilidad 0.46 (ganó Argentina, según la FIFA). Responde lo mismo para 2014 (correcto) y para 2018 (falso: ganó Francia). Además, lo viejo se queda: a «What is the capital of Brazil?» responde «Rio de Janeiro» (0.53), que dejó de ser la capital el 21 de abril de 1960, cuando se inauguró Brasilia (IBGE). Mediciones: run-cutoff.py y run-qa.py en la carpeta de la lección.

Calibración y error de calibración esperado

Se reparten las $N$ respuestas en $B$ tramos por confianza. Con $n_b$ respuestas en el tramo $b$, su acierto medio $\mathrm{acc}(b)$ y su confianza media $\mathrm{conf}(b)$:

(Guo et al., 2017). Con diez tramos de igual ancho, las cuatrocientas veinticuatro preguntas de la lección dan un ECE de ≈ 0.18 para Pythia-1.4B; la escena usa cinco tramos para que se lean mejor. Casi todo el error viene de la subconfianza: sus respuestas aciertan más de lo que su probabilidad indica, en parte porque la probabilidad de una cadena reparte la masa entre formas de escribir lo mismo («Cervantes», «Miguel de Cervantes»). Farquhar et al. (2024) agrupan las respuestas por significado (entropía semántica) para corregir ese efecto.

Los datos de la lección son mediciones propias, no un banco de pruebas publicado: 424 preguntas de cultura general escritas para la lección (capitales, autores, fechas, símbolos químicos…), en inglés, con cinco ejemplos resueltos en el prompt y decodificación voraz. La «confianza» es la probabilidad de la cadena completa de la respuesta. Son preguntas fáciles para un modelo de internet: con datos realmente raros, el error sería mayor.

Responder o callar

Si acertar suma 1, fallar resta $k$ y callar vale 0, y la probabilidad de acertar es $p$, responder vale en promedio $p - k(1-p)$. Conviene responder cuando

que es la regla de rechazo de Chow (1970). Con $k = 1, 3, 9, 19$ el umbral es $0.5,\ 0.75,\ 0.9,\ 0.95$. La regla vale si $p$ está calibrada. Con la probabilidad cruda de Pythia los mejores umbrales medidos son menores, justamente por su subconfianza: hay que recalibrar (por ejemplo, con escalado por temperatura, Guo et al., 2017) o fijar el umbral directamente sobre datos propios.

TruthfulQA, con detalle

Lin, Hilton y Evans (2021) escribieron 817 preguntas en 38 categorías (salud, derecho, finanzas, política…) que algunas personas responderían mal por una creencia falsa. El mejor modelo (GPT-3 de 175 mil millones de parámetros con un prompt «servicial») fue veraz en el 58 % de las preguntas, pero solo el 21 % de sus respuestas fue a la vez veraz e informativa: «no tengo comentarios» cuenta como veraz. Las personas llegaron al 94 %. Dentro de cada familia de modelos, los más grandes solían ser los menos veraces, porque imitan mejor las falsedades de sus textos («escalamiento inverso»).

En código

def tramos(conf, ok, n_tramos=5):
    """Agrupa por confianza (tramos de igual ancho) y devuelve (ECE, [(n, confianza media, acierto medio), ...])."""
    filas, ece = [], 0.0
    for b in range(n_tramos):
        lo, hi = b / n_tramos, (b + 1) / n_tramos
        idx = [i for i, c in enumerate(conf) if lo <= c < hi or (b == n_tramos - 1 and c == 1.0)]
        if not idx:
            continue
        c_med = sum(conf[i] for i in idx) / len(idx)
        a_med = sum(ok[i] for i in idx) / len(idx)
        ece += len(idx) / len(conf) * abs(a_med - c_med)
        filas.append((len(idx), round(c_med, 2), round(a_med, 2)))
    return round(ece, 3), filas


def umbral(conf, ok, t):
    """Responde solo si la confianza es >= t. Devuelve (aciertos, errores, silencios)."""
    resp = [o for c, o in zip(conf, ok) if c >= t]
    return sum(resp), len(resp) - sum(resp), len(conf) - len(resp)


conf = [0.97, 0.91, 0.83, 0.62, 0.55, 0.38, 0.31, 0.22, 0.12, 0.08]
ok   = [1,    1,    1,    1,    0,    1,    0,    0,    1,    0]
print(tramos(conf, ok))
# (0.211, [(2, 0.1, 0.5), (3, 0.3, 0.33), (1, 0.55, 0.0), (1, 0.62, 1.0), (3, 0.9, 1.0)])
print(umbral(conf, ok, 0.0))   # (6, 4, 0)
print(umbral(conf, ok, 0.5))   # (4, 1, 5)

Lo que viene

La recuperación de documentos (lección 31) ataca el origen del problema: que el dato falte en la memoria del modelo. Evaluar un sistema con casos propios, y no con una demostración, es la lección 34. Los riesgos que van más allá de la calidad (privacidad, inyección de instrucciones, responsabilidad) están en la lección 35.