Evaluar sistemas de IA

El margen de una nota

Con $k$ aciertos en $n$ casos, la exactitud medida es $\hat p = k/n$. Su intervalo de confianza aproximado al 95 % es

Con 78 de 100: $0.78 \pm 1.96\sqrt{0.78 \cdot 0.22/100} = 0.78 \pm 0.081$, es decir, de 70 % a 86 % (lo que usa la escena). Con 400 casos, $\pm 0.041$. El margen depende de $1/\sqrt n$: cuadruplicar los casos lo parte a la mitad, y en el peor caso ($\hat p = 0.5$) vale casi exactamente $1/\sqrt n$: 10 puntos con 100 casos, 5 con 400, 2.5 con 1 600.

La lectura correcta: si repitieras la evaluación muchas veces con casos nuevos, alrededor del 95 % de los intervalos construidos así contendría la exactitud real. Con pocos casos o con notas cerca de 0 % o de 100 % esta fórmula se queda corta; Brown, Cai y DasGupta (2001) recomiendan el intervalo de Wilson, que con 78 de 100 da de 68.9 % a 85.0 %. Bowyer, Aitchison e Ivanova (2025) muestran que, con menos de unos cientos de casos, los márgenes basados en la aproximación normal suelen salir demasiado chicos.

Comparar dos sistemas con los mismos casos

Para cada caso $i$, sea $d_i = a_i - b_i \in \{-1, 0, +1\}$ (acierto de A menos acierto de B). Si en $n_{10}$ casos acierta solo A y en $n_{01}$ solo B, la diferencia medida es $\bar d = (n_{10}-n_{01})/n$ y su error estándar,

En la simulación de la lección, en cada caso ambos aciertan con probabilidad 0.66, solo A 0.12, solo B 0.08 y ninguno 0.14. La varianza de $d_i$ es $0.12 + 0.08 - 0.04^2 = 0.198$; si cada sistema se probara con casos distintos se sumarían las de cada uno, $0.78\cdot0.22 + 0.74\cdot0.26 = 0.364$: casi el doble. Por eso, con los mismos casos, hacen falta casi la mitad.

La probabilidad exacta de que A quede por delante (con la distribución multinomial) es 78.5 % con 100 casos, 88.4 % con 200, 95.9 % con 400 y 99.75 % con 1 000; las 100 comparaciones de la escena dan 78, 88, 96 y 100. Con casos distintos, 400 casos dan alrededor de 90 % y hacen falta unos 650 para llegar a 95 %; con los mismos casos bastan unos 360. Que A gane no es lo mismo que demostrar la diferencia: para que el intervalo de $\bar d$ excluya el cero el 80 % de las veces hacen falta $n \approx (1.96 + 0.84)^2 \cdot 0.198/0.04^2 \approx 970$ casos.

Miller (2024) resume el oficio: reportar errores estándar, comparar por pares (caso por caso), agrupar los casos que no son independientes (por ejemplo, varias preguntas sobre un mismo documento) y planificar el tamaño de la muestra antes de evaluar.

Contaminación: la cuenta del ejemplo

Si un modelo acierta siempre lo que vio, resuelve una fracción $a$ de lo demás y vio una fracción $c$ del examen, su nota es

Con $a = 0.70$: $c = 0.2$ da $0.2 + 0.8 \cdot 0.7 = 0.76$, lo mismo que B, y $c = 0.4$ da $0.82$. Es un modelo simplificado: la memoria real es parcial. La contaminación se busca con coincidencias de texto entre el examen y el corpus (el informe de GPT-4 usó tres subcadenas de 50 caracteres por pregunta; así descubrió que parte de BIG-bench se había colado por accidente en el entrenamiento y estimó que una cuarta parte de HumanEval estaba en sus datos), con problemas nuevos equivalentes o midiendo cuánta probabilidad asigna el modelo a las preguntas del examen. GSM1k (Zhang et al., 2024) son 1 205 problemas escritos por personas al estilo de GSM8k: algunas familias de modelos bajaron hasta 8 puntos, con más caída cuanto más probable era que el modelo generara ejemplos de GSM8k; los modelos de frontera casi no bajaron.

El juez automático

Zheng et al. (2023) compararon a GPT-4 como juez con expertos humanos en MT-bench: sin contar empates, coincidieron 85 % de las veces, más que los expertos entre sí (81 %). También midieron sus sesgos. Orden: con dos respuestas casi idénticas, el veredicto se mantuvo al invertir el orden 65.0 % de las veces con GPT-4, 46.2 % con GPT-3.5 y 23.8 % con Claude-v1. Longitud: al inflar 23 respuestas con una lista repetida sin información nueva, Claude-v1 y GPT-3.5 prefirieron la versión inflada en 21 de 23 (91.3 %) y GPT-4 en 2 (8.7 %). Su defensa contra el sesgo de orden: calificar dos veces, invirtiendo el orden, y declarar ganadora una respuesta solo si gana en las dos.

Para medir la coincidencia con personas sin dejarse engañar por el azar se usa la $\kappa$ de Cohen: $\kappa = (p_o - p_e)/(1 - p_e)$, con $p_o$ la coincidencia observada y $p_e$ la esperada por azar. La evaluación humana también se hace a gran escala: Chatbot Arena reunió más de 240 000 votos de personas que comparan respuestas a ciegas (Chiang et al., 2024), pero con preguntas que no son las tuyas.

La nota caduca y el examen también falla

Chen, Zaharia y Zou (2023) midieron el mismo servicio en marzo y en junio de 2023 con 500 números primos y 500 compuestos: GPT-4 pasó de 84.0 % a 51.1 %, porque la versión de junio respondía «compuesto» casi siempre (99.7 %) y dejó de seguir el razonamiento paso a paso que se le pedía. Es un cambio de comportamiento más que de capacidad, pero para quien depende del servicio el efecto es el mismo, y solo se nota volviendo a medir.

Los exámenes tienen errores: Gema et al. (2024) estiman que el 6.49 % de las preguntas de MMLU tienen alguno (en virología, el 57 % de las revisadas). Y se agotan: Phan et al. (2025) construyeron un examen nuevo de 2 500 preguntas porque los mejores modelos ya pasaban del 90 % en MMLU.

En código

import numpy as np

def margen(k, n, z=1.96):
    """Mitad del intervalo de confianza al 95 % para k aciertos de n casos."""
    p = k / n
    return z * np.sqrt(p * (1 - p) / n)

for n in (100, 400, 1600):
    print(n, round(100 * margen(0.78 * n, n), 1))
# 100 8.1
# 400 4.1
# 1600 2.0

# Dos sistemas con los mismos casos: ambos aciertan 0.66; solo A, 0.12; solo B, 0.08; ninguno, 0.14
rng = np.random.default_rng(0)
def a_por_delante(n, reps=20000):
    c = rng.multinomial(n, [0.66, 0.12, 0.08, 0.14], size=reps)   # ambos, solo A, solo B, ninguno
    return round(float(np.mean(c[:, 1] > c[:, 2])), 2)

for n in (100, 200, 400, 1000):
    print(n, a_por_delante(n))
# 100 0.78
# 200 0.88
# 400 0.96
# 1000 1.0

Lo que viene

La calidad medida es un eje; el riesgo es otro: privacidad, manipulación con instrucciones, sesgo y regulación. La lección 35 los recorre, y la 36 usa esta evaluación dentro de un piloto que escala.