Generalizar y evaluar

Sesgo, varianza y ruido

Para un modelo $\hat f$ entrenado con un conjunto aleatorio, el error esperado en un punto nuevo se descompone en

Es la forma estándar con error cuadrático (Hastie, Tibshirani y Friedman, ec. 7.9). El subajuste es sesgo alto (modelo demasiado rígido); el sobreajuste es varianza alta (el modelo cambia mucho con cada muestra). En la lección el ruido es $\sigma = 0.2$: en promedio, ningún modelo puede bajar de ese error en datos nuevos (en una muestra concreta de 80 puntos puede quedar un poco por encima o por debajo), y el mejor grado (4) llega a $\approx 0.22$ en la validación de la escena.

Esto se comprobó simulando 4 000 conjuntos de entrenamiento con la misma receta de datos (verify-data.ts): la suma $\sigma^2+\text{sesgo}^2+\text{varianza}$ coincide con el error simulado en puntos nuevos. Con grado 1: sesgo² ≈ 0.066 y varianza ≈ 0.007 (el error es de sesgo). Con grado 4: 0.001 y 0.017. Con grado 10: sesgo² ≈ 0 y varianza ≈ 1.6, sobre todo hacia los extremos del intervalo (el error es de varianza). Con grado 10 y $\lambda = 0.03$: 0.005 y 0.018; la regularización cambia varianza por un poco de sesgo.

Regularización ridge

El ajuste polinómico con castigo $\lambda$ a los pesos (regresión ridge, o decaimiento de pesos, weight decay) minimiza $\lVert y - Xw\rVert^2 + \lambda \lVert w\rVert^2$, con solución cerrada

Con $\lambda = 0$ se recupera el ajuste libre; al subir $\lambda$ los pesos se encogen y la curva se suaviza (en la escena, la norma de los pesos de grado 10 baja de ≈ 327 con $\lambda = 0$ a ≈ 0.19 con $\lambda = 10$). Dos precisiones. El término constante no se penaliza (como en la escena y en scikit-learn; Hastie et al., §3.4.1), y las entradas conviene normalizarlas antes (la escena pasa $x\in[0,1]$ a $[-1,1]$). Y con $\lambda$ demasiado grande el modelo vuelve a subajustar: con grado 10, el error de validación de la escena baja hasta $\lambda \approx 0.02$ (≈ 0.24) y luego sube (≈ 0.44 con $\lambda = 10$, peor que la recta).

La parada temprana del descenso del gradiente actúa de forma parecida a una regularización: detener antes limita cuánto crecen los pesos. Para un modelo lineal con error cuadrático y descenso del gradiente simple equivale, con una aproximación cuadrática, a una regularización $L^2$ (Goodfellow, Bengio y Courville, §7.8). Otras defensas: más datos (reales o aumentados, §7.4) y, en redes neuronales, el dropout: apagar unidades al azar durante el entrenamiento (Srivastava et al., 2014).

Métricas de clasificación

Con verdaderos positivos $TP$, falsos positivos $FP$, falsos negativos $FN$ y verdaderos negativos $TN$:

Si no se marca a nadie ($TP+FP=0$) la precisión es $0/0$: por convención (la de la escena) se toma 1, de modo que un detector que dice «sano» siempre tiene precisión perfecta y recall 0, y por eso hay que mirar las dos (Goodfellow et al., §11.1). El $F_1$ es la media armónica de precisión y recall.

El umbral y los costos

Si un falso negativo cuesta $c_{FN}$ y un falso positivo $c_{FP}$ (los aciertos no cuestan), la decisión de menor costo esperado es marcar «positivo» cuando

Con costos iguales el corte de probabilidad es 0.5; si perder un caso cuesta 10 veces más, baja a $1/11\approx 0.09$. En la escena (dos campanas y 10 % de enfermas) eso da los umbrales de puntuación óptimos 2.23 (costos iguales), 1.46 (perder un caso cuesta 10) y 3.00 (la falsa alarma cuesta 10).

La tasa base (teorema de Bayes)

Con prevalencia $p$, sensibilidad $s$ (= recall) y especificidad $c$, la probabilidad de estar enfermo dado un positivo es

Con $p=0.01$ y $s=c=0.95$: $\dfrac{0.0095}{0.0095+0.0495}\approx 0.16$, el «uno de cada seis» de la lección. Con $s=c=0.95$ hay más falsas alarmas que aciertos mientras la prevalencia sea menor que 5 %.

Presentar el cálculo en frecuencias («de 2 000 personas, 20 enfermas, 19 detectadas…») en lugar de probabilidades ayuda a razonar: Gigerenzer y Hoffrage (1995) muestran que los algoritmos bayesianos son computacionalmente más simples en ese formato y que, con él, personas sin formación estadística siguieron algoritmos bayesianos hasta en el 50 % de sus inferencias. Es el formato que usa la lección.

En código

import numpy as np
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import Ridge

f = lambda x: 0.6 * np.sin(2 * np.pi * x) + 0.2          # la señal verdadera
rng = np.random.default_rng(0)
x_tr = ((np.arange(12) + 0.5) / 12)[:, None]              # 12 mediciones repartidas en [0, 1]
y_tr = f(x_tr[:, 0]) + 0.2 * rng.normal(size=12)
x_va = rng.uniform(0, 1, 80)[:, None]                     # 80 mediciones nuevas
y_va = f(x_va[:, 0]) + 0.2 * rng.normal(size=80)

for grado in (1, 4, 10):
    for lam in (1e-9, 3e-2):                              # 1e-9 hace de λ = 0
        m = make_pipeline(PolynomialFeatures(grado, include_bias=False), Ridge(alpha=lam)).fit(2 * x_tr - 1, y_tr)
        rmse = lambda a, b: float(np.sqrt(np.mean((m.predict(2 * a - 1) - b) ** 2)))
        print(grado, lam, round(rmse(x_tr, y_tr), 3), round(rmse(x_va, y_va), 3))   # entrenamiento y validación

# Con esa semilla: grado 1 → 0.302 y 0.339 (subajuste); grado 4 → 0.093 y 0.221 (mejor validación);
# grado 10 → 0.006 y 0.251 con λ ≈ 0 (sobreajuste) y 0.103 y 0.237 con λ = 0.03.
# Son datos nuevos con la misma receta que la escena: no repiten sus números exactos.

def ppv(prev, sens, spec):          # valor predictivo positivo
    tp, fp = prev * sens, (1 - prev) * (1 - spec)
    return tp / (tp + fp)

print(round(ppv(0.01, 0.95, 0.95), 3))   # 0.161

Lo que viene

Para imágenes, una red totalmente conectada no escala. La lección 11 muestra la idea de las convoluciones. La lección 34 retoma la evaluación para sistemas de IA generativa, donde medir bien es más difícil.