Un modelo y su error

La recta, pieza por pieza

Una recta es la gráfica de $\hat y = wx + b$ (se lee «y gorro»: la predicción). El peso $w$ es la pendiente: si la entrada aumenta en $\Delta x$, la predicción aumenta en $w\,\Delta x$, así que $w = \Delta \hat y / \Delta x$, lo que sube entre lo que avanza. El sesgo $b$ es la ordenada al origen: $\hat y(0) = b$. En la lección, $w = 5$ y $b = 40$: con 7 horas, $\hat y = 5\cdot 7 + 40 = 75$.

El modelo y la pérdida

Con varias características (lección 2) la entrada es un vector $\mathbf{x}$ y la predicción es $\hat y = \mathbf{w}\cdot\mathbf{x} + b$: un peso por característica y un solo sesgo. Los diez estudiantes de la lección son inventados.

El error de un punto es $e_i = y_i - \hat y_i$. Con $n$ puntos, las dos pérdidas de la lección son

El MSE se mide en puntos al cuadrado. Su raíz, $\sqrt{L}$, vuelve a puntos: con la mejor recta de la lección, $\sqrt{42.5}\approx 6.5$ puntos de error típico. La recta de ejemplo ($w = 5$, $b = 40$) tiene $L = 45.775$; la recta plana del promedio, $L = 244.04$.

Por qué el cuadrado

• Es suave. $L(w,b)$ es un paraboloide: tiene un único fondo y una pendiente definida en todas partes, lo que permitirá bajar por ella (lección 4). El valor absoluto tiene un pico en cero.
• Tiene fórmula. Al igualar a cero las derivadas parciales de $L$ se obtiene un sistema lineal, las ecuaciones normales.
• Tiene una justificación probabilística. Si $y_i = wx_i+b+\varepsilon_i$ con ruido normal $\varepsilon_i\sim\mathcal N(0,\sigma^2)$, la verosimilitud es máxima justo donde el MSE es mínimo (Goodfellow et al., 2016, sec. 5.5.1, que lo llama un criterio introducido «más o menos arbitrariamente» antes de justificarlo así). Gauss lo planteó en 1809 (Theoria motus, arts. 175–179): si los errores siguen la curva normal, el sistema de valores más probable es el de menor suma de cuadrados. Con ruido de Laplace, de colas más pesadas, el criterio equivalente es el error absoluto.
• Es sensible a los atípicos. Con un solo parámetro (predecir una constante), el MSE se minimiza con la media y el error absoluto con la mediana. En los datos de la lección, la media es 64.4 y la mediana 59.5 (con diez datos, cualquier valor entre 57 y 62 minimiza el error absoluto; se toma el punto medio).

Un poco de historia

Legendre presentó los mínimos cuadrados en 1805, en un apéndice, como el principio que, a su juicio, es el «más general, más exacto y de aplicación más fácil», y que establece entre los errores «una especie de equilibrio» que impide a los extremos prevalecer. Gauss escribió en 1809 que lo usaba desde 1795 (Theoria motus, art. 186) y que, de todas las potencias pares del error, el cuadrado era «el más simple»; la prioridad se discutió (Plackett, 1972; Stigler, 1981).

En ese mismo artículo Gauss cuenta que Laplace usaba el error absoluto, propuesto antes por Boscovich. Observa que con él la recta pasa, en general, por dos de los puntos y que otro dato cualquiera podría haberse observado sin cambiar la solución, con tal de quedar del mismo lado: es lo que viste con el atípico, cuya recta absoluta no se movió al bajarle la nota. Entre los dos extremos existen pérdidas híbridas, como la de Huber (1964): cuadrática para errores pequeños y lineal para los grandes.

La mejor recta

Con $\bar x = 4.55$ y $\bar y = 64.4$ resultan $w^*\approx 5.26$ y $b^*\approx 40.45$, con pérdida mínima $L_{\min}\approx 42.5$. La mejor recta siempre pasa por el punto promedio $(\bar x,\bar y)$. En forma matricial son las ecuaciones normales, $\mathbf{w}^*=(X^\top X)^{-1}X^\top\mathbf{y}$ (en $X$, una columna de unos se encarga del sesgo).

Si dejamos $b=b^*$ y movemos solo $w$, la pérdida es exactamente una parábola:

Es el valle de la última escena. El nombre «regresión» viene de Galton. En su estudio de 1886 sobre la estatura (930 hijos adultos de 205 familias) halló que la desviación de estatura de los hijos es, en promedio, dos tercios de la de sus padres: los hijos de padres muy altos tienden a ser menos altos, y los de padres muy bajos, más altos. Lo llamó «regresión hacia la mediocridad», es decir, hacia el promedio.

En código

# diez estudiantes inventados para la lección
horas = [0.5, 1.5, 2, 3, 4, 5, 6, 6.5, 8, 9]
nota = [43, 49, 52, 57, 62, 72, 73, 56, 87, 93]
n = len(horas)
mx, my = sum(horas) / n, sum(nota) / n

# mínimos cuadrados: w = cov(x, y) / var(x),  b = media(y) - w * media(x)
w = sum((x - mx) * (y - my) for x, y in zip(horas, nota)) / sum((x - mx) ** 2 for x in horas)
b = my - w * mx

def perdida(w, b):  # error cuadrático medio (MSE)
    return sum((y - (w * x + b)) ** 2 for x, y in zip(horas, nota)) / n

print(round(w, 2), round(b, 2))   # 5.26 40.45   (mejor peso y sesgo)
print(round(perdida(w, b), 1))    # 42.5         (pérdida mínima)
print(round(perdida(0, my), 1))   # 244.0        (recta plana: predecir el promedio)
print(round(perdida(5, 40), 1))   # 45.8         (la recta de ejemplo: peso 5, sesgo 40)

Lo que viene

La fórmula cerrada sirve para una recta. En una red con miles de millones de pesos no existe, y el fondo se busca paso a paso: es el descenso del gradiente (lección 4). Y bajar la pérdida en los datos de entrenamiento no basta: hay que medirla con datos que el modelo no vio (lección 10).