La neurona artificial

La neurona como fórmula

Una neurona con entradas $x_1,\dots,x_n$, pesos $w_1,\dots,w_n$ y sesgo $b$ calcula

donde $f$ es la función de activación. Con los números de la lección, $\mathbf{x}=(0.8;\,0.2)$, $\mathbf{w}=(2;\,-1.5)$ y $b=-0.5$:

Con escalón, $y=1$. Con sigmoide, $y=\sigma(0.8)\approx 0.69$. Si $n=1$ y $f$ es la identidad, queda $y=wx+b$: la recta de la lección 3 es el caso más simple de neurona.

La frontera de decisión

La neurona cambia de respuesta donde $z=0$, es decir, $w_1x_1+w_2x_2+b=0$. Es una recta cuyo vector normal es $\mathbf{w}$. Su distancia al origen es $|b|/\lVert\mathbf{w}\rVert$ y la distancia con signo de un punto a ella es $z/\lVert\mathbf{w}\rVert$. En el ejemplo, $\lVert\mathbf{w}\rVert=2.5$: la recta pasa a $0.2$ del origen y el correo de ejemplo queda a $0.8/2.5=0.32$.

Cambiar $b$ desplaza la recta; cambiar $\mathbf{w}$ la gira (si $w_2=0$ es vertical: solo importa $x_1$). Multiplicar $\mathbf{w}$ y $b$ por $k>0$ no mueve la recta, pero con sigmoide cambia la nitidez de la transición, porque la salida pasa a ser $\sigma(kz)$. Con $n$ entradas, la frontera es un hiperplano.

Dos activaciones

El escalón es $H(z)=1$ si $z\ge 0$ y $0$ si no. La sigmoide es

con pendiente máxima $1/4$ en $z=0$. La derivada del escalón es cero salvo en $z=0$, donde no existe: no le da ninguna señal al descenso del gradiente. La de la sigmoide existe en todos los puntos. Una neurona sigmoide entrenada para minimizar la entropía cruzada es la regresión logística. Hoy se usan además otras activaciones, como ReLU (lección 7).

La regla del perceptrón

Con $t,y\in\{0,1\}$ (respuesta correcta y respuesta de la neurona):

Solo cambia cuando $t\neq y$, y entonces $t-y=\pm1$. El mismo ejemplo queda mejor: $\Delta z=\eta\,(t-y)\,(\lVert\mathbf{x}\rVert^2+1)$ tiene el signo correcto. Es un paso de descenso estocástico, con subgradiente, sobre la pérdida $\max(0,-\tilde t\,z)$ (el «criterio del perceptrón»), con $\tilde t=2t-1$: la idea de la lección 4, aplicada a otra pérdida porque la del escalón (contar errores) es plana casi en todas partes.

El teorema de convergencia dice: si existe un vector unitario $\mathbf{u}$ y un margen $\gamma>0$ con $\tilde t_i\,(\mathbf{u}\cdot\mathbf{x}_i)\ge\gamma$ para todos los ejemplos (con el sesgo como una entrada más, igual a 1) y $\lVert\mathbf{x}_i\rVert\le R$, el perceptrón, partiendo de pesos cero, comete a lo sumo $(R/\gamma)^2$ errores: la cota sale directamente de la demostración de Novikoff (1962). Con los 16 correos de la lección, $R\approx 1.63$ (el mayor $\lVert(x_1,x_2,1)\rVert$) y $\gamma\approx 0.12$, así que la cota es de unos 190 errores; en 300 pruebas con orden aleatorio, desde cero, nunca hicieron falta más de 31. Si los datos no se separan con una recta, no converge: los pesos no dejan de moverse.

En código

import math

def neurona(x, w, b, activacion="escalon"):
    z = sum(wi * xi for wi, xi in zip(w, x)) + b
    if activacion == "escalon":
        return 1 if z >= 0 else 0
    return 1 / (1 + math.exp(-z))

x, w, b = [0.8, 0.2], [2.0, -1.5], -0.5
print(round(sum(wi * xi for wi, xi in zip(w, x)) + b, 2))   # z
print(neurona(x, w, b))                                      # escalón
print(round(neurona(x, w, b, "sigmoide"), 3))                # sigmoide
# 0.8
# 1
# 0.69

Y la regla del perceptrón aprendiendo la función OR:

datos = [([0, 0], 0), ([0, 1], 1), ([1, 0], 1), ([1, 1], 1)]
w, b, eta = [0.0, 0.0], 0.0, 1.0

def salida(x):
    return 1 if w[0] * x[0] + w[1] * x[1] + b >= 0 else 0

for epoca in range(10):
    errores = 0
    for x, t in datos:
        y = salida(x)
        if y != t:
            w[0] += eta * (t - y) * x[0]
            w[1] += eta * (t - y) * x[1]
            b += eta * (t - y)
            errores += 1
    print(epoca, errores, w, b)
    if errores == 0:
        break
# 0 2 [0.0, 1.0] 0.0
# 1 2 [1.0, 1.0] 0.0
# 2 1 [1.0, 1.0] -1.0
# 3 0 [1.0, 1.0] -1.0

De dónde viene, con cuidado

McCulloch y Pitts (1943) supusieron neuronas de todo o nada que se activan cuando llega un número fijo de sinapsis excitadoras, con inhibición absoluta (una sola sinapsis inhibidora impide la activación) y una red que no cambia con el tiempo. Mostraron que redes así pueden calcular funciones de la lógica proposicional. No tenían pesos que se aprendieran.

Rosenblatt (1958) describió el perceptrón como un sistema de unidades de umbral: una retina de sensores (S), unidades de asociación (A) conectadas al azar y unidades de respuesta (R). El artículo describe el aprendizaje como refuerzo de las unidades A (el experimentador «fuerza» la respuesta o premia y castiga); no contiene la regla de arriba. La corrección solo cuando hay error aparece en informes de su laboratorio de 1960, y la forma con una sola neurona es la que se enseña desde entonces.

El Mark I Perceptron (manual de 1960): 400 fotorresistencias en una cuadrícula de 20 × 20, 512 unidades A con conexiones al azar a los sensores (generadas por un programa en un IBM 704 y cableadas en un tablero) y 8 unidades R. Los valores de las unidades A, los pesos, son potenciómetros movidos por motores de corriente continua.

La demostración de julio de 1958 se hizo con una computadora IBM 704: tras 50 ensayos distinguió tarjetas marcadas a la izquierda de las marcadas a la derecha. La frase de la Marina sobre una máquina «consciente de su existencia» es del despacho de UPI que publicó The New York Times el 8 de julio.

Las cifras del cerebro. Azevedo et al. (2009) contaron, en cerebros de varones adultos, $86.1\pm 8.1$ miles de millones de neuronas en promedio. Beniaguev et al. (2021) necesitaron una red convolucional temporal de cinco a ocho capas para imitar un modelo biofísico detallado de una neurona piramidal de la capa 5 de la corteza; cuando quitaron del modelo los receptores NMDA, bastaba una red con una sola capa oculta. Es una propiedad de ese modelo simulado, no una medida de todas las neuronas.

Lo que viene

Una sola neurona solo separa con una recta; la lección 6 muestra un caso que no puede (XOR). La lección 7 apila capas con activaciones no lineales, y la 8 calcula el gradiente de cada peso de la red (retropropagación).