abxda academy

Glosario

Los términos del curso, con definiciones breves y la lección donde se explican.

Adam
Optimizador que combina el momento con un tamaño de paso propio para cada peso, calculado con promedios móviles del gradiente y de su cuadrado (Kingma y Ba, 2015). Se explica en: Entrenar bien: lotes, épocas y optimizadores
Adulación (sycophancy)
Tendencia de un asistente a decir lo que la persona quiere oír, como darle la razón o elogiar su trabajo aunque esté equivocada. En parte es un efecto de optimizar la aprobación humana. Se explica en: De modelo base a asistente
Agente
Sistema que pone a un modelo de lenguaje en un bucle de pensar, actuar y observar: el modelo pide herramientas, un programa las ejecuta y el resultado vuelve a su contexto, hasta cumplir un objetivo. Se explica en: Agentes y herramientas
Ajuste con instrucciones
Ajuste fino de un modelo base con pares de indicación y respuesta ideal escritos por personas, para que trate lo que se le pide como una petición y no como el comienzo de un texto. Se explica en: De modelo base a asistente
Ajuste fino
Seguir entrenando un modelo ya preentrenado con un conjunto pequeño de ejemplos propios (entrada y respuesta deseada) para cambiar su comportamiento, sin empezar de cero. Se explica en: Ajuste fino y LoRA
Alineación
Técnicas para que un modelo haga lo que la persona pretende y sea útil, veraz e inofensivo, y no solo lo más probable según su texto de entrenamiento. Convierte un modelo base en un asistente. Se explica en: De modelo base a asistente
Alucinación
Respuesta fluida y segura de un modelo que es falsa o no está respaldada por ninguna fuente. Es consecuencia de predecir texto plausible, no de comprobar hechos. Se explica en: Alucinaciones y límites
Ancho de banda (de memoria)
Cuántos bytes por segundo pueden viajar de la memoria a los núcleos: 3 350 GB/s en una H100. Al generar texto token a token suele ser el límite de velocidad, porque cada token exige leer todos los parámetros. Se explica en: GPUs, memoria y cuantización
Anclaje (grounding)
Hacer que cada afirmación de la respuesta se apoye en una fuente concreta y comprobable, citada junto a ella. Se explica en: RAG: leer antes de responder
Aprendizaje automático
Enfoque en que una computadora obtiene las reglas a partir de ejemplos en lugar de que alguien las escriba. El término se asocia a Arthur Samuel (1959). Se explica en: Programar o aprender
Aprendizaje autosupervisado
Aprendizaje en el que la respuesta de cada ejemplo sale de los propios datos, sin etiquetas puestas por personas. En el texto: tapar una pieza y usar la pieza real como respuesta correcta. Se explica en: Preentrenamiento
Aprendizaje contrastivo
Entrenar comparando pares correctos con pares equivocados: acercar en el espacio de vectores lo que va junto y alejar el resto, sin etiquetas escritas a mano. Se explica en: De texto a imagen
Aprendizaje profundo (deep learning)
Aprendizaje automático con redes neuronales de muchas capas que aprenden por sí mismas las características útiles, de bordes a objetos, a partir de grandes cantidades de datos y cómputo. Se explica en: El big bang del deep learning
Aproximación universal
Teorema: una red con una capa oculta y suficientes neuronas puede aproximar cualquier función continua sobre un conjunto cerrado y acotado, con la precisión que se quiera. No dice cuántas neuronas hacen falta ni que el entrenamiento las encuentre. Se explica en: Capas y activaciones
Asignación de crédito (reparto de la culpa)
El problema de decidir cuánto contribuyó al resultado final cada decisión, peso o neurona escondido en medio de un sistema (Minsky lo planteó así en 1961, para el aprendizaje por refuerzo). En una red derivable, la retropropagación lo resuelve de forma eficiente. Se explica en: Retropropagación
Atención
Mecanismo con el que cada token decide cuánto mirar a los demás: compara su consulta con las claves de todos, convierte las puntuaciones en pesos con softmax y arma su nuevo vector como la mezcla de los valores con esos pesos. Se explica en: Atención
Atención de varias cabezas
Varias atenciones en paralelo, cada una (una cabeza) con sus propias matrices para Q, K y V y su propio mapa. Sus resultados se juntan y se combinan con una última matriz. Se explica en: Atención
Autoatención
Atención en la que consultas, claves y valores salen de la misma secuencia: cada token mira a los demás tokens de su propio texto, y a sí mismo. Se explica en: Atención
Autocodificador
Red de dos piezas: un codificador, que resume cada dato en pocos números (el código), y un decodificador, que intenta reconstruirlo desde el código. Se entrena para que baje el error de reconstrucción. Se explica en: Generar es aprender una distribución
Autocodificador variacional (VAE)
Autocodificador que resume cada dato en una nube (centro y tamaño) en lugar de un punto, y penaliza que las nubes se alejen de una zona estándar. Así el espacio latente queda sin huecos y se puede muestrear de él. Se explica en: Generar es aprender una distribución
Autorregresión
Escribir una pieza a la vez usando como entrada lo ya escrito: cada palabra producida pasa a formar parte del contexto de la siguiente. Se explica en: Predecir la siguiente palabra
Axón
La prolongación por la que una neurona biológica envía su pulso a otras neuronas cuando las señales combinadas son suficientes. En la neurona artificial equivale a la salida. Se explica en: La neurona artificial
Bajo rango
Propiedad de una tabla (matriz) que se escribe como suma de pocas piezas «columna × fila». El rango dice cuántas piezas hacen falta; una tabla de bajo rango se describe con muchos menos números que filas × columnas. Se explica en: Ajuste fino y LoRA
Base de datos vectorial
Programa que guarda vectores junto con su texto y sus datos (fuente, fecha), y encuentra muy rápido los más parecidos a un vector de consulta, normalmente con búsqueda aproximada de vecinos. Se explica en: RAG: leer antes de responder
Benchmark
Examen público y fijo (preguntas con su respuesta correcta y una forma de calificar) que se les pone igual a todos los modelos para compararlos. Sirve como referencia general; no dice si un sistema sirve para tu caso. Se explica en: Evaluar sistemas de IA
BPE (codificación por pares de bytes)
Algoritmo que arma el vocabulario fusionando, una y otra vez, la pareja de piezas vecinas más frecuente en un texto de entrenamiento. Nació como técnica de compresión (Gage, 1994) y se adaptó al lenguaje (Sennrich et al., 2016). Se explica en: Tokens: el alfabeto del modelo
Caché KV (claves y valores)
Memoria que guarda las claves y los valores ya calculados de los tokens anteriores para no recalcularlos en cada vuelta. Ahorra cálculo, pero ocupa memoria que crece con el contexto y con cada conversación. Se explica en: Inferencia: cómo responde un modelo
Cadena de pensamiento (chain of thought)
Los pasos intermedios que un modelo escribe antes de su respuesta final. Cada paso escrito queda como contexto para los siguientes tokens y añade cálculo; puede pedirse en la indicación o salir de un modelo entrenado para razonar. Se explica en: Modelos de razonamiento
Calendario de ruido
La receta fija de cuánto ruido se mezcla en cada paso del proceso hacia delante; determina qué parte de la mezcla sigue siendo imagen en cada paso. Se explica en: Difusión: de ruido a imagen
Calibración
Grado en que la confianza de un sistema coincide con su frecuencia real de acierto: de las respuestas dadas con 70 % de confianza, debería acertar cerca del 70 %, como un buen pronóstico del clima. Se explica en: Alucinaciones y límites
Capa
Grupo de neuronas que reciben las mismas entradas y calculan a la vez. Una red es una cadena de capas: entrada, una o más ocultas, y salida. Se explica en: Capas y activaciones
Capa oculta
Capa de neuronas entre la entrada y la salida. Crea señales intermedias que la salida combina; su valor no se observa directamente. Se explica en: Lo que una neurona no puede
Característica (feature)
Una medida de un ejemplo expresada como número: el número de enlaces de un correo, el brillo de un píxel. Las características de un ejemplo forman su vector. Se explica en: El mundo hecho de números
Caso de uso
Una tarea concreta que la IA podría cambiar, con quién la hace, cuántas veces y con qué datos. Se compara con otros por su frecuencia, el valor de cada vez y su riesgo. «Usar IA en ventas» no es un caso de uso; «contestar dudas de garantía por correo», sí. Se explica en: Estrategia para organizaciones
Chinchilla
Modelo de DeepMind (2022; 70 mil millones de parámetros, 1.4 billones de tokens) y la regla que dejó: con un presupuesto fijo, parámetros y datos deben crecer a la par, unos 20 tokens por parámetro. Se explica en: Leyes de escala y costos
CLIP
Método de OpenAI (2021) que entrena juntos un codificador de imágenes y uno de texto para que cada imagen y su descripción queden cerca en un mismo espacio de vectores. Se entrenó con unos 400 millones de pares de imagen y texto tomados de internet. Se explica en: De texto a imagen
Codificación de posición
Lista de números propia de cada lugar del texto que se suma al embedding de cada token para que el modelo sepa en qué orden están. En el artículo original sale de ondas de distintas frecuencias; GPT la aprende al entrenar, y otros modelos usan variantes. Se explica en: El transformer completo
Colapso de modo
Falla típica de las GAN: el generador produce solo una parte de la variedad de los datos (por ejemplo, una sola de varias «montañas» o un solo tipo de imagen). Se explica en: GAN: el falsificador y el detective
Cómputo (compute)
Cantidad de operaciones aritméticas que exige entrenar o ejecutar un modelo. Junto con los datos y los algoritmos, es uno de los tres motores del progreso del aprendizaje automático. Se explica en: El big bang del deep learning
Cómputo en tiempo de prueba (test-time compute)
Cálculo que se gasta al responder, no al entrenar: pensar más tokens, generar varias respuestas y votar, o revisarlas. Mejora la respuesta sin cambiar los pesos, a cambio de más costo y espera. Se explica en: Modelos de razonamiento
Condicionamiento
Darle a un modelo generativo una entrada extra (una etiqueta o el vector de una frase) que dirige lo que produce. Los generadores de imágenes se condicionan con el vector del prompt. Se explica en: De texto a imagen
Conexión residual (atajo)
Suma de la entrada de un bloque a su salida: y = x + F(x). Da al gradiente un camino directo hacia atrás y permitió apilar muchas más capas. Se explica en: El big bang del deep learning
Conjunto de evaluación (casos de oro)
Conjunto propio de casos reales de tu trabajo, cada uno con la respuesta o el criterio que tus expertos aceptan, que el sistema no ha visto. Se usa para comparar sistemas y se vuelve a correr en cada cambio. Se explica en: Evaluar sistemas de IA
Conjunto de prueba
Datos reservados que se usan una sola vez al final para informar el rendimiento esperado con casos nuevos. Se explica en: Generalizar y evaluar
Conjunto de validación
Datos que el modelo no usa para ajustarse y que sirven para elegir entre modelos o hiperparámetros. Se explica en: Generalizar y evaluar
Construir o comprar
La decisión de cómo hacer un caso de uso: comprar un producto hecho, construir sobre el modelo de un proveedor (prompt y RAG), ajustar un modelo con tus ejemplos o, casi nunca, entrenar uno desde cero. Regla práctica: compra lo común; construye lo que usa tus datos. Se explica en: Estrategia para organizaciones
Consulta, clave y valor (Q, K, V)
Los tres vectores que produce cada token: la consulta dice qué busca, la clave cómo se le encuentra y el valor qué entrega. Salen de multiplicar su vector por tres matrices de pesos aprendidas. Se explica en: Atención
Contaminación
Cuando las preguntas (o las respuestas) de un examen estaban en los datos con que se entrenó el modelo. Infla la nota, porque mide en parte memoria y no capacidad. Se explica en: Evaluar sistemas de IA
Convolución
Operación en la que un kernel pequeño recorre una imagen y, en cada posición, multiplica y suma píxeles por pesos para producir un píxel de salida. Se explica en: Convoluciones y visión
Corpus
Colección de textos con que se entrena un modelo de lenguaje, por ejemplo The Pile (825 GiB) o FineWeb (15 billones de tokens). Se arma recolectando, filtrando y quitando duplicados. Se explica en: Preentrenamiento
Corte de conocimiento
Fecha a partir de la cual los datos de entrenamiento no incluyen más textos. El modelo no conoce lo posterior, salvo que se le dé como contexto, y no siempre avisa que no lo sabe. Se explica en: Alucinaciones y límites
Costo total de propiedad (TCO)
Todo lo que cuesta tener un sistema durante un periodo: lo que se paga una vez (construir, integrar, preparar datos y casos de oro) y lo que se paga cada mes (tokens o licencias, servicio y monitoreo, personas que revisan y mantienen). El precio por token es solo una parte. Se explica en: Estrategia para organizaciones
Cuantización
Guardar los parámetros de un modelo ya entrenado con menos bits (8 o 4 en lugar de 16), redondeando cada uno a la marca más cercana de una escala propia de su grupo. Reduce la memoria y el tiempo de lectura, con una pérdida de calidad que hay que medir. Se explica en: GPUs, memoria y cuantización
Cuerpo celular
La parte central de una neurona biológica, donde se combinan las señales que llegan por las dendritas. En la neurona artificial equivale a la suma ponderada. Se explica en: La neurona artificial
Datos de entrenamiento
Ejemplos, cada uno con su respuesta correcta, con los que un modelo ajusta sus parámetros. Se explica en: Programar o aprender
Decodificación (decode)
Segunda fase: los tokens se generan de uno en uno, y cada uno exige una vuelta completa por el modelo que lee todos los pesos y la caché. Suele estar limitada por el ancho de banda de memoria. Se explica en: Inferencia: cómo responde un modelo
Deduplicación
Quitar del corpus los textos repetidos, también los casi idénticos. Se mide qué parte de los trozos de unas pocas palabras comparten dos textos (índice de Jaccard, estimado con MinHash) y se descarta uno si pasa de un umbral. Se explica en: Preentrenamiento
Dendrita
En una neurona biológica, cada una de las ramificaciones que reciben señales de otras neuronas. En la neurona artificial equivalen a las entradas. Se explica en: La neurona artificial
Derivada
El nombre matemático de la pendiente de una curva en un punto: cuánto cambia una cantidad por cada pequeño cambio de otra. Se explica en: Descenso del gradiente
Descenso del gradiente
Método que ajusta los pesos paso a paso, siempre en contra de la pendiente del error (el gradiente), hasta llegar a un fondo. Se explica en: Descenso del gradiente
Descenso del gradiente estocástico (SGD)
Descenso del gradiente en el que cada paso usa el gradiente de un lote al azar, en lugar del de todos los ejemplos. Se explica en: Entrenar bien: lotes, épocas y optimizadores
Difusión latente
Hacer la difusión en el espacio de códigos de un autocodificador, mucho más pequeño que la imagen, y decodificar al final. Es más barata; así funciona Stable Diffusion. Se explica en: Difusión: de ruido a imagen
Discriminador
En una GAN, la red que recibe un dato y estima, entre 0 y 1, qué tan probable es que sea real y no del generador. En el empate ideal responde 0.5. Se explica en: GAN: el falsificador y el detective
Distribución
La forma en que se reparten los datos: qué valores (o combinaciones de valores) son comunes, cuáles raros y cuáles no aparecen nunca. En dos medidas se ve como una nube de puntos. Se explica en: Generar es aprender una distribución
DPO (optimización directa de preferencias)
Método que aprende de parejas de respuestas (preferida y rechazada) ajustando el modelo directamente: sube la probabilidad de la preferida y baja la de la rechazada, sin entrenar un modelo de recompensa aparte ni usar refuerzo. Se explica en: De modelo base a asistente
Dropout
Técnica contra el sobreajuste: en cada paso de entrenamiento se apaga al azar cada neurona de una capa con cierta probabilidad (0.5 en AlexNet), de modo que ninguna puede depender de otra en concreto. Se explica en: El big bang del deep learning
Embedding
Vector de números, aprendido de los datos, que representa algo (una palabra, una frase, una imagen) de modo que lo parecido quede cerca. Cada palabra tiene una fila en una tabla de embeddings. Se explica en: Embeddings: el significado como geometría
Época
Un recorrido completo por todos los ejemplos de entrenamiento. Con N ejemplos y lotes de B, una época son N/B pasos. Se explica en: Entrenar bien: lotes, épocas y optimizadores
Error cuadrático medio (MSE)
Pérdida que promedia los errores elevados al cuadrado. Castiga mucho más los errores grandes que los pequeños y se mide en las unidades de la salida, al cuadrado. Se explica en: Un modelo y su error
Espacio latente
El espacio de los códigos de un modelo («latente» significa oculto): cada dato es un punto, y los puntos cercanos suelen ser datos parecidos. Cualquier punto se puede decodificar. Se explica en: Generar es aprender una distribución
Espacio vectorial
Espacio cuyos puntos son vectores. En un espacio de embeddings, la distancia o el ángulo entre dos puntos mide cuánto se parecen sus significados. Se explica en: Embeddings: el significado como geometría
Estado oculto
Vector de números que una red recurrente lleva de un paso al siguiente: su memoria de lo leído hasta ahora. Se reescribe en cada paso. Se explica en: Secuencias y memoria
Exhaustividad (recall)
De todos los positivos reales, la fracción que el modelo encontró: TP / (TP + FN). Se explica en: Generalizar y evaluar
FLOP, FLOPs
Operación de punto flotante: una suma o una multiplicación con decimales. El cómputo de un entrenamiento se cuenta en FLOPs totales (≈ 6·N·D); la velocidad de un chip, en FLOPs por segundo. Se explica en: Leyes de escala y costos
FP16 (y FP32, INT8, INT4)
Formatos para guardar cada número de un modelo. FP16 usa 2 bytes y guarda unas 3 cifras significativas; FP32, 4 bytes y unas 7. INT8 (1 byte) e INT4 (½ byte) guardan un entero que, multiplicado por una escala, aproxima el valor. BF16 es una variante de 2 bytes con el alcance de FP32. Se explica en: GPUs, memoria y cuantización
Fragmentación (chunking)
Cortar los documentos en trozos, o fragmentos, que se indexan y se recuperan por separado. Si son muy pequeños, un dato puede quedar sin su contexto; si son muy grandes, la respuesta se diluye. Se explica en: RAG: leer antes de responder
Frontera de decisión
Conjunto de puntos donde la neurona cambia de respuesta. Con dos entradas es una recta: w₁x₁ + w₂x₂ + b = 0. Se explica en: La neurona artificial
Fuga de datos
Información de los datos de evaluación que se cuela en el entrenamiento, inflando el resultado medido. Se explica en: Generalizar y evaluar
Fuga de información
Que un dato llegue a quien no debía tenerlo: lo que se pega en un servicio externo, lo que un modelo memorizó o lo que un asistente le muestra a quien no tiene permiso. No es la «fuga de datos» de la lección 10 (del examen al entrenamiento). Se explica en: Riesgos y gobernanza
Función de activación
Función que se aplica a la suma ponderada más el sesgo para producir la salida de la neurona. Ejemplos: el escalón y la sigmoide. Se explica en: La neurona artificial
Función de pérdida
Un único número que resume qué tan equivocado está un modelo con sus datos. Entrenar es buscar los parámetros que lo hacen lo más pequeño posible. Se explica en: Un modelo y su error
GAN (red generativa adversaria)
Modelo generativo formado por dos redes que se entrenan compitiendo: un generador que produce datos falsos y un discriminador que intenta distinguirlos de los reales (Goodfellow et al., 2014). Se explica en: GAN: el falsificador y el detective
Generador
En una GAN, la red que convierte un número (o un vector) sorteado al azar en un dato falso. Nunca ve los datos reales: aprende con la respuesta del discriminador. Se explica en: GAN: el falsificador y el detective
Generalización
Acertar con casos nuevos, que no se usaron para entrenar. Es lo que de verdad se quiere de un modelo. Se explica en: Programar o aprender
Gobernanza de la IA
Las reglas, los responsables y los procesos con que una organización decide qué usos de la IA acepta y vigila que se cumplan. Empieza con una política de uso, un inventario de sistemas, un responsable por sistema y un registro de incidentes. Se explica en: Riesgos y gobernanza
GPU
Unidad de procesamiento gráfico: un chip con cientos o miles de núcleos sencillos, creado para dibujar gráficos y muy eficiente para multiplicar matrices en paralelo, la operación central del entrenamiento. Se explica en: El big bang del deep learning
Gradiente
La lista de las pendientes del error, una por cada peso. Vista como flecha, apunta hacia donde el error sube más rápido. Se explica en: Descenso del gradiente
Gradiente que se desvanece
Fenómeno por el que el gradiente (la culpa) se multiplica por factores menores que uno al retroceder por muchos pasos o capas y llega casi a cero, de modo que lo lejano no se aprende. Con factores mayores que uno ocurre lo contrario: el gradiente explota. Se explica en: Secuencias y memoria
Guiado sin clasificador
Al generar, se calcula la estimación del ruido con la pista (una etiqueta o un texto) y sin ella, y se exagera su diferencia con la escala de guiado: más fidelidad a la pista, menos variedad. Se explica en: Difusión: de ruido a imagen
Hiperparámetro
Ajuste que fija una persona para el entrenamiento (tasa, tamaño del lote, épocas, optimizador, calendario). No se aprende con gradientes. Se explica en: Entrenar bien: lotes, épocas y optimizadores
ImageNet
Base de más de catorce millones de imágenes etiquetadas por personas, en más de veintiún mil categorías. Su subconjunto del concurso ILSVRC (mil clases, más de 1.2 millones de fotos de entrenamiento) fue el banco de pruebas de la visión por computador. Se explica en: El big bang del deep learning
Inferencia
Usar un modelo ya entrenado para responder ante un caso nuevo, con los parámetros fijos. Se explica en: Programar o aprender
Instrucciones del sistema (system prompt)
Instrucciones fijas que quien construye la aplicación pone al frente del contexto: rol, tono y reglas. Quien conversa no las ve, pero viajan y ocupan lugar en cada turno. Se explica en: Contexto y memoria
Intervalo de confianza
Rango de valores razonables para una cantidad medida con una muestra, como la exactitud real de un sistema; normalmente al 95 %. Su margen baja con la raíz del número de casos: cuatro veces más casos lo parten a la mitad. Se explica en: Evaluar sistemas de IA
Invierno de la IA
Periodo de menor financiación e interés por la inteligencia artificial tras expectativas incumplidas. El primero ocurrió en los años setenta. Se explica en: Lo que una neurona no puede
Inyección de instrucciones (prompt injection)
Ataque en el que un texto ajeno (un correo, una página, un documento) trae órdenes que el modelo obedece como si vinieran de quien lo usa. Es directa si la escribe el atacante en el chat e indirecta si llega dentro de lo que el sistema lee. No tiene solución completa: se limita con permisos y aprobación humana. Se explica en: Riesgos y gobernanza
Jailbreak
Texto diseñado para que un modelo deje de rechazar lo que su entrenamiento le enseñó a rechazar: un juego de rol, una historia, otro idioma o una cola de texto sin sentido. Es una forma de inyección de instrucciones. Se explica en: Riesgos y gobernanza
Kernel (filtro)
La cuadrícula pequeña de pesos de una convolución. En una red convolucional, sus valores se aprenden durante el entrenamiento. Se explica en: Convoluciones y visión
Ley de escala
Regularidad medida, no una ley de la naturaleza: la pérdida de un modelo baja como una potencia de sus parámetros, sus datos o su cómputo. En escala logarítmica se ve como una recta: cada ×10 multiplica la pérdida por el mismo número. Se explica en: Leyes de escala y costos
Llamada a funciones (function calling)
Mecanismo por el que el modelo, en lugar de texto libre, escribe una petición estructurada: el nombre de una herramienta y sus datos. El programa la valida y la ejecuta. Se explica en: Agentes y herramientas
Llenado (prefill)
Primera fase de la inferencia: todo el mensaje de entrada se procesa de una vez y se llena la caché KV. De ella depende la espera hasta el primer token. Se explica en: Inferencia: cómo responde un modelo
LLM como juez
Usar un modelo de lenguaje para calificar las respuestas de otro sistema con una rúbrica. Es barato y escala, pero tiene sesgos (el orden de las respuestas, su longitud) y debe contrastarse con calificaciones de personas. Se explica en: Evaluar sistemas de IA
LoRA (adaptación de bajo rango)
Técnica de ajuste fino que congela los parámetros originales y entrena solo una corrección ΔW = B·A, producto de dos tablas delgadas. Al par B y A se le llama adaptador: se puede quitar o cambiar. Se explica en: Ajuste fino y LoRA
Lote
Conjunto pequeño de ejemplos, tomado al azar, con el que se estima el gradiente en un paso de entrenamiento. Se explica en: Entrenar bien: lotes, épocas y optimizadores
LSTM (memoria larga a corto plazo)
Celda recurrente con una cinta de memoria (estado de la celda) y tres compuertas aprendidas, de olvido, de entrada y de salida, que deciden qué se conserva, qué se escribe y qué se lee. Propuesta en 1997 por Hochreiter y Schmidhuber; la compuerta de olvido se añadió en 2000. Se explica en: Secuencias y memoria
Mapa de características
La imagen de salida de un kernel: muestra dónde aparece el patrón que ese kernel detecta. Se explica en: Convoluciones y visión
Máscara causal
En la atención, cambia por menos infinito las puntuaciones hacia tokens futuros antes de softmax, que entonces les da peso cero. Así cada token solo mira a los anteriores y a sí mismo, y el modelo no puede copiar la respuesta al entrenar. Se explica en: El transformer completo
Matriz de confusión
Tabla con los aciertos y errores de cada tipo: verdaderos y falsos positivos, verdaderos y falsos negativos. Se explica en: Generalizar y evaluar
MCP (Model Context Protocol)
Estándar abierto, publicado por Anthropic en noviembre de 2024, para conectar aplicaciones de IA con herramientas y datos: un servidor las ofrece una sola vez y cualquier aplicación compatible las descubre y las usa. Se explica en: Agentes y herramientas
Mezcla de expertos (MoE)
Arquitectura en la que cada bloque tiene varias redes (expertos) y un enrutador elige unas pocas para cada token. Hay muchos parámetros en total y pocos activos por token: ahorra cálculo, no memoria. Se explica en: Inferencia: cómo responde un modelo
Modelo
Una forma de regla con números ajustables. Una vez entrenado, es la regla aprendida. Se explica en: Programar o aprender
Modelo base
Modelo de lenguaje que solo pasó por el preentrenamiento: sabe continuar textos, pero no está ajustado para seguir instrucciones ni conversar como un asistente. Se explica en: Preentrenamiento
Modelo de difusión
Modelo generativo que aprende a deshacer un proceso fijo que mezcla los datos con ruido paso a paso (el proceso hacia delante). Genera partiendo de estática pura y quitando un poco de ruido estimado, muchas veces. Se explica en: Difusión: de ruido a imagen
Modelo de lenguaje
Modelo que, dado un texto (el contexto), da una probabilidad a cada palabra o pieza que puede seguir. Escribe agregando una pieza a la vez. Se explica en: Predecir la siguiente palabra
Modelo de razonamiento
Modelo de lenguaje entrenado (sobre todo con aprendizaje por refuerzo) para escribir por su cuenta un pensamiento, a veces de miles de tokens, antes de responder. Ejemplos: o1 de OpenAI (2024) y DeepSeek-R1 (2025). Se explica en: Modelos de razonamiento
Modelo de recompensa
Modelo entrenado con comparaciones entre respuestas que devuelve una puntuación: más alta cuanto más probable es que las personas prefieran la respuesta. Hace de juez al optimizar; la probabilidad de que gane una respuesta es la sigmoide de la diferencia de puntuaciones. Se explica en: De modelo base a asistente
Modelo de secuencia
Modelo que procesa datos cuyo orden importa y cuyo largo varía, como texto, audio o series de tiempo, normalmente leyéndolos paso a paso. Se explica en: Secuencias y memoria
Modelo generativo
Modelo que aprende la distribución de sus datos (qué es común, qué es raro) y por eso puede producir datos nuevos parecidos. Un modelo que clasifica, en cambio, solo aprende la frontera entre grupos. Se explica en: Generar es aprender una distribución
Muestrear
Sacar un dato nuevo siguiendo una distribución: lo común sale a menudo y lo raro pocas veces. Es como genera un modelo generativo. (No confundir con las muestras de audio de la lección 2.) Se explica en: Generar es aprender una distribución
Neurona artificial
Unidad de cálculo que multiplica cada entrada por un peso, suma los resultados, añade un sesgo y aplica una función de activación: y = f(w·x + b). Se explica en: La neurona artificial
No linealidad
Propiedad de una función que no es una recta. Es lo que impide que apilar capas colapse en una sola y lo que permite doblar el espacio. Se explica en: Capas y activaciones
Normalización de capa
A la lista de números de un token le resta su promedio y la divide entre su desviación estándar; después aplica dos ajustes aprendidos (ganancia y sesgo). Mantiene estable la escala de los números al apilar muchos bloques. Se explica en: El transformer completo
Olvido catastrófico
Pérdida de habilidades previas cuando un modelo sigue entrenándose con datos de un solo tipo: los mismos parámetros sirven a todo, y moverlos por lo nuevo desacomoda lo viejo. Se explica en: Ajuste fino y LoRA
Optimizador
La regla que convierte el gradiente en un cambio de los pesos. Ejemplos: SGD, SGD con momento y Adam. Se explica en: Entrenar bien: lotes, épocas y optimizadores
Paralelismo (de datos, de tubería, de tensor)
Repartir el entrenamiento o el uso de un modelo entre varias GPU: copias completas que ven datos distintos (datos), grupos de capas en fila (tubería) o cada tabla de parámetros partida en pedazos (tensor). Se combinan: Llama 3.1 405B usó 8 × 16 × 128 = 16 384 GPU. Se explica en: GPUs, memoria y cuantización
Parámetro
Cada uno de los números que un modelo ajusta al entrenarse y en los que guarda lo aprendido. Se explica en: Programar o aprender
Pase hacia delante
Cálculo de la salida de una red: los números avanzan capa por capa, de la entrada a la salida. Se explica en: Capas y activaciones
Perceptrón
Modelo propuesto por Frank Rosenblatt en 1958: unidades de umbral conectadas en red que aprenden de ejemplos. En su versión más simple, una neurona con escalón cuyos pesos se corrigen solo cuando se equivoca. Se explica en: La neurona artificial
Perdido en el medio
Efecto medido en varios modelos: aprovechan mejor la información al principio o al final de un contexto largo que la que queda a la mitad. Se explica en: Contexto y memoria
Persona en el bucle (human in the loop)
Diseño en el que el sistema se detiene antes de ciertas acciones (irreversibles o por encima de un límite) y espera la decisión de una persona: aprobar, corregir o rechazar. Cuesta atención y solo protege si la revisión es real. Se explica en: Agentes y herramientas
Peso (w)
En un modelo lineal, el número que multiplica a la entrada: la pendiente de la recta. Indica cuánto sube la predicción por cada unidad que aumenta la entrada. Se explica en: Un modelo y su error
Piloto
Prueba de un caso de uso en pequeño, con usuarios reales, plazo fijo, una línea base medida antes y una meta medible. Termina en una decisión con datos: ampliar, corregir o cerrar. Se explica en: Estrategia para organizaciones
Píxel
El punto más pequeño de una imagen digital. En escala de grises es un número de 0 (negro) a 255 (blanco); en color son tres números (rojo, verde y azul). Se explica en: El mundo hecho de números
Pooling
Reducción de tamaño que resume cada bloque de un mapa (por ejemplo, con su valor máximo). Se explica en: Convoluciones y visión
Precisión
De todo lo que el modelo marcó como positivo, la fracción que realmente lo era: TP / (TP + FP). Se explica en: Generalizar y evaluar
Predicción (ŷ)
El número que el modelo entrega para una entrada dada. Al compararlo con el valor real se obtiene el error. Se explica en: Un modelo y su error
Preentrenamiento
Primera etapa del entrenamiento de un modelo de lenguaje: con un corpus enorme, el modelo adivina la siguiente pieza del texto una y otra vez y ajusta sus parámetros para bajar el error. El resultado es un modelo base. Se explica en: Preentrenamiento
Presupuesto de cómputo
Total de FLOPs que se decide gastar en entrenar un modelo. Como C ≈ 6·N·D, fija el «área» que se reparte entre tamaño del modelo y cantidad de datos: si sube uno, baja el otro. Se explica en: Leyes de escala y costos
Prompt (instrucción)
El texto con el que se le pide algo a un modelo generativo; en un generador de imágenes, la descripción de la imagen que se quiere. Se explica en: De texto a imagen
Quitar ruido (denoising)
La tarea de la red en un modelo de difusión: recibe una imagen con ruido y el número del paso, y estima el ruido para poder restarlo. Se explica en: Difusión: de ruido a imagen
RAG (generación aumentada por recuperación)
Técnica que, antes de generar, busca en una colección de documentos los fragmentos que más se parecen a la pregunta y los incluye en el prompt, de modo que el modelo responde con esas fuentes sin reentrenarse. Se explica en: RAG: leer antes de responder
Recompensa verificable
Recompensa que da una regla que comprueba la respuesta (¿coincide con la correcta?, ¿pasa las pruebas?) en vez de un juez aprendido. Base del aprendizaje por refuerzo con recompensas verificables (RLVR) con el que se entrenan modelos de razonamiento. Se explica en: Modelos de razonamiento
Recuperación (retrieval)
Paso que convierte la pregunta en un vector, lo compara con el índice y trae los k fragmentos más parecidos. Se explica en: RAG: leer antes de responder
Red convolucional (CNN)
Red neuronal que usa convoluciones, activaciones y pooling para procesar datos con estructura de cuadrícula, como imágenes. Se explica en: Convoluciones y visión
Red profunda
Red con varias capas ocultas. Cada capa aprovecha lo que la anterior ya transformó; para ciertas funciones, así logra formas complejas con muchas menos neuronas que una sola capa ancha. Se explica en: Capas y activaciones
Red recurrente (RNN)
Red que procesa una secuencia paso a paso con la misma celda: en cada paso recibe la entrada actual y el estado oculto anterior, y produce un estado nuevo. Se explica en: Secuencias y memoria
Red teaming (pruebas adversarias)
Atacar un sistema a propósito, con personas o con otros modelos, para encontrar sus fallas en el peor caso: respuestas dañinas, filtraciones, engaños. Cada falla hallada se vuelve un caso de evaluación. Se explica en: Evaluar sistemas de IA
Regla de la cadena
Si una cantidad depende de otra a través de una cadena de pasos, su influencia total es el producto de la influencia de cada paso. Es la base de la retropropagación. Se explica en: Retropropagación
Reglamento de IA de la UE (AI Act)
Reglamento (UE) 2024/1689, en vigor desde el 1 de agosto de 2024. Ordena los usos de la IA por riesgo (prohibidos, alto riesgo, transparencia y el resto) y se aplica por etapas hasta 2028. Alcanza a empresas de fuera de la UE si su IA se usa allí. Se explica en: Riesgos y gobernanza
Regresión
Tarea de predecir un número (un precio, una calificación, una temperatura) en lugar de elegir una categoría. La regresión lineal usa una recta. Se explica en: Un modelo y su error
Regularización
Cualquier cambio en el aprendizaje pensado para reducir el error con datos nuevos, aunque no baje el de entrenamiento. La más simple penaliza la complejidad del modelo (por ejemplo, los pesos grandes); la parada temprana y el dropout son otras formas. Se explica en: Generalizar y evaluar
ReLU
Unidad lineal rectificada: función de activación que devuelve cero si la suma es negativa y la propia suma si es positiva, máx(0, z). Una bisagra con una sola esquina. Se explica en: Capas y activaciones
Rendimiento (throughput)
Tokens por segundo que entrega el sistema completo, sumando a todas las personas atendidas. Sube con el tamaño del lote, a costa de la velocidad que recibe cada persona (la latencia). Se explica en: Inferencia: cómo responde un modelo
Reordenamiento (reranking)
Segundo paso que reordena los primeros candidatos de la búsqueda con un modelo más fino y más lento, que lee juntos la pregunta y cada fragmento. Se explica en: RAG: leer antes de responder
Retropropagación
Algoritmo que calcula el gradiente de la pérdida respecto de todos los pesos de una red en un solo recorrido hacia atrás, aplicando la regla de la cadena capa por capa. Calcula las culpas; no mueve los pesos (en el artículo de 1986, el nombre abarcaba todo el procedimiento de aprendizaje). Se explica en: Retropropagación
RLHF (aprendizaje por refuerzo con retroalimentación humana)
Ajusta un modelo para que sus respuestas obtengan más puntos de un modelo de recompensa entrenado con preferencias humanas, con una penalización (la «correa» KL) que lo mantiene cerca del modelo de partida. Se explica en: De modelo base a asistente
Separabilidad lineal
Propiedad de un conjunto de puntos de dos clases que se puede separar con una recta (o un plano, en más dimensiones). Se explica en: Lo que una neurona no puede
Servir un modelo (servicio de inferencia)
Tener un modelo ya entrenado funcionando para atender solicitudes reales: con los pesos fijos, a muchas personas a la vez y cuidando la espera y el costo. Se explica en: Inferencia: cómo responde un modelo
Sesgo (b)
El término que se suma al final del modelo: la predicción cuando la entrada vale cero, es decir, la altura a la que la recta corta el eje vertical. No es el sesgo de los datos o de un modelo injusto, que es otro concepto. Se explica en: Un modelo y su error
Sesgo (en un sistema de IA)
Error que se repite de forma sistemática contra un grupo de personas, a menudo heredado de los datos. Se detecta midiendo el error por grupo, no el promedio. No es el sesgo b de un modelo (lección 3). Se explica en: Riesgos y gobernanza
Sigmoide
Función σ(z) = 1/(1 + e⁻ᶻ): convierte cualquier número en un valor entre 0 y 1, y vale 0.5 cuando z = 0. Se explica en: La neurona artificial
Similitud coseno
Coseno del ángulo entre dos vectores: 1 si apuntan igual, 0 si son perpendiculares, −1 si se oponen. Ignora la longitud y mide solo la dirección. Se explica en: Embeddings: el significado como geometría
Sin estado (stateless)
Que cada llamada al modelo empieza de cero y no recuerda las anteriores. La memoria de una conversación vive en la aplicación, que reenvía todo el historial en cada turno. Se explica en: Contexto y memoria
Sobreajuste
Cuando un modelo aprende el ruido de sus datos de entrenamiento y por eso falla con datos nuevos. Se detecta con una brecha grande entre error de entrenamiento y de validación. Se explica en: Generalizar y evaluar
Softmax
Función que convierte puntajes cualesquiera en probabilidades positivas que suman uno: aplica la exponencial a cada puntaje y divide entre la suma. Se explica en: Predecir la siguiente palabra
Solo decodificador
Transformer formado solo por bloques con máscara causal que predicen el token siguiente, sin la mitad codificadora del artículo original. Es la arquitectura de la familia GPT. Se explica en: El transformer completo
Subajuste
Cuando un modelo es demasiado simple para captar la señal: falla incluso con los datos de entrenamiento. Se explica en: Generalizar y evaluar
Tasa base
La frecuencia real de un evento en la población (por ejemplo, el 1 % de transacciones fraudulentas). Condiciona cuántas falsas alarmas genera un detector. Se explica en: Generalizar y evaluar
Tasa de aprendizaje
Número (η) que multiplica la pendiente y fija el tamaño de cada paso. Muy pequeño es lento; muy grande rebota o diverge. Se explica en: Descenso del gradiente
Temperatura
Número que divide los puntajes antes del softmax. Baja afila la distribución (hacia la elección voraz); alta la aplana (hacia el azar). Se explica en: Predecir la siguiente palabra
Tensor
Arreglo de números con cualquier cantidad de ejes: un vector tiene uno, una matriz dos, una imagen en color tres (alto, ancho y canales). Se explica en: El mundo hecho de números
Token
Pieza de texto (una palabra, un trozo de palabra, un signo o un código básico) tomada del vocabulario. Es la unidad que el modelo lee y genera, y por la que se cobra. Se explica en: Tokens: el alfabeto del modelo
Tokenizador
Programa que corta el texto en tokens y da a cada uno su número (y hace el camino de vuelta). Se construye antes de entrenar el modelo y queda fijo. Se explica en: Tokens: el alfabeto del modelo
Top-p (muestreo de núcleo)
Sortear solo entre el grupo más pequeño de palabras más probables cuya probabilidad suma al menos p. Top-k hace lo mismo con un número fijo, k, de palabras. Se explica en: Predecir la siguiente palabra
Transformer
Arquitectura de red neuronal formada por una pila de bloques con la misma forma. Cada bloque combina atención (entre tokens) y una red aplicada a cada token, con conexiones residuales y normalización. Se presentó en «Attention Is All You Need» (2017). Se explica en: El transformer completo
Uso de herramientas
Capacidad de un modelo de pedir que se ejecute una función externa (consultar datos, calcular, comprar) y de usar su resultado. El modelo solo escribe la petición; la ejecuta el programa que lo rodea. Se explica en: Agentes y herramientas
Vector
Lista ordenada de números. En aprendizaje automático, cada ejemplo llega al modelo como un vector. Se explica en: El mundo hecho de números
Ventana de contexto
Número máximo de tokens que el modelo puede leer de una vez. Cuentan las instrucciones del sistema, la conversación, los documentos y la respuesta que va escribiendo. Lo que no cabe no existe para el modelo. Se explica en: Contexto y memoria
Verificación
Comprobar una respuesta en una fuente independiente (un documento, una base de datos, una persona experta) antes de actuar sobre ella; no en el mismo modelo. Su rigor debe ser proporcional al riesgo. Se explica en: Alucinaciones y límites
Vocabulario
Lista de todas las piezas (tokens) que un tokenizador puede producir, cada una con su número. Los reales tienen de unas treinta y dos mil a unas doscientas mil; el de juguete de la lección, 656. Se explica en: Tokens: el alfabeto del modelo
VRAM (memoria de la GPU)
La memoria propia de una GPU, en la misma tarjeta que sus núcleos. Ahí deben estar los parámetros y los datos con los que calcula. Se mide en gigabytes: 80 en una H100, 12 en una RTX 3060. En las GPU de centro de datos es de un tipo muy rápido llamado HBM. Se explica en: GPUs, memoria y cuantización
XOR (o exclusivo)
Función que vale uno solo cuando sus dos entradas son diferentes. Es el ejemplo clásico de problema no linealmente separable. Se explica en: Lo que una neurona no puede