Riesgos y gobernanza

El riesgo como cuenta

El marco de gestión de riesgos de IA del NIST (AI RMF 1.0, enero de 2023) define el riesgo como «la medida compuesta de la probabilidad de que ocurra un evento y de la magnitud o el grado de sus consecuencias». La forma más simple de llevarlo a la práctica es una escala ordinal de 1 a 3 para cada eje y su producto:

Los productos posibles son 1, 2, 3, 4, 6 y 9. En la lección: bajo si $R \le 2$, medio si $R \in \{3, 4\}$ y alto si $R \ge 6$. Por eso la «diagonal» de esquina a esquina (3, 4, 3) es la zona media. Un control actúa sobre uno de los dos factores: unas pruebas o unas respuestas con fuente bajan $P$; un permiso, una aprobación humana o la posibilidad de deshacer bajan $I$. Lo que queda es el riesgo residual $R' = P' \times I'$.

Es una simplificación útil, no una medición: las escalas son ordinales (un 2 no vale «el doble» que un 1), dos riesgos en la misma celda pueden ser muy distintos y la ubicación de cada caso es un juicio que conviene escribir y revisar. Si hay datos (frecuencia de un error, costo de cada incidente), la pérdida esperada $\mathbb{E}[L] = p \cdot L$ ordena mejor. Los cinco casos de la tienda y sus posiciones son ilustrativos.

Inyección de instrucciones, por dentro

Un modelo de lenguaje recibe un solo texto: instrucciones del sistema, la pregunta, los documentos recuperados y los resultados de las herramientas van uno tras otro en la misma ventana de contexto (lecciones 21 y 30). Nada en la arquitectura marca qué parte manda. Simon Willison propuso el nombre prompt injection el 12 de septiembre de 2022, al ver la demostración de Riley Goodside («Ignore the above directions…»), por analogía con la inyección SQL. OWASP distingue la directa (la escribe quien usa el chat) de la indirecta (llega dentro de lo que el sistema lee: páginas, correos, archivos), que Greshake y colaboradores demostraron en 2023 contra aplicaciones reales. La lista OWASP de 2025 para aplicaciones con modelos de lenguaje la pone en el lugar 1 de 10 (siguen la divulgación de información sensible, la cadena de suministro, el envenenamiento de datos y modelos, el manejo inseguro de la salida, la agencia excesiva, la filtración del prompt de sistema, las debilidades de vectores y embeddings, la desinformación y el consumo sin límite) y advierte que no está claro que existan métodos infalibles para prevenirla; RAG y el ajuste fino no la eliminan.

EchoLeak (CVE-2025-32711, publicada por el NVD el 11 de junio de 2025: «AI command injection in M365 Copilot allows an unauthorized attacker to disclose information over a network»). Según Reddy y Gujral (2025), un solo correo preparado, sin ninguna acción de la víctima, lograba que Copilot sacara datos de su contexto: el texto estaba redactado para evadir el clasificador de inyecciones, usaba enlaces en Markdown que escapaban a la limpieza de enlaces y un dominio de Microsoft permitido. Microsoft lo corrigió del lado del servidor.

La tríada letal (Willison, 16 de junio de 2025): acceso a datos privados ($D$), exposición a contenido no confiable ($U$) y capacidad de comunicarse hacia fuera ($E$). La exfiltración necesita las tres a la vez:

Quitar cualquiera corta esa cadena. En la práctica, $E$ incluye formas discretas de salida, como una imagen o un enlace que el sistema carga y que lleva los datos en su dirección. Por eso la aprobación humana va antes de cualquier envío, y los permisos se aplican en el programa (lección 32), no en el prompt.

Jailbreaks

Wei, Haghtalab y Steinhardt (2023) explican por qué fallan los rechazos aprendidos con dos mecanismos: objetivos en competencia (ser útil y seguir instrucciones choca con negarse) y generalización desigual (el entrenamiento de seguridad no cubre dominios donde el modelo sí tiene capacidad, como otro idioma o una codificación). Sus ataques, diseñados con esa idea, tuvieron éxito en todos los pedidos de los conjuntos de pruebas adversarias de GPT-4 y Claude v1.3. Zou y colaboradores (2023) automatizaron la búsqueda: con una combinación de búsqueda voraz y gradientes en modelos abiertos (Vicuna) hallaron sufijos que, pegados a un pedido, hacían que el modelo empezara con una respuesta afirmativa, y esos sufijos se transfirieron a ChatGPT, Bard, Claude y LLaMA-2-Chat. OWASP considera el jailbreak una forma de inyección de instrucciones. Conclusión práctica: el rechazo del modelo es una capa, no una garantía; se suman filtros a la entrada y a la salida, límites en lo que el sistema puede hacer y pruebas adversarias (lección 34).

Sesgo: medir por grupo

Si $e_g$ es la tasa de error en el grupo $g$ (errores entre casos de ese grupo), el promedio general $\bar e = \sum_g \frac{n_g}{n} e_g$ puede verse bien aunque un $e_g$ sea alto. Por eso se reporta cada $e_g$ y la brecha $\max_g e_g - \min_g e_g$. En Gender Shades (Buolamwini y Gebru, 2018), tres clasificadores comerciales de género (IBM, Microsoft y Face++), evaluados con 1 270 rostros de parlamentarios de seis países, tenían exactitudes generales entre 87.9 % y 93.7 %; el error máximo en hombres de piel clara fue 0.8 % y en mujeres de piel oscura llegó a 34.7 %.

En modelos de lenguaje, Kotek, Dockum y Sun (2023) probaron cuatro modelos con frases ambiguas del tipo «The doctor phoned the nurse because she was late» («ella», en inglés, puede ser cualquiera de los dos): los modelos eligieron la ocupación alineada con el estereotipo de género entre 3 y 6 veces más, amplificaron el sesgo más allá de las estadísticas reales de empleo e inventaron explicaciones que lo justificaban. El ejemplo de la tienda (filtrar currículos de mecánicos) es ilustrativo; en la Unión Europea, los sistemas para reclutar o filtrar solicitudes de empleo están en el anexo III del Reglamento de IA: son de alto riesgo.

Ojo con la palabra: aquí «sesgo» es un trato desigual; en la lección 3, el sesgo $b$ es el término que se suma en $y = wx + b$.

Privacidad y fuga de información

Tres caminos: (1) lo que se envía a un servicio externo queda en servidores ajenos, sujeto a sus condiciones de uso (el caso de Samsung, en abril de 2023, lo conocemos por la prensa: un ingeniero subió código fuente interno a ChatGPT para revisarlo, y la empresa restringió estas herramientas en su división de dispositivos); (2) un modelo puede reproducir textos que memorizó al entrenarse (Carlini et al., 2021; lección 23); (3) un asistente con RAG o herramientas puede mostrar documentos a quien no debería verlos si la recuperación no aplica los permisos de quien pregunta. El perfil de IA generativa del NIST (AI 600-1, julio de 2024) lo incluye entre sus doce riesgos como «privacidad de datos». En México, los datos personales están protegidos por la Ley Federal de Protección de Datos Personales en Posesión de los Particulares (nueva ley publicada en el DOF el 20 de marzo de 2025). Ojo: «fuga de información» no es la «fuga de datos» de la lección 10, que es información del examen colada en el entrenamiento.

Propiedad intelectual

Lo que entra: la lección 23 trató las demandas por los textos de entrenamiento (el juez de Bartz v. Anthropic consideró uso legítimo usar los libros para entrenar, pero no guardar copias piratas; en 2026 se aprobó un acuerdo de 1 500 millones de dólares). Lo que sale: la Oficina de Derechos de Autor de Estados Unidos (informe, parte 2, enero de 2025) concluyó que, con la tecnología disponible, los prompts por sí solos no dan suficiente control humano para que quien usa el sistema sea autor del resultado; sí pueden protegerse las partes de autoría humana perceptibles en la salida y la selección, el arreglo o la modificación creativa del material generado. Las reglas varían por país: revisa las condiciones del proveedor y no publiques sin revisar si algo se parece demasiado a una obra ajena.

Suplantación y desinformación

La orden de la FCC contra Steve Kramer (FCC 24-104, adoptada el 26 de septiembre de 2024) impuso 6 000 000 de dólares por llamadas automáticas del 21 de enero de 2024, dos días antes de la primaria de Nuevo Hampshire, con un mensaje en una voz creada para sonar como el presidente Biden y un identificador de llamada falsificado. Antes, el 8 de febrero de 2024, la FCC había aclarado que las voces generadas con IA cuentan como «artificiales» para la ley de protección telefónica. En Hong Kong, según The Guardian (17 de mayo de 2024), Arup confirmó que una persona de su oficina transfirió 200 millones de dólares de Hong Kong (unos 25 millones de dólares estadounidenses, a 7.8 por dólar) en 15 transferencias a cinco cuentas, después de videollamadas con imitaciones de directivos. El Reglamento de IA de la UE (art. 50) obliga a avisar cuando un contenido de imagen, audio o video es un deepfake.

Huella ambiental: las cuentas

Elsworth y colaboradores (Google, 2025) midieron la mediana de una consulta de texto a la aplicación Gemini: 0.24 Wh y 0.26 mL de agua, con una reducción de 33 veces en energía en un año. Su comparación, nueve segundos de televisión, equivale a un aparato de 100 W: $100\,\text{W} \times 9\,\text{s} = 900\,\text{J} = 0.25\,\text{Wh}$. Es una medición de una empresa sobre su propio servicio; las imágenes, los videos y los modelos de razonamiento gastan más por consulta, y Luccioni, Jernite y Strubell (2024) encontraron que los modelos generativos de propósito general cuestan órdenes de magnitud más energía que los específicos para una tarea. En conjunto, $E = N \cdot e$: mil millones de consultas de 0.24 Wh son 240 MWh (ilustrativo). La Agencia Internacional de Energía (abril de 2025) estima que los centros de datos usaron unos 415 TWh en 2024, cerca del 1.5 % de la electricidad mundial, y prevé unos 945 TWh en 2030, algo más que el consumo actual de Japón, con la IA como principal motor.

Reglas y estándares

Reglamento (UE) 2024/1689 (publicado el 12 de julio de 2024; en vigor el 1 de agosto de 2024). Alcance (art. 2): proveedores que comercializan en la UE, estén donde estén, y proveedores o usuarios de fuera cuando la salida del sistema se usa en la UE. Niveles: prácticas prohibidas (art. 5: puntuación social, inferir emociones en el trabajo o la escuela, bases de reconocimiento facial con imágenes recolectadas sin distinción, entre otras); alto riesgo (anexo III: empleo, educación, crédito, seguros de vida y salud, servicios esenciales, entre otros); transparencia (art. 50: avisar que se habla con una IA, marcar el contenido sintético, etiquetar los deepfakes); el resto, sin obligaciones específicas. Multas (art. 99): por prácticas prohibidas, hasta 35 millones de euros o el 7 % de la facturación anual mundial, lo que sea mayor; por otras obligaciones, hasta 15 millones o el 3 %. Calendario (art. 113, modificado por el Reglamento (UE) 2026/1744, «Digital Omnibus on AI», publicado el 24 de julio de 2026 y en vigor el 27 de julio):

Desde	Qué se aplica
2 feb 2025	definiciones, alfabetización en IA y prácticas prohibidas
2 ago 2025	modelos de uso general, gobernanza y sanciones
2 ago 2026	aplicación general, incluida la transparencia del art. 50
2 dic 2026	marcado de contenido sintético para sistemas ya en el mercado; nueva prohibición de generar material íntimo sin consentimiento o de abuso sexual infantil
2 dic 2027	alto riesgo del anexo III (antes, 2 ago 2026)
2 ago 2028	alto riesgo en productos regulados del anexo I (antes, 2 ago 2027)

NIST AI RMF 1.0 (NIST AI 100-1, 26 de enero de 2023), de uso voluntario. Cuatro funciones: Govern (gobernar), Map (mapear el contexto), Measure (medir) y Manage (gestionar). Entre sus resultados esperados: un inventario de sistemas de IA (GOVERN 1.6), funciones y responsabilidades documentadas (GOVERN 2.1) y la comunicación de incidentes y errores (MANAGE 4.3). Su perfil de IA generativa (NIST AI 600-1, 26 de julio de 2024) enumera doce riesgos: información QBRN, confabulación, contenido peligroso o de odio, privacidad de datos, impacto ambiental, sesgo dañino y homogeneización, configuración humano-IA, integridad de la información, seguridad de la información, propiedad intelectual, contenido obsceno o abusivo, y cadena de valor.

ISO/IEC 42001:2023 (18 de diciembre de 2023) fija requisitos para establecer, implementar, mantener y mejorar un sistema de gestión de IA en una organización. La certificación es voluntaria y la otorgan organismos auditores independientes.

En código

ZONA = {1: 'bajo', 2: 'bajo', 3: 'medio', 4: 'medio', 6: 'alto', 9: 'alto'}

# caso, probabilidad (1-3), impacto (1-3) y los dos con controles
casos = [
    ('ideas para redes',       2, 1, (1, 1)),
    ('traducir el manual',     1, 1, (1, 1)),
    ('dudas de garantía',      2, 2, (1, 2)),
    ('correos que envía solo', 2, 3, (2, 2)),
    ('filtrar currículos',     3, 3, (2, 3)),
]

for nombre, p, i, (p2, i2) in casos:
    r, r2 = p * i, p2 * i2
    print(f'{nombre:23} {r} {ZONA[r]:5} -> residual {r2} {ZONA[r2]}')

def ataque_sale(datos_privados, contenido_ajeno, salida_fuera):
    """Tríada letal: la inyección hace daño solo con los tres ingredientes a la vez."""
    return datos_privados and contenido_ajeno and salida_fuera

print(ataque_sale(True, True, True), ataque_sale(True, True, False))

# huella: una consulta frente a muchas
wh = 0.24                       # Wh por consulta de texto (mediana, Google 2025)
print(round(100 * 9 / 3600, 2)) # Wh de un televisor de 100 W durante 9 s
print(round(wh * 1e9 / 1e6))    # MWh si fueran mil millones de consultas

Salida:

ideas para redes        2 bajo  -> residual 1 bajo
traducir el manual      1 bajo  -> residual 1 bajo
dudas de garantía       4 medio -> residual 2 bajo
correos que envía solo  6 alto  -> residual 4 medio
filtrar currículos      9 alto  -> residual 6 alto
True False
0.25
240

El último caso queda alto aun con controles: ahí alguien con nombre decide si se acepta, se rediseña o no se usa.

Lo que viene

La lección 36 usa este cuadro junto con el valor de cada caso: elegir dónde aplicar IA es cruzar frecuencia, valor y riesgo, y empezar con pilotos medidos (lección 34) y gobernados (esta lección).