Aseguramiento de agentes IA: evals, alucinaciones, monitoreo

Este curso utiliza inteligencia artificial.

«¿Cómo sabes que tu agente de IA funciona?»

No «¿se ha quejado alguien?», sino cómo lo sabes. La mayoría de los equipos responde a esa pregunta con una demo. Una demo no es evidencia, y en cuanto un auditor, un regulador o un directivo pide evidencias, la brecha queda a la vista.

Este curso cierra esa brecha.

No vas a aprender a construir un agente. Vas a aprender a demostrar que funciona, detectarlo cuando falla y firmar un lanzamiento que puedas defender, con nueve artefactos que construyes sobre la marcha y ninguno de los cuales exige escribir una sola línea de código.

Por qué los agentes rompen todos tus hábitos de prueba. Una batería de pruebas supone que la misma entrada da la misma salida. Un agente muestrea de una distribución. Supone un conjunto finito de caminos: un agente con seis herramientas y diez pasos tiene un espacio de caminos que nadie puede enumerar. Supone que los fallos se anuncian solos. Un agente que inventa una cláusula de la póliza devuelve una respuesta impecablemente formateada, segura de sí misma y completamente equivocada, con un HTTP 200. Nada se pone en rojo.

La gobernanza dice qué debería ser cierto. El aseguramiento demuestra qué es cierto. Este curso trata de lo segundo.

Qué lo hace distinto. La mayoría de los cursos de IA enseñan marcos de gobernanza sin medición o evaluación de LLM sin gobernanza. Este curso los conecta y se mantiene concreto:

La alucinación no es una sola cosa. Vas a aprender seis mecanismos distintos (hecho inventado, cita inventada, confabulación de resultados de herramientas, recuperación sin fundamento, afirmación falsa de capacidad y degradación de la fundamentación), cada uno con su propia señal de detección y su propio tipo de prueba. Tres de ellos se reconstruyen paso a paso sobre los agentes de Halden, para que veas cómo ocurre el fallo en lugar de solo leer sobre él.

El LLM como juez tiene sesgos medidos. En el estudio más conocido, incluso GPT-4 mantuvo su veredicto solo en torno a dos tercios de las veces cuando las dos respuestas intercambiaban posiciones, y rellenar una respuesta con repeticiones engañó a los jueces más débiles unas nueve de cada diez veces. La longitud suele venir acompañada de evasivas, lo que significa que tu juez puede premiar justo la alucinación que estás buscando. Vas a aprender a instrumentar el juez para medir el sesgo de posición, de verbosidad y de autopreferencia.

La telemetría no puede decirte si una respuesta era correcta. Las convenciones GenAI de OpenTelemetry pueden registrar un resultado de evaluación junto a una traza, pero nada en la telemetría lo produce. Es un límite de categoría, no una carencia de herramientas, y saber exactamente dónde termina la observabilidad es lo que te dice qué más tienes que construir.

El paquete de aseguramiento de agentes de IA. Terminas con nueve artefactos, construidos para un agente que de verdad te importa: (1) plantilla de apreciación de riesgos del agente, (2) especificación de comportamiento y límites, (3) biblioteca de casos de prueba y evaluaciones, (4) taxonomía de alucinaciones, (5) matriz de supervisión humana, (6) diseño del panel de monitoreo, (7) registro de incidentes del agente, (8) lista de verificación de preparación para el lanzamiento, (9) informe de gobernanza y aseguramiento.

Cada uno se trabaja de principio a fin sobre Halden Insurance Group, una aseguradora mediana que opera tres agentes sin evidencias para ninguno de ellos, incluido un incidente de producción resuelto paso a paso en el que, durante seis semanas, cada respuesta estaba fundamentada, citada, era trazable y era incorrecta.

Anclado en los marcos con los que te van a evaluar. El NIST AI RMF (la función Measure), la cláusula 9 de ISO/IEC 42001, el artículo 14 del Reglamento europeo de inteligencia artificial (EU AI Act) sobre la supervisión humana y el OWASP Top 10 for LLM Applications. No como teoría, sino como la razón por la que cada artefacto tiene la forma que tiene.

Para quién es. Profesionales de gobernanza de IA, responsables de QA, gestores de riesgos, auditores internos y responsables de producto de IA. No hace falta programar. Los ingenieros son bienvenidos y encontrarán útil el vocabulario para defender su propio trabajo de evaluación.

Cincuenta y cinco clases en diez secciones, nueve cuestionarios, ocho tareas y un examen final de práctica.

Courze