Advertisements

Resposta a incidentes de IA: falhas de LLMs e agentes

Advertisements
Detecte, contenha e corrija injeção de prompt, abuso de ferramentas, loops de agentes e alucinações em produção
1
1/5
(36) Ratings
0 students
Created by Dr. Amar Massoud (Português)
Advertisements

What you'll learn

  • Instrumentar uma pilha de LLM ou de agentes para tornar os incidentes visíveis — prompts, respostas, chamadas de ferramenta, recuperações e custo
  • Fazer a triagem de um incidente de IA nos primeiros cinco minutos e avaliar a severidade por raio de impacto, autonomia, classe de dados e reversibilidade
  • Conter um agente que se comporta mal sem piorar as coisas — parar, limitar, revogar, reverter, isolar
  • Executar um playbook nomeado para cada um dos onze modos de falha comuns de LLMs e agentes
  • Preservar evidências e reconstruir a causa raiz num sistema que não se reproduz sob demanda
  • Recuperar com segurança — expurgar o estado envenenado, restaurar aos poucos e condicionar a reativação a evals
  • Conduzir uma análise pós-incidente sem culpa e atenta ao modelo, e montar um programa de resposta a incidentes de IA
This course includes:
5 total hours on-demand video
9 articles
10 downloadable resources
50 lessons
Full lifetime access
Access on mobile and TV
Certificate of completion
Advertisements

Course content

Requirements

  • Familiaridade com Python e com a linha de comando
  • Noções básicas de APIs de LLM e de chamadas de ferramentas/funções
  • Experiência prévia com incidentes de segurança ou de SRE ajuda, mas não é obrigatória
  • Não é preciso experiência em desenvolvimento de ataques — cada incidente de laboratório chega já em andamento
  • Python 3.10+ (Ollama opcional — os laboratórios recorrem a um modelo offline; sem chave de API, sem custo)

Description

Este curso contém o uso de inteligência artificial.

São quatro da manhã. O seu agente autônomo acabou de enviar a mil e quatrocentos clientes uma carta que ninguém aprovou. A disponibilidade está ok. A latência está ok. A taxa de erros ficou em zero a noite toda. Todos os dashboards sob a sua responsabilidade estão verdes — e esse é exatamente o problema.

Este é um curso de operações. Não de governança, nem de red teaming, nem de arquitetura. O alarme já disparou, e é você quem está com o pager. Você vai aprender a detectar, fazer a triagem, conter, preservar evidências, investigar e se recuperar de falhas de sistemas com LLMs e agentes em produção — organizado por modo de falha, nunca por framework.

Tudo é ensinado em cima da Meridian Health, uma operadora de saúde fictícia que roda um assistente de solicitações baseado em LLM e um agente de operações autônomo com acesso, por meio de ferramentas, a um banco de dados de solicitações, ao e-mail de saída e a um servidor MCP interno. Todo incidente a que você responde acontece primeiro com a Meridian.

O que torna este curso diferente

  • Construído sobre o AI Incident Response Framework V1.0 da Coalition for Secure AI (CoSAI) — a primeira referência realmente autorizada da área — e transformado em prática, em vez de resumido.
  • Onze playbooks nomeados, todos com a mesma estrutura em cinco partes: sinais, contenção, evidências, erradicação e portão de recuperação.
  • Casos reais, entre eles a decisão do tribunal canadense que rejeitou a defesa de que «o chatbot é uma entidade jurídica separada», e os incidentes de custo descontrolado documentados em 2025–26.
  • O custo como incidente, tratado a fundo — pouco desenvolvido até nos frameworks, e o modo de falha mais bem documentado de 2025–26.

Você sai com cinco artefatos que pode colocar em produção: uma matriz de severidade de incidentes de IA, procedimentos de contenção para a sua própria pilha, o seu próprio playbook de incidentes, um checklist de evidências com cadeia de custódia e um modelo de análise pós-incidente atento ao modelo. O projeto final reúne os cinco, com uma declaração de lacunas e um roteiro de 90 dias.

Nove laboratórios práticos rodam inteiramente na sua própria máquina, com um modelo local — sem chaves de API, sem gasto com nuvem. Você vai instrumentar um agente, avaliar incidentes ao vivo, fazer um simulado de contenção contra o relógio, reconstruir um incidente a partir de evidências brutas e reconstruir um portão de evals que se recusa a abrir até a correção estar comprovada.

Não é preciso experiência em desenvolvimento de ataques. Cada incidente dos laboratórios chega a você já em andamento. Você é quem responde, nunca o atacante.

Who this course is for:

  • Analistas de SOC e profissionais de resposta a incidentes cuja organização acabou de pôr sistemas de LLM ou de agentes em produção
  • Engenheiros de plataformas de IA, MLOps e SRE que são donos da pilha de agentes e, na prática, quem responde
  • Líderes de segurança e engenheiros de AppSec que respondem por sistemas de IA que não construíram
  • Profissionais de DFIR migrando para incidentes de IA que querem saber o que de fato apreender
  • Profissionais de GRC e de riscos que precisam entender o que envolve uma resposta operacional a incidentes de IA
Advertisements
07B36588F2DD8824C288
Advertisements
Advertisements
Free Online Courses with Certificates
Logo
Register New Account