Advertisements

KI-Red-Teaming und LLM-Penetrationstests

Advertisements
LLMs und KI-Agenten testen und absichern: Prompt-Injection, Jailbreaks, Guardrails und Red-Team-Berichte in der Praxis
1
1/5
(57) Ratings
1 students
Created by Dr. Amar Massoud (Deutsch)
Advertisements

What you'll learn

  • Die Angriffsfläche jeder LLM-Anwendung und jedes KI-Agenten kartieren
  • Prompt-Injection, Jailbreaks und Filterumgehung gegen ein sicheres lokales Ziel ausführen
  • Angriffe mit adversarialen Eingaben, Datenextraktion, Datenvergiftung und Modelldiebstahl durchführen
  • RAG, Tool-Aufrufe, übermäßige Handlungsfähigkeit und unsichere Ausgabeverarbeitung ausnutzen
  • Gestaffelte LLM-Abwehr aufbauen und durch Wiederholen der eigenen Angriffe überprüfen
  • Red Teaming mit Garak, PyRIT und promptfoo in CI/CD automatisieren
  • Einen Red-Team-Bericht schreiben, zugeordnet zu OWASP LLM, ATLAS und NIST AI RMF
This course includes:
4 total hours on-demand video
0 articles
1 downloadable resources
38 lessons
Full lifetime access
Access on mobile and TV
Certificate of completion
Advertisements

Course content

Requirements

  • Sichere Python-Kenntnisse (Sie lesen und ändern Angriffsskripte)
  • Sicherheitshintergrund (OWASP, Injection-Klassen, OAuth, HTTP)
  • Vertrautheit mit der Kommandozeile und Docker Desktop
  • Laptop mit 16 GB RAM (macOS / Windows + WSL2 / Linux), ca. 30 GB freier Speicher
  • Keine tiefe ML-Mathematik nötig — Lektion 2 behandelt die Interna, die Sie brauchen
  • Keine kostenpflichtigen API-Schlüssel nötig — die Labs nutzen ein lokales Modell über Ollama
  • Englisch-Lesekenntnisse (Lab-App, Payloads und Tool-Ausgaben sind englisch)

Description

This course contains the use of artificial intelligence.

Dieser Kurs wurde unter Zuhilfenahme von künstlicher Intelligenz erstellt.

Große Sprachmodelle sind schneller in Produktion gegangen als die Werkzeuge, mit denen man sie testet. Dieser praxisnahe Kurs zur offensiven Sicherheit zeigt Ihnen, wie Sie LLMs und die darauf gebauten Anwendungen und Agenten gezielt prüfen und brechen — und sie anschließend widerstandsfähig machen.

Sie arbeiten als Red Team für Stride, ein Fintech, dessen In-App-Assistent „Sol“ Geld bewegen und Kundendaten lesen kann. Nachdem ein Sicherheitsforscher Sol über das Feld für Buchungsvermerke dazu gebracht hatte, das Konto eines Kunden preiszugeben, hat Stride ein Red-Team-Programm aufgesetzt — und das sind Sie. Jede Technik, die Sie lernen, führen Sie an einer lokalen, absichtlich verwundbaren Kopie von Sol auf Ihrem eigenen Rechner aus. Nichts in diesem Kurs wird gegen Systeme eingesetzt, die Ihnen nicht gehören.

In 36 animierten Lektionen und 8 ausführbaren Labs lernen Sie:

  • Die Angriffsfläche jeder LLM-Anwendung und jedes Agenten zu kartieren
  • Direkte und indirekte Prompt-Injection auszuführen und ein reales Datenleck nachzustellen
  • Jailbreaks und die Umgehung von Sicherheitsfiltern mit Persona-Framing, Kodierung, Multi-Turn/Crescendo, Many-Shot, automatisierten adversarialen Suffixen und sprachübergreifenden Tricks
  • Angriffe mit adversarialen Eingaben, Extraktion von Trainingsdaten, Datenvergiftung, Backdoors und Modelldiebstahl durchzuführen
  • RAG-Vergiftung, den Missbrauch von Tool- und Funktionsaufrufen, übermäßige Handlungsfähigkeit und unsichere Ausgabeverarbeitung auszunutzen (XSS/SSRF/RCE aus Modellausgaben)
  • Eine gestaffelte Verteidigung aufzubauen: Guardrails, Canary-Tokens, Systemprompt-Härtung, Privilegientrennung, Sandboxing für RAG und Tools sowie Erkennung
  • Red Teaming mit Garak, PyRIT und promptfoo zu automatisieren — einschließlich kontinuierlichem Red Teaming in CI/CD
  • Einen governance-tauglichen Bericht zu schreiben, zugeordnet zu OWASP LLM Top 10, MITRE ATLAS und NIST AI RMF, und eine verantwortungsvolle Offenlegung durchzuführen

Jedes Angriffskapitel ist mit der Verteidigung gepaart, die den Angriff neutralisiert. Der Kurs endet mit einem Abschlussprojekt, einem vollständigen Einsatz: Scope festlegen, aufklären, ausnutzen, Auswirkung messen, Sol härten, die eigenen Angriffe wiederholen, um den Fix zu belegen, und einen veröffentlichungsreifen Red-Team-Bericht liefern.

Dies ist ein Kurs für Fortgeschrittene. Sie sollten Python sicher beherrschen, mit der Kommandozeile und Docker vertraut sein und bereits wie ein Sicherheitsprofi denken. Tiefe Machine-Learning-Mathematik brauchen Sie nicht — Lektion 2 behandelt genau die Modellinterna, die Sie für Angriffe benötigen.

Durchgängig verankerte Rahmenwerke: OWASP Top 10 für LLM-Anwendungen (2025), MITRE ATLAS, NIST AI RMF, der EU AI Act (KI-Verordnung der EU) und ISO/IEC 42001.

Die Lab-Umgebung, die Payloads und Sols Antworten sind auf Englisch — so, wie Sie ihnen in echten Einsätzen begegnen; alle Erklärungen sind auf Deutsch.

Am Ende verstehen Sie KI-Risiken nicht nur abstrakt — Sie können ein KI-System testen, belegen, was defekt ist, und dem Team zeigen, wie es behoben wird.

Who this course is for:

  • Security Engineers, Red Teamer und AppSec-Verantwortliche auf dem Weg in die KI-Sicherheit
  • Penetrationstester, die LLM- und Agenten-Tests in ihr Leistungsangebot aufnehmen
  • ML-/KI-Ingenieure, die ihre eigenen LLM-Funktionen brechen und härten wollen
Advertisements
B53FEC81BA044033D17F
Advertisements
Advertisements
Free Online Courses with Certificates
Logo
Register New Account