/ki-monitoring-konzept

name: ki-monitoring-konzept
description: "Konzept zur laufenden Überwachung eines produktiv eingesetzten KI-Systems – Performance-Metriken, Daten- und Concept-Drift, Fairness, Robustheit, Logging Art. 12 KI-VO, menschliche Aufsicht Art. 14 KI-VO, Vorfallsmanagement und Audit-Intervalle nach ISO/IEC 42001. Use when ein KI-System produktiv läuft oder vor Inbetriebnahme das Monitoring-Konzept festgelegt werden muss."
language: de
agents:
  researcher: ../../agents/researcher.md
  drafter: ../../agents/drafter.md
  reviewer: ../../agents/reviewer.md
provider_variants:
  - claude
  - gemini
  - openai
test: ./test.md

/ki-governance:ki-monitoring-konzept

Zweck

Der Skill erstellt ein **Monitoring-Konzept** für die laufende Überwachung eines KI-Systems nach Inbetriebnahme: welche Metriken, in welcher Frequenz, mit welchen Schwellenwerten, durch wen, mit welcher Eskalation. Methodisch folgt der Skill **ISO/IEC 42001** (Kap. 8 Operation, Kap. 9 Performance Evaluation) und **NIST AI RMF** (Funktion MEASURE / MANAGE). Gesetzliche Logging- und Aufsichtspflichten der KI-VO (Art. 12 Aufzeichnungspflichten, Art. 14 menschliche Aufsicht, Art. 72 Post-Market Monitoring) werden als Bezugspunkt referenziert; die Pflichtenprüfung selbst gehört in `ki-vo-compliance`.

Eingaben

• System-ID und Risikoklasse (aus dem Risikoassessment)
• Modelltyp (klassische ML / LLM / Hybrid) und Trainingsdatenquellen
• Einsatzkontext (kritischer / nicht-kritischer Prozess; Hochrisiko-Indizien Anhang III KI-VO)
• Bestehende Telemetrie und Logging-Infrastruktur
• Betroffene Schutzgüter (Personenrechte, Geschäftsgeheimnisse, Berufsgeheimnis)

Sub-Agent-Architektur

Researcher liefert KI-VO-Anker (Art. 12, 14, 72), DSGVO-Anker (Art. 32), Standards (ISO/IEC 42001 Kap. 8/9, NIST AI RMF MEASURE/MANAGE, BSI AIC4 Anforderungen zu Monitoring), BaFin BDAI / MaRisk AT 7.2. Drafter erstellt das Monitoring-Konzept mit KPI-Tabelle, Eskalationsmatrix und Audit-Plan. Reviewer prüft auf Vollständigkeit der Metriken, klare Schwellenwerte, Logging-Konformität und human-in-the-loop.

Ablauf

1. Monitoring-Dimensionen

| Dimension | Beispiel-Metriken | Bezug | |---|---|---| | **Performance** | Accuracy, Precision, Recall, F1, AUC; LLM: Task-Erfolgsrate, Halluzinationsquote | NIST AI RMF MEASURE 2.3 | | **Datendrift** | Kolmogorov-Smirnov-Test, Population Stability Index (PSI), Embedding-Drift | ISO/IEC 5338, NIST MEASURE 2.4 | | **Concept Drift** | Performance-Degradation über Zeit, Label-Verteilungsänderung | NIST MEASURE 2.4 | | **Fairness / Bias** | Demographic Parity, Equal Opportunity, Disparate Impact, gruppenspezifische Fehlerquoten | NIST MEASURE 2.11; AGG-Schutzkategorien | | **Robustheit / Sicherheit** | Adversarial-Resistenz, Prompt-Injection-Tests, Red-Teaming-Ergebnisse | NIST MEASURE 2.7; BSI AIC4 | | **Verfügbarkeit** | Uptime, Latenz, Fehler-Rate | klassisches SLO | | **Compliance / Logging** | Vollständigkeit der Logs gem. Art. 12 KI-VO (bei Hochrisiko), Aufbewahrungsfrist | Art. 12 KI-VO Bezugspunkt | | **Menschliche Aufsicht** | Override-Quote, Eskalationsraten, Schulungsnachweis | Art. 14 KI-VO Bezugspunkt; Art. 22 DSGVO |

2. Frequenz je Risikoklasse

| Risikoklasse (KI-VO-Trigger) | Performance-Check | Drift-Check | Fairness-Audit | Vollständiges Audit | |---|---|---|---|---| | Hochrisiko (Anhang I/III) | täglich / kontinuierlich | wöchentlich | quartalsweise | halbjährlich | | Begrenztes Risiko (Art. 50) | wöchentlich | monatlich | halbjährlich | jährlich | | Minimales Risiko | monatlich | quartalsweise | jährlich | jährlich |

> Bei sektorspezifischer Aufsicht (BaFin, BAFA, BfArM, BNetzA) deren Frequenz-Anforderungen Vorrang.

3. Schwellenwerte und Eskalation

Pro KPI:

• **Grünbereich**: Toleranz, kein Eingriff
• **Gelb (Warnung)**: erhöhte Beobachtung, Ursachenanalyse, Ticket
• **Rot (Alarm)**: Eskalation an AI-Owner + Risk-Owner, ggf. Stilllegung, Vorfallsmeldung

Eskalationsmatrix mit Rollen und Erreichbarkeitsangaben. Bei Hochrisiko-Systemen: dokumentierter Notfallplan.

4. Logging und Aufzeichnungen

• **Bei Hochrisiko-Systemen** (Bezugspunkt Art. 12 KI-VO): automatische Aufzeichnung der Lebenszyklus-Ereignisse; Aufbewahrungsfrist gemäß Art. 19 KI-VO – Detailprüfung in `ki-vo-compliance`.
• **Datenschutzrechtlich** (Art. 32 DSGVO + § 9 BDSG-Erwägungen): Logs selbst können personenbezogene Daten enthalten; Zugriffs- und Löschkonzept (Erforderlichkeit, Zweckbindung, Aufbewahrungsfrist).
• **Berufsrechtlich**: Logs als „mitwirkende Personen"-Datenfluss prüfen (§ 203 Abs. 4 StGB).

5. Menschliche Aufsicht (human-in-the-loop)

Konkrete Anforderungen (Bezug Art. 14 KI-VO + Art. 22 DSGVO):

• Klare Override-Möglichkeit für die aufsichtführende Person
• Schulung der aufsichtführenden Personen (Art. 4 KI-VO)
• Dokumentation der Override-Entscheidungen
• „Automation Bias" begrenzen: keine bloße Bestätigungsroutine

6. Vorfallsmanagement

• **Vorfall-Definition**: schwerer Vorfall iSv Art. 3 Nr. 49 KI-VO (Bezugspunkt) ↔ interner Vorfall (unterhalb der Meldepflicht)
• **Meldewege**: intern (Datenschutzbeauftragte/r, IT-Sicherheit, Compliance); extern (Aufsichtsbehörden – Detailprüfung in `ki-vo-compliance` und `datenschutzrecht`)
• **Lessons Learned**: dokumentierte Nachbereitung, Risk-Register-Update

7. Audits

• Internes Audit gemäß ISO/IEC 42001 Kap. 9 (mindestens jährlich)
• Bei Drittanbietern: vertragliches Audit-Recht aus Art. 28 III lit. h DSGVO; BSI AIC4 als Bewertungsmaßstab
• Bei sektorspezifischer Aufsicht: deren Prüfungen einplanen

Quellen und Zitierweise

Verbindlich: [`../../../references/zitierweise.md`](../../../references/zitierweise.md).

Unions- und nationales Recht

• [VO (EU) 2024/1689 (KI-VO)](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689) – Bezugspunkte Art. 12 (Aufzeichnungspflichten), Art. 13 (Transparenz gegenüber Betreibern), Art. 14 (menschliche Aufsicht), Art. 17 (Qualitätsmanagementsystem Anbieter), Art. 26 (Betreibe