11. Clause 10 : amélioration, intégration et tableaux de bord

Section 11 du cours « Pilotez un système d’IA | ISO/IEC 42001 ».

La clause 10 organise le traitement des écarts et l’amélioration continue. L’objectif est de corriger le problème, d’en comprendre la cause et de vérifier qu’il ne se reproduit pas.

Repères de vocabulaire

• PDCA : planifier, réaliser, vérifier, améliorer ; cycle de fonctionnement d’un système de management.

• SMI : système de management intégré, commun à plusieurs domaines comme la qualité, la sécurité et l’IA.

• NC : non-conformité.

• KPI : indicateur clé de performance.

• CR : compte rendu.

Notions

• Clause 10 : dernière clause du cycle PDCA : boucle constats -> actions -> progrès

• Non-conformité : écart par rapport au prévu : politique interne, exigence ISO 42001, réglementation, attentes des parties intéressées

• Sources de détection : audits, surveillance, plaintes d'utilisateurs, incidents, écarts de performance

• Réaction : contenir d'abord (si risque ou dommage), puis corriger

• Cause racine : défaillance d'un contrôle, rôles mal compris, formation manquante, gestion du changement, limite du système

• Action corrective : proportionnée au risque ; responsable désigné, suivi, efficacité vérifiée

• Amélioration continue : au-delà de la correction : veille capacités IA, éthique, réglementation, retours des parties prenantes, compétences, outils

• Déclencheurs : données de performance, audits, comparaison externe, retours, innovation interne

• HLS : High Level Structure (Annexe SL) : mêmes 10 chapitres pour 42001, 27001, 9001

• Système intégré (SMI) : un seul socle contexte, leadership, risques, audit, revue de direction

• Tableau de bord : rend la gouvernance visible et traçable ; support de la clause 9.1

• KPI : Key Performance Indicator : indicateur défini, avec responsable, revu

Proportionnalité des actions correctives (exemples du cours) :

• modèle biaisé : réentraînement, revue de la logique de décision, mise à jour des analyses d'impact, re-formation des utilisateurs

• journal manquant, doc périmée : simple correction du processus

Intégration 42001 avec 27001 et 9001, clause par clause :

• 4 contexte : élargir la déclaration de contexte existante : risques IA, parties, réglementation

• 5 leadership : une seule équipe dirigeante : objectifs qualité, sécurité, éthique IA

• 6 risques : risques IA (biais, dérive, explicabilité, données d'entraînement) -> matrice globale de l'entreprise, pas de registre séparé

• politiques : politique sécurité 27001 étendue : intégrité des données d'entraînement, accès à la logique algorithmique, réentraînement sécurisé

• procédures 9001 : assurance qualité des sorties IA, relecture humaine, méthodes de test

• pilotes processus : responsables 9001 -> aussi responsables des résultats et risques IA de leur domaine

• 9 audit interne : mêmes auditeurs, formés aux critères 42001 (validation, équité, explicabilité)

• 9.3 revue : séance unique : incidents sécurité, satisfaction client, événements IA

• documentation : mêmes règles de versionnage, approbation, contrôle d'accès

• formation : sécurité + data poisoning, prompt injection ; qualité + fairness by design

• incidents : scénarios IA : défaillance, discrimination involontaire, attaque adverse

Familles d'indicateurs d'un tableau de bord de gouvernance IA :

• cycle de vie : modèles en développement, déployés, en réentraînement, retirés ; inventaire central : responsable, versions, criticité, niveau de risque -> repère modèles fantômes et réentraînements non documentés

• risques : nombre, gravité, traités, ouverts, respect des échéances

• équité, biais : parité démographique, égalité des chances, parité des taux d'erreur ; alerte automatique + trace de l'action corrective

• transparence : % de systèmes avec outil d'explicabilité, doc accessible, taux de traitement des demandes d'explication, demandes d'accès aux données

• incidents : réclamations IA, délai d'examen, causes racines, avancement des actions ; anomalies de modèle, overrides, quasi-incidents

• formation : collaborateurs formés, taux de réussite, évaluations de connaissances

• supervision : % de décisions corrigées par un humain (baisse attendue si le modèle progresse)

Public visé :

• direction : synthèses

• opérations : diagnostic

• auditeurs : preuves

À retenir

• Clause 10 = non-conformités, actions correctives, amélioration continue

• Contenir les conséquences, puis corriger le problème. Rechercher ensuite sa cause, mener une action corrective et vérifier son efficacité.

• Chaque action tracée : responsable, échéance, suivi jusqu'à clôture

• Exemple plateforme média : bulles de filtres -> pondérations revues, transparence, audits de diversité

• Exemple FinTech : avertissement régulateur sur la doc -> gabarits standard, formation, audits planifiés, modèle de maturité interne

• Réutiliser le système de management existant lorsque c’est pertinent. La structure commune permet d’y intégrer les exigences propres à l’IA.

• Risques IA dans la matrice globale de l'entreprise, même rigueur que sécurité et qualité

• Exemple logisticien certifié 27001 + 9001 : contexte élargi, contrôle d'accès étendu aux registres de modèles

• Exemple banque : 72 modèles déployés, 68 conformes, 4 en retard de réentraînement ; faux positifs en hausse chez les moins de 25 ans -> alerte au responsable

• Définir chaque indicateur, sa source et son responsable. Le revoir régulièrement pour éviter les interprétations trompeuses ou les manipulations.

• Signal d'alerte : incidents et anomalies dispersés dans des mails ou des tableurs

Lien avec l'audit IA

• Registre des NC : existe-t-il un registre des non-conformités IA ? Preuve : NC avec cause, action, responsable, date de clôture, vérification d'efficacité

• Analyse cause racine : méthode formalisée ? Preuve : 5 pourquoi, Ishikawa sur un incident IA récent

• Proportionnalité : action à la hauteur du risque ? Preuve : comparer un biais traité et une doc corrigée

• Boucle d'amélioration : quels changements de l'AIMS sur 12 mois ? Preuve : CR de revue de direction, plan

• Intégration SMI : risques IA dans la matrice globale ? Preuve : extrait du registre, propriétaires

• Audit interne : auditeurs formés 42001 ? Preuve : programme d'audit, attestations de formation

• Inventaire des modèles : complet et à jour ? Preuve : export de l'inventaire, rapprochement avec la prod

• KPI : fiche par indicateur (définition, source, responsable, seuil) ? Preuve : fiches, historique

• Alertes équité : seuil défini, alerte reçue, action tracée ? Preuve : ticket lié à l'alerte

• Déjà traité : incidents et RACI : ai-governance-fundamentals docs/05-roles-raci.md, docs/08-cadre-europeen-et-france.md ; structure commune et clause 10 : dépôt iso-27001

Précisions et points à vérifier

Les points ci-dessous signalent les limites du cours et les vérifications à poursuivre. Les exemples et recommandations du formateur ne sont pas tous des exigences de la norme.

• Numérotation ISO/IEC 42001:2023 : 10.1 amélioration continue, 10.2 non-conformité et action corrective (même ordre que ISO/IEC 27001:2022) ; le cours ne cite pas les sous-clauses

• « HLS » : terme ancien ; depuis 2021 l'Annexe SL parle de « structure harmonisée » (HS), à confirmer dans les directives ISO/IEC partie 1

• ISO 9001 en révision (version 2026 annoncée) : vérifier l'édition en vigueur avant toute intégration

• Transcription : « AIMOS », « IMS », « IMS pour AI Model Management System » -> AIMS = AI management system ; « parties preuventes » -> parties prenantes

• Les métriques d'équité (parité démographique, etc.) et les tableaux de bord temps réel sont des bonnes pratiques du cours, pas des exigences de la norme (9.1 demande seulement de déterminer quoi surveiller, comment, quand, et de conserver des preuves)

• Veille réglementaire et éthique : attendue au titre de 4.1, 4.2 et 10.1, mais non listée mot pour mot en clause 10 ; relire le texte

• Incident IA grave : notification AI Act (article 73, systèmes à haut risque) distincte du traitement interne de la NC, voir ai-governance-fundamentals docs/08

Questions de révision

• Première action face à une non-conformité à risque ? Réponse : contenir la situation avant d'analyser.

• Que doit-on tracer pour chaque action corrective ? Réponse : responsable, échéance, avancement, vérification d'efficacité.

• Pourquoi l'intégration avec 27001 et 9001 est-elle facile ? Réponse : structure commune Annexe SL, mêmes clauses 4 à 10.

• Où placer les risques IA dans un SMI ? Réponse : dans la matrice globale des risques, avec un propriétaire par risque.

• Trois familles de KPI de gouvernance IA ? Réponse : cycle de vie des modèles, risques, équité (aussi transparence, incidents, formation).

Leçons couvertes

Clause 10 Amélioration continue ; Intégration d'AIMS avec ISO/IEC 27001 et ISO 9001 ; Tableaux de bord de gouvernance IA et indicateurs KPI.