10. Clause 9 : évaluation des performances

Section 10 du cours « Pilotez un système d’IA | ISO/IEC 42001 ».

La clause 9 sert à vérifier que le système de management fonctionne. Elle associe surveillance des résultats, audit interne et revue par la direction.

Repères de vocabulaire

• SMIA / AIMS : système de management de l’IA.

• KPI : indicateur clé de performance.

• Faux positif : cas signalé à tort comme positif, par exemple une transaction légitime classée comme fraude.

• Proxy : variable qui représente indirectement une autre caractéristique, par exemple le code postal pour le milieu social.

Notions

• Clause 9 : trois activités : surveillance et mesure, audit interne, revue de direction

• Surveillance, mesure : indicateurs alignés sur les objectifs et risques IA, au niveau AIMS et au niveau de chaque système (cas d'usage)

• Audit interne : à intervalles planifiés ; conformité aux exigences internes et à la norme, mise en œuvre effective ; objectif, impartial, fondé sur des preuves

• Revue de direction : recul stratégique périodique de la direction ; sorties = décisions, actions, ressources, changements du système

• Audit externe : organisme de certification indépendant -> garantie pour clients, régulateurs, public

• Liste de vérification exigences de la norme et mesures de l'annexe A traduites en questions vérifiables ; sert aussi de support de formation

• Non-conformité : contrôle absent, inefficace ou appliqué de façon irrégulière

• Observation : piste d'amélioration sans écart immédiat

• Audit blanc : répétition dans les conditions de la certification

• Équité : définie par l'organisation selon contexte, droit, culture, parties prenantes

• Parité démographique : même taux de décision favorable entre groupes

• Égalité des chances : même taux de vrais positifs entre groupes

• Parité prédictive : même précision (valeur prédictive positive) entre groupes

• Équilibre des FP : même taux de faux positifs entre groupes

• Variable indirecte : proxy d'un attribut protégé (code postal, établissement)

• Cadre d’assurance de l’équité : définir l’équité pour chaque usage, choisir les indicateurs et organiser les tests. Prévoir la consultation, le suivi, les actions correctives et les règles d’alerte.

À retenir

• indicateurs choisis selon les priorités : équité par groupe, part de décisions expliquées, conformité AI Act

• surveillance ciblée, régulière, intégrée aux opérations

• auditeurs indépendants des activités auditées ; petite structure -> collègue d'un autre service ou consultant

• auditer avec profils techniques et non techniques

• périmètre d'audit cohérent avec le périmètre de l'AIMS déclaré en clause 4

• priorité aux usages à haut risque : finance, recrutement, forces de l'ordre, santé

• exécution : entretiens, revue documentaire, tests de contrôle, observation sur le terrain

• entretiens -> développeurs, conformité, métiers, data scientists, utilisateurs, comité d'éthique

• tests de contrôle -> alertes de dérive configurées, procédure de réentraînement suivie, indicateurs d'équité revus à temps

• constat -> preuve, gravité, rattachement à une clause ou à une politique interne

• Présenter le rapport d’audit à la direction. Suivre les actions correctives avec un responsable, une échéance et une vérification d’efficacité avant clôture ; les examiner en revue de direction.

• audit externe : preuves retrouvables, versionnées ; historique d'audits internes, revues, actions correctives examinés

• audit blanc -> moins de durée, de coût, de risque à la certification

• programme d'audit : calendrier, rotation des auditeurs, formation IA des auditeurs, outil de suivi des preuves

Détecter et traiter les biais

• biais : données historiques, sous-représentation, choix de conception, usage hors contexte prévu

• tests de biais à trois niveaux : données, développement du modèle, déploiement

• tests répétés après chaque mise à jour, réentraînement, changement d'environnement ; cas limites inclus

• Justifier le choix des indicateurs d’équité. Plusieurs définitions de l’équité peuvent être incompatibles ; le compromis doit être documenté.

• Lorsqu’un biais est détecté, adapter la réponse : rééquilibrer les données, revoir le modèle ou renforcer le contrôle humain. Suspendre le système si le risque le justifie.

• parties prenantes associées : définition de l'équité, interprétation des signaux

• outils : Aequitas, IBM AI Fairness 360, Fairlearn, What-If Tool, intégrés au pipeline MLOps

Exemples du cours :

• Plateforme de recommandations : audit -> manque d'explicabilité sur usages à fort impact -> budget pour une boîte à outils de transparence, suivi au cycle suivant

• Agence de santé : retards dans des cliniques -> dérive en zone rurale -> réentraînement + tableaux de bord ruraux

• Agence prestations sociales : risques non réévalués après mises à jour, pas de retour parties prenantes -> réévaluation trimestrielle -> certification 6 mois après

• Éditeur logiciel : outils d'explicabilité présents, personnel non formé -> ateliers, contrôle d'explicabilité dans l'assurance qualité

• Ville (trafic) : modèle neutre techniquement, impact disproportionné sur quartiers minoritaires -> pondérations revues après consultation

• Université (bourses) : activités extrascolaires pénalisent les lycées défavorisés -> poids des résultats académiques, coefficient établissement, comité d'éthique

• Recrutement : données historiques favorables aux hommes -> réentraînement sur données rééquilibrées + validation humaine + rapport d'équité public

Cycle de certification (complément hors cours, ISO/IEC 17021-1 et ISO/IEC 42006) :

flowchart LR
    A[Audits internes + revue de direction] --> B[Audit blanc]
    B --> C[Étape 1 : revue documentaire, préparation]
    C --> D[Étape 2 : mise en œuvre effective]
    D --> E{Non-conformités majeures ?}
    E -- oui --> F[Actions correctives] --> D
    E -- non --> G[Certificat 3 ans]
    G --> H[Surveillance année 1]
    H --> I[Surveillance année 2]
    I --> J[Renouvellement année 3] --> G

Lien avec l'audit IA

• Indicateurs : quels KPI AIMS et par système, rattachés à quels objectifs ? -> tableau de bord, objectifs 6.2

• Programme d'audit : calendrier sur 3 ans couvrant tout le périmètre ? -> programme, rapports, compétences auditeurs

• Indépendance : l'auditeur a-t-il audité son propre travail ? -> désignation, organigramme

• Revue de direction : entrées et décisions tracées ? -> compte rendu daté, liste d'actions

• Suivi des constats : constats clos et efficacité vérifiée ? -> registre des actions correctives

• Équité : définition écrite par cas d'usage, métrique choisie et justifiée ? -> note de décision

• Tests de biais : rejoués après le dernier réentraînement ? -> rapport daté lié à la version

• Proxy : variables indirectes recherchées ? -> analyse de corrélation, revue des attributs

• Déjà traité : risques et rôles : ai-governance-fundamentals 03-risques.md, 05-roles-raci.md ; audit interne et revue de direction (même clause 9) : dépôt iso-27001

Précisions et points à vérifier

Les points ci-dessous signalent les limites du cours et les vérifications à poursuivre. Les exemples et recommandations du formateur ne sont pas tous des exigences de la norme.

• découpage officiel : 9.1 surveillance, mesure, analyse, évaluation ; 9.2 audit interne (9.2.1 généralités, 9.2.2 programme) ; 9.3 revue de direction (entrées, sorties) ; ISO/IEC 42001:2023

• « auditeurs n'ayant pas participé aux activités » : la norme exige objectivité et impartialité ; la règle de non auto-audit vient d'ISO 19011

• étapes 1 et 2, cycle de 3 ans, audits de surveillance : non présentés dans le cours ; source ISO/IEC 17021-1 et ISO/IEC 42006 (exigences pour les organismes certifiant un AIMS, publiée en 2025, date à confirmer)

• Calendrier haut risque corrigé : 2 décembre 2027 pour l’annexe III et 2 août 2028 pour l’annexe I. Examiner aussi les dispositions transitoires et le rôle de l’organisation. Source : calendrier de la Commission européenne.

• définitions des métriques d'équité : le cours les cite sans les définir ; définitions ci-dessus d'après la littérature (Fairlearn, AIF360), pas d'après la norme

• incompatibilité des métriques (calibration et égalité des taux d'erreur avec des taux de base différents) : Chouldechova 2017, Kleinberg et al. 2016

• transcription : « SMGI », « SGSI », « système de management de la sécurité de l'information », « IMS » = AIMS ; « UI Act » = AI Act ; « Equitas » = Aequitas

• sources des biais et équité : ISO/IEC TR 24027 (biais dans les systèmes IA), annexe A.7 données (ISO/IEC 42001:2023)

Questions de révision

• Les trois activités de la clause 9 ? Réponse : surveillance et mesure, audit interne, revue de direction.

• Les quatre techniques d'exécution d'un audit ? Réponse : entretiens, revue documentaire, tests de contrôle, observation.

• Où vont les constats d'audit ? Réponse : revue de direction, puis actions correctives de la clause 10.

• Parité démographique ? Réponse : même taux de décision favorable entre groupes.

• Quand rejouer les tests de biais ? Réponse : au lancement, après chaque mise à jour, réentraînement ou changement d'environnement.

Leçons couvertes

Clause 9 Évaluation des performances ; Audit ISO/IEC 42001, perspectives interne et externe ; Surveillance des biais et tests d'équité en pratique.