04. Clause 6.1 : risques et impacts de l'IA

Section 4 du cours « Pilotez un système d’IA | ISO/IEC 42001 ».

Deux questions structurent cette fiche : quels risques faut-il traiter, et quelles conséquences le système peut-il avoir sur les personnes ? L’appréciation des risques et l’évaluation d’impact se complètent.

Repères de vocabulaire

• SMIA / AIMS : système de management de l’IA.

• Dérive : évolution des données ou du comportement du modèle au fil du temps.

• FAQ : foire aux questions, c’est-à-dire une liste de questions fréquentes et de réponses.

Notions

• 6.1.1 Généralités : pensée fondée sur les risques dans tout l'AIMS ; risques et opportunités ; base des sous-clauses

• 6.1.2 Évaluation : méthode formalisée : identifier -> analyser -> évaluer ; reproductible

• 6.1.3 Traitement : choix d'options, mesures (annexe A), plan d'action, documentation, revue d'efficacité

• 6.1.4 Impact : conséquences sur individus, groupes, société ; au-delà de la probabilité

• Risques IA spécifiques : biais, opacité, dérive (drift), entrées malveillantes, comportement imprévu, autonomie sans responsable clair, empoisonnement des données, boucles de rétroaction

• Proportionnalité : profondeur et formalisme selon le profil de risque du système

• Registre des risques : risque, source, impact, probabilité, atténuation, responsable, date de revue, statut, indicateurs ; parfois critères d'escalade

• Analyse : probabilité x gravité ; gravité = activité, juridique, image, conformité, confiance, personnes concernées

• Évaluation : accepter (avec feu vert et justification direction), atténuer, repenser, reporter, arrêter

• Critères : clairs, cohérents, validés par la direction ; matrice, seuils, niveaux d'acceptation

• Options de traitement : réduire, éviter, transférer, accepter, tirer parti (opportunité)

• Annexe A : catalogue de mesures : explicabilité, transparence, supervision humaine, gouvernance des données, robustesse, réentraînement, suivi des impacts

• Impact systémique : effet cumulé de plusieurs systèmes (recommandation + surveillance + scores -> profilage)

flowchart TD
    A[6.1.1 : risques et opportunités, critères] --> B[6.1.2 : identifier]
    B --> C[Analyser : probabilité, gravité]
    C --> D{Évaluer : acceptable ?}
    D -- oui --> E[Accepter : validation direction, justification]
    D -- non --> F[6.1.3 : traiter avec mesures annexe A, plan d'action]
    D -- trop élevé --> G[Repenser, reporter, abandonner]
    H[6.1.4 : impact individus, société] --> C
    E --> I[Registre, suivi, réévaluation à chaque changement]
    F --> I
    I --> B

À retenir

• 6.1.1 : anticiper les risques et prévoir leur traitement. Examiner aussi les opportunités en vérifiant leur cohérence avec la stratégie.

• Opportunités traitées avec le même sérieux : conformité, détection de fraude, transparence, équité

• Risque intégré à toutes les décisions (achats, conception, parties prenantes, marketing), pas cantonné à un fichier Excel

• Vérifier les qualités annoncées du produit. Si le fournisseur promet impartialité et explicabilité, les mesurer et les suivre pendant tout le cycle de vie.

• Chatbot de FAQ -> contrôles légers ; police prédictive, évaluation financière -> plusieurs niveaux de contrôle

Apprécier les risques

• 6.1.2 : processus qui précise qui, quand, outils et méthodes, consignation et partage des résultats

• Questions d'identification : données d'entraînement, décisions prises et pour qui, personnes touchées, transparence, humain dans la boucle

• Faible impact financier possible avec fort impact éthique (outil d'attribution de bourses)

• Réévaluer les risques dès que le système ou son contexte change. Par exemple, après un réentraînement, une mise à jour importante ou un retour utilisateur révélant un problème.

• Registre IA relié à la gestion des risques d'entreprise (cybersécurité, données personnelles, résilience)

Choisir et tester les mesures

• 6.1.3 : chaque décision justifiée, documentée, explicable à un auditeur ou un régulateur

• Tester les mesures ensemble sur le terrain. Un outil d’explication demande des utilisateurs formés ; un contrôle humain demande du temps et des personnes disponibles.

Évaluer les impacts

• 6.1.4 : déclenchée dès qu'un système peut avoir des effets importants (crédit, recrutement, santé, forces de l'ordre, actualité, éducation)

• Axes d'impact : droits fondamentaux, équité et biais, autonomie de décision, effets psychologiques (stress, stigmatisation, confiance)

• Moments : conception, avant mise en production, modification importante

• Participants : juridique, comité d'éthique, parties prenantes, experts métier, développeurs ; avis externes (société civile, régulateurs, chercheurs)

• Transparence : résumés publiés, justifications accessibles, voies de recours ; pas d'obligation de divulguer un modèle propriétaire

• Mise en œuvre : gabarit standard, critères de déclenchement, comité de revue pour fort impact, mise à jour quand le système ou les normes sociales changent

Exemples du cours :

• Réseau social, recommandation : bulles de filtre, désinformation, amplification -> éthique dès la conception, contrôles manuels, tests de biais de placement

• Distribution, prix personnalisés : risque de discrimination ou de préjudice pour les clients vulnérables. Réponses proposées : audits d’équité, plafonds de variation des prix, transparence et suivi d’indicateurs.

• Administration, intervention précoce : risques pour la confidentialité, erreurs de classement et stigmatisation. Réponses proposées : relecture humaine, refonte du système, usage limité au triage interne et surveillance après déploiement.

• Banque, fraude : évasion adversariale : probabilité modérée, impact élevé -> mise à jour continue, red teaming, surveillance de dérive ; revue trimestrielle

• IA générative : contenus faux -> filtres, garde-fous sur les sorties, requêtes à risque limitées

• Télécom, attrition : clients fidèles classés à risque -> sensibilité ajustée, expert humain sur grands comptes, réentraînement sur retours réels, réanalyse à chaque nouveau marché

• Aides sociales : exclusion de populations vulnérables -> débiaisage, consultation publique, revue juridique des paramètres, humain dans la décision finale

• Explicabilité (plan type) : LIME ou SHAP, intégration à l'interface, formation, ateliers de validation, suivi dans feuille de route, backlog produit, tableau de bord conformité

• Recrutement e-commerce : impact : personnes neuroatypiques, parcours non classiques écartés -> associations consultées, modèle adapté, supervision humaine, portail de transparence

• Santé publique, épidémies : données mobiles anonymisées : quartiers stigmatisés, peur, évitement des soins -> communication revue, réunions locales, consultation des représentants

Lien avec l'audit IA

• Critères de risque : « où sont définis vos critères d'acceptation et qui les a validés ? » ; document approuvé

• Processus 6.1.2 : « qui évalue, quand, avec quelle méthode ? » ; procédure, évaluations datées par système

• Registre : « montrez le registre et la dernière revue » ; statut, responsables, dates à jour

• Réévaluation : « le dernier réentraînement a-t-il déclenché une réévaluation ? » ; trace liée au changement

• Traitement 6.1.3 : « pourquoi ces mesures ? comparées à l'annexe A ? » ; plan de traitement, déclaration d'applicabilité, risques résiduels acceptés par la direction

• Efficacité : « comment savez-vous que la mesure fonctionne ? » ; tests de contrôle, indicateurs

• Impact 6.1.4 : « quel système a fait l'objet d'une évaluation d'impact et qui a été consulté ? » rapport d'impact, comptes rendus de consultation, lien avec l'évaluation des risques

• Déjà traité : matrice et registre : ai-governance-fundamentals 03-risques.md ; AI Act et FRIA : 08-cadre-europeen-et-france.md ; appréciation des risques sécurité : dépôt iso-27001 (6.1.2, 6.1.3)

Précisions et points à vérifier

Les points ci-dessous signalent les limites du cours et les vérifications à poursuivre. Les exemples et recommandations du formateur ne sont pas tous des exigences de la norme.

• Déclaration d'applicabilité absente du cours : 6.1.3 exige de comparer les mesures retenues à l'annexe A et de produire une déclaration d'applicabilité justifiant inclusions et exclusions ; texte ISO/IEC 42001:2023, 6.1.3

• Annexe A présentée comme « fortement recommandée » : la comparaison à l'annexe A est une exigence ; seules les mesures sont à retenir selon le besoin. Nombre de mesures (38, objectifs A.2 à A.10) à confirmer

• Options réduire, éviter, transférer, accepter : vocabulaire ISO 31000 et ISO/IEC 23894, pas listé tel quel dans 42001 ; vérifier

• Plan de traitement et risques résiduels : approbation par la direction prévue en 6.1.3 ; non mentionnée explicitement par le cours

• 6.1.1 : vérifier les éléments propres à 42001 non cités (usage prévu et mauvais usage raisonnablement prévisible, critères de risque, rôle de l'organisation)

• 6.1.2 : la norme demande de tenir compte des résultats de 6.1.4 et d'évaluer les conséquences pour l'organisation, les individus et les sociétés ; vérifier formulation

• Transcription : « 6.13 », « 6.14 », « 6.4 » désignent 6.1.3 et 6.1.4

• Lien évaluation planifiée (6.1) et réalisée (8.2, 8.3, 8.4) : vérifier dans le texte

• Méthode d'évaluation d'impact : ISO/IEC 42005:2025 (évaluation d'impact des systèmes d'IA) et annexe A.5 de 42001

• AI Act : analyse d'impact sur les droits fondamentaux (art. 27, certains déployeurs de systèmes à haut risque) et système de gestion des risques (art. 9) ; règlement (UE) 2024/1689

• NIST AI RMF 1.0 (fonctions Map, Measure, Manage) utile en comparaison, non cité

Questions de révision

• Quelles étapes composent l'évaluation des risques en 6.1.2 ? Réponse : Identifier, analyser, évaluer

• Que faire d'un risque jugé acceptable tel quel ? Réponse : Feu vert de la direction avec justification documentée

• Quel catalogue de mesures utiliser pour le traitement ? Réponse : L'annexe A de l'ISO/IEC 42001

• Quand réévaluer un risque IA ? Réponse : À chaque changement : données, réentraînement, mise à jour, contexte, réglementation

• Qu'ajoute l'évaluation d'impact par rapport à l'analyse de risques ? Réponse : La nature et l'ampleur des conséquences sur les personnes et la société

Leçons couvertes

Clause 6.1.1, risques et opportunités ; Clause 6.1.2, évaluation des risques IA ; Clause 6.1.3, traitement des risques IA ; Clause 6.1.4, analyse des impacts de l'IA.