15. L'IA dans les fonctions métier

Section 15 du cours « Pilotez un système d’IA | ISO/IEC 42001 ».

Les risques de l’IA dépendent du métier et du contexte d’utilisation. En industrie, par exemple, une erreur peut avoir des conséquences physiques sur les personnes ou les installations.

Repères de vocabulaire

• SMIA / AIMS : système de management de l’IA.

• IT / OT : informatique de gestion / technologies qui surveillent ou pilotent des installations physiques.

• SCADA : système de supervision et de commande d’installations industrielles.

• HAZOP : méthode d’analyse des dangers et des problèmes d’exploitation.

• SIL : niveau d’intégrité de sécurité utilisé en sécurité fonctionnelle.

Notions

Cybersécurité :

• IA défensive : détection des menaces par reconnaissance de schémas, surveillance temps réel, détection d'anomalies (ML), prédiction à partir de l'historique

• IA comme cible : le système d'IA devient lui-même une surface d'attaque -> le protéger (accès non autorisé, intégrité des données, audits, mises à jour)

• Aide à la décision : recommandations fondées sur les données -> moins d'erreurs humaines

• Limite : excès d'automatisation -> baisse de vigilance ; supervision humaine maintenue

Chaîne d'approvisionnement :

• Visibilité : suivi temps réel de la localisation et de l'état des marchandises

• Prédiction : perturbations anticipées, alertes précoces, planification par scénarios

• Fournisseurs : évaluation de performance et de fiabilité, achats répétitifs automatisés

• Exemples cours : Amazon (stocks, demande, robotique, itinéraires), Walmart (stocks, ventes, logistique), Unilever (achats responsables, empreinte carbone)

• Risques : confidentialité des données, dépendance en cas de panne, équité des décisions

Audit :

• Audit continu : analyse temps réel -> audit permanent au lieu de contrôles ponctuels

• Anomalies, fraude : écarts et motifs inhabituels repérés dans de gros volumes

• Risques : hiérarchisation par impact -> effort d'audit concentré sur les zones à risque

• Rapports : collecte, analyse et rédaction automatisées

• Rôle de l'auditeur : moins de tâches répétitives -> analyse, esprit critique, maîtrise des outils IA

• Mise en œuvre : besoins -> choix des outils -> intégration à l'existant -> évaluation continue

OT et infrastructures critiques :

• OT : Operational Technology : réseaux électriques, contrôle industriel, eau, transport, raffineries, signalisation ferroviaire

• SCADA : Supervisory Control and Data Acquisition ; l'IA peut agir sur sa logique sans actionner elle-même l'équipement -> dans le périmètre quand même

• HAZOP : étude des dangers et de l'opérabilité (transcrit « ASOP »)

• SIL : Safety Integrity Level, niveau d'intégrité de sécurité (sécurité fonctionnelle)

• Human in the loop : opérateur capable de reprendre la main ou de basculer en manuel à tout moment

• Gravité : les conséquences dépendent de l’usage. Une erreur de chatbot peut désinformer ou causer un préjudice ; une erreur de pilotage industriel peut aussi provoquer un accident physique.

Application des clauses en OT selon le cours :

• Clause 4 : périmètre : systèmes OT gérés directement ou indirectement par l'IA ; dépendances IT/OT, infrastructures anciennes, exigences des régulateurs

• Clause 5 : direction reconnaît les risques ; politique : pas d'IA en OT sans validation et évaluation des risques ; responsabilité partagée sécurité, exploitation, cyber, IA

• Clause 6 : risques physiques, vie humaine, environnement, réputation, défaillances en cascade ; superposition avec HAZOP, SIL, plans de réponse aux incidents

• Clause 8 : validation en environnement de test réaliste (cas extrêmes, données inhabituelles, manipulation) ; gestion des changements : versions verrouillées, retour arrière, validation ingénierie et risques

• Suivi : anomalies, incohérences avec les retours physiques, dégradation, alertes en panne ; tableaux de bord partagés avec l'exploitation ; journaux de bout en bout (entrées -> modèle -> système -> actions opérateur)

• Clause 9 : performance sécurité, incidents évités, inspections des autorités, audits internes ; revue de direction avec opérateurs de salle de contrôle et responsables sécurité

• Clause 10 : incident, quasi-incident, constat -> réentraînement, plus de poids à l'humain, nouveaux seuils d'alerte, voire désactivation d'une fonction IA

Cas du cours :

• Énergie : prédiction de pannes de transformateurs (télémétrie SCADA, météo, maintenance) ; faux négatifs -> panne majeure, faux positifs -> coûts ; seuils prudents, secours, validation humaine des prédictions à fort impact, revue mensuelle, journaux conservés

• Eau : dosage chimique ; écarts IA / capteurs -> modèle entraîné sur l'eau d'une autre région ; analyse des causes -> données régionales, nouveaux critères de validation, interdiction de déployer sans simulation régionale, formation des opérateurs

À retenir

• l'IA renforce la sécurité et ouvre de nouvelles vulnérabilités : protéger l'IA elle-même

• qualité des données = condition de fiabilité, en cyber comme en finance

• chaîne d'approvisionnement : gouvernance, plan de risques et suivi continu avant d'en tirer les gains

• L’IA peut aider à surveiller les opérations en continu. L’auditeur conserve la responsabilité du jugement porté sur les résultats.

• résistance au changement chez les auditeurs (peur pour l'emploi) -> formation et cas concrets

• OT : conséquences physiques, donc rigueur de la sécurité fonctionnelle appliquée à l'IA

• l'AIMS en OT s'intègre à l'existant : ISO 27001, ISO 55001 (actifs), IEC 62443 (cyber industrielle)

• documentation pour opérateurs en langage clair, sans jargon IA

• Prévoir et tester la reprise de contrôle par un opérateur. Conserver les traces nécessaires pour comprendre les décisions, notamment en situation d’urgence.

Lien avec l'audit IA

• Contrôle possible : périmètre OT : quels systèmes SCADA / contrôle-commande dépendent d'une sortie IA ? Preuve : déclaration de périmètre, cartographie IT/OT

• Contrôle possible : reprise manuelle : comment l'opérateur reprend-il la main ? Preuve : procédure, compte rendu d'exercice, test de basculement daté

• Contrôle possible : gestion des changements de modèle : Preuve : versions figées, plan de retour arrière, validation signée ingénierie + risques

• Contrôle possible : risques : l'analyse IA est-elle croisée avec HAZOP / SIL ? Preuve : registre de risques avec renvois aux études de sécurité

• Contrôle possible : données d'entraînement représentatives du site ? Preuve : fiche de données, critères de validation (cas de la station d'eau)

• Contrôle possible : sécurité des modèles IA en cyber : Preuve : contrôle d'accès, revue des vulnérabilités du modèle, journal des mises à jour

• Contrôle possible : fournisseurs IA de la chaîne : Preuve : évaluation fournisseurs, clauses

• Déjà traité : risques et RACI : ai-governance-fundamentals 03-risques.md, 05-roles-raci.md ; sécurité de l'information : dépôt iso-27001

Précisions et points à vérifier

Les points ci-dessous signalent les limites du cours et les vérifications à poursuivre. Les exemples et recommandations du formateur ne sont pas tous des exigences de la norme.

• « ISO 20001 » cité avec ISO 27001 pour la conformité de la chaîne : n'existe pas sous ce nom ; probablement ISO/IEC 20000-1 (services IT) ou ISO 28000 (sûreté de la chaîne d'approvisionnement)

• « études ASOP » : lire HAZOP (IEC 61882) ; SIL relève d'IEC 61508 / IEC 61511

• le cours affirme que « ISO 42001 exige » la surveillance des retours physiques, alertes, etc. : la norme demande surveillance et mesure (clause 9.1, annexe A.6.2.6) sans détail propre à l'OT ; ces points sont des bonnes pratiques, pas des exigences littérales

• « ISO 42001 recommande d'intégrer » sécurité fonctionnelle et fiabilité : formulation à vérifier dans ISO/IEC 42001:2023 (annexe B, annexe D sur l'usage par secteur)

• infrastructures critiques : composants de sécurité dans la gestion de l'eau, du gaz, de l'électricité, du trafic routier = IA à haut risque (AI Act, règlement (UE) 2024/1689, annexe III, point 2) ; non mentionné par le cours

• opérateurs d'énergie, eau, transport = entités essentielles NIS2 (directive (UE) 2022/2555) : obligations cyber et notification d'incidents à articuler avec l'AIMS ; non mentionné

• cybersécurité OT : IEC 62443 cité sans détail (zones, conduits, niveaux de sécurité)

• exemples Amazon, Walmart, Unilever, « grand cabinet financier » : non sourcés, illustratifs

• blockchain présentée comme avenir de l'audit : affirmation du cours, non étayée

Questions de révision

• pourquoi un système d'IA en cybersécurité est-il aussi un risque ? Réponse : il devient une cible (accès, intégrité des données, vulnérabilités propres).

• que change l'IA dans la périodicité de l'audit ? Réponse : analyse temps réel, donc audit continu au lieu de contrôles ponctuels.

• une IA qui ne manipule pas l'équipement mais influence le SCADA est-elle dans le périmètre ? Réponse : oui, gestion indirecte = dans le périmètre (clause 4).

• avec quelles études de sécurité croiser l'analyse de risques IA en OT ? Réponse : HAZOP, analyses SIL, plans de réponse aux incidents.

• cause de l'écart dans le cas de la station d'eau ? Réponse : modèle entraîné sur des données d'une autre région, composition d'eau différente.

Leçons couvertes

IA et fonction cybersécurité ; IA et fonction chaîne d'approvisionnement ; IA et fonction d'audit ; IA dans l'OT et les infrastructures critiques.