05. Menaces propres à l'IA

Section 5 du cours « Pilotez un système d’IA | ISO/IEC 42001 ».

Une IA peut produire des résultats biaisés, mal fonctionner sur des données nouvelles ou subir une attaque. Cette fiche distingue les principales menaces et les moyens de les limiter.

Repères de vocabulaire

• ML : apprentissage automatique.

• Inférence : utilisation d’un modèle entraîné pour produire un résultat.

• SMPC : calcul multipartite sécurisé : plusieurs parties calculent ensemble sans partager toutes leurs données.

• V&V : vérification et validation.

• AIPD / DPIA : analyse d’impact relative à la protection des données, désignée en anglais par DPIA.

• IDS : système de détection d’intrusion.

• STEM : sciences, technologie, ingénierie et mathématiques.

Notions

• Automatisation : tâches répétitives -> machines ; postes peu qualifiés exposés, nouveaux métiers (data, IA, cybersécurité)

• Reconversion : reskilling, formation continue, partenariats écoles, filets sociaux (chômage, aides à la formation), compétences humaines conservées

• Biais algorithmique : résultats qui favorisent systématiquement certains groupes ; source principale : données d'entraînement (préjugés, inégalités)

• Surapprentissage : le modèle apprend aussi les particularités et le bruit des données d’entraînement. Il réussit sur ces données mais se trompe davantage sur des cas nouveaux. Le terme anglais est overfitting.

• Sous-apprentissage : underfitting : modèle trop simple, rate les vrais schémas

• Généralisation : capacité à traiter correctement des données jamais vues

• Régularisation : pénalité sur la complexité du modèle

• Validation croisée : test sur plusieurs sous-ensembles des données

• Élagage : pruning : retrait des éléments superflus de l'architecture

• Augmentation : data augmentation : variété des exemples d'entraînement accrue

• Méthodes d'ensemble : plusieurs modèles combinés -> prédiction plus robuste

• Transfert : transfer learning : modèle pré-entraîné adapté à la tâche

• Fiabilité : fonctionnement constant et précis ; tests, validation, transparence

• Empoisonnement : data poisoning : données malveillantes injectées à l'entraînement

• Empoisonnement ciblé : vise un résultat précis

• Empoisonnement indiscriminé : dégrade la performance globale

• Empoisonnement à étiquette correcte (clean label) : échantillons modifiés, étiquette correcte conservée -> discret

• Inversion de modèle : reconstitution des données d'entrée à partir des sorties

• Inversion directe : à partir des seules sorties

• Inversion indirecte : sorties + données auxiliaires

• Vol de modèle : extraction : reproduction du modèle par requêtes massives

• Extraction en boîte noire : requêtes seules, pas d'accès interne

• Exfiltration en boîte blanche : accès à l’architecture ou aux paramètres. Distinguer cet accès de l’extraction par requêtes.

• Confidentialité différentielle : ajout contrôlé de bruit pendant l’apprentissage ou dans les résultats, avec une garantie mesurable de protection des informations individuelles.

• Calcul multipartite : SMPC : données réparties, aucune partie ne reconstitue tout

• Exemple adversarial : entrée modifiée de façon imperceptible -> sortie fausse

• Évasion : attaque à l'inférence (en production)

• Entraînement advers. : exemples adversariaux ajoutés à l'apprentissage ; coût calcul accru

• Distillation défensive : modèle entraîné sur étiquettes adoucies (soft labels) -> moins sensible aux perturbations ; à combiner avec d'autres défenses

• Hacking éthique : red team, recherche de failles avant les attaquants

À retenir

• Automatisation : gains (productivité, coûts) contre pertes d'emploi court terme, inégalités de revenus.

• Exemples sectoriels du cours : usine (robotique), santé (diagnostic), commerce (chatbots, stocks), finance (fraude, trading).

• Leviers emploi : plan de compétences anticipé, formation continue, STEM, politiques publiques, partenariat public privé.

• Biais : détection par analyse des jeux de données, tests et indicateurs d'équité, audits.

• Réduction des biais : données diversifiées, rééquilibrage, ajustement de l'algorithme, équipe diversifiée, surveillance continue.

• Cas reconnaissance faciale : précision inégale selon les groupes démographiques -> erreurs d'identification, discrimination.

• Cas prévision financière : modèle surajusté -> prédictions fausses, pertes.

• Anti surapprentissage : régularisation, validation croisée, augmentation, élagage, simplification, plus de données.

• Cas véhicule autonome : biais et surapprentissage -> risque passagers et piétons ; parade : fusion de capteurs, temps réel.

• Confiance : transparence, explicabilité, protection des données, éthique, implication continue des parties prenantes.

• Distinguer les objectifs des attaques : l’empoisonnement altère l’apprentissage ; l’inversion cherche à retrouver des informations sur les données ; le vol cherche à copier le modèle.

• Empoisonnement : parade = validation des données (détection d'anomalies, tests statistiques, croisement des sources).

• Inversion : parade = confidentialité différentielle, SMPC, limitation de l'exposition des sorties.

• Vol de modèle : limiter la fréquence des requêtes et surveiller les usages anormaux. Protéger aussi les paramètres contre les accès non autorisés.

• Cas cités : capteurs de véhicule manipulés, inversion sur modèle de santé, extraction d'un modèle commercial par requêtes.

• Gouvernance : protocoles de sécurité, politiques, formation, audits réguliers, partage entre organisations (finance).

• Adversarial : évasion à l'usage, empoisonnement à l'entraînement ; baisse de précision, erreurs de classification.

• Cas adversariaux : panneaux routiers modifiés, images IRM ou scanner altérées, algorithmes de trading manipulés, IDS contourné.

• Défense continue : détection d'anomalies, audits des modèles, évaluation en conditions adverses, mises à jour.

• Culture sécurité : formation développeurs et utilisateurs, exemple de la direction, contrôle d'accès, correctifs.

• IA pour la défense : détection temps réel, mais faux positifs et faux négatifs à surveiller.

Lien avec l'audit IA

• Menace -> mesure annexe A (ISO/IEC 42001:2023, numérotation à confirmer sur le texte)

• Biais, équité : A.5 évaluation d'impact ; A.7.4 qualité des données ; A.6.2.4 V&V

• Surapprentissage : A.6.2.4 vérification et validation ; A.6.2.6 exploitation et surveillance

• Empoisonnement : A.7.5 provenance ; A.7.6 préparation ; A.7.3 acquisition

• Inversion, vol : A.6.2.6 surveillance ; A.4 ressources (outils, calcul) ; mesures ISO 27001 (8.3 accès, 8.24 cryptographie, 8.16 surveillance)

• Emploi : A.5.4 / A.5.5 impact sur individus et société ; clause 7.2 compétences

• Contrôle possible : jeux de données : « d'où viennent-ils, qui peut les modifier ? » Preuve : registre de provenance, droits d'accès, empreintes (hash)

• Contrôle possible : équité : « quels indicateurs, quels seuils, quelle fréquence ? » Preuve : rapport de tests d'équité par groupe, décision si écart

• Contrôle possible : généralisation : « jeu de test séparé, validation croisée ? » Preuve : protocole de validation, écart entraînement / test documenté

• Contrôle possible : API de modèle exposée : « quotas, journalisation, alertes ? » Preuve : configuration rate limiting, journaux de requêtes, alertes

• Contrôle possible : robustesse : « tests adversariaux ou red team avant mise en prod ? » Preuve : rapport de red team, plan de traitement des failles

• Contrôle possible : données personnelles en entraînement : « risque d'inversion évalué ? » Preuve : AIPD/DPIA, choix DP ou limitation des sorties argumenté

• Déjà traité : risques IA : ai-governance-fundamentals docs/03-risques.md

• Déjà traité : contrôle d'accès, chiffrement, journalisation : dépôt iso-27001

Précisions et points à vérifier

Les points ci-dessous signalent les limites du cours et les vérifications à poursuivre. Les exemples et recommandations du formateur ne sont pas tous des exigences de la norme.

• Le cours range inversion et vol de modèle parmi les attaques « sur l'intégrité » : ce sont des atteintes à la confidentialité (MITRE ATLAS : AML.T0024 exfiltration via inférence ; NIST AI 100-2e2025, taxonomie).

• Cas « data poisoning » sur véhicules autonomes : manipulation des capteurs en fonctionnement = évasion ou spoofing ; l'empoisonnement vise l'entraînement (NIST AI 100-2).

• Clean label : transcrit « claim label » ; définition du cours approximative, l'étiquette reste correcte et c'est l'échantillon qui porte la charge (NIST AI 100-2).

• Distillation défensive présentée comme efficace : contournée dès 2016 (Carlini et Wagner) ; ne pas la citer seule comme mesure.

• Confidentialité différentielle « bruit ajouté aux données » : simplification ; bruit sur l'entraînement (DP-SGD) ou sur les sorties, garantie mesurée par epsilon.

• Vol « boîte blanche » : accès aux paramètres = exfiltration ; l'extraction par requêtes relève de la boîte noire (MITRE ATLAS AML.T0024.002).

• Entraînement adversarial « généralise mieux » : compromis robustesse / précision documenté, robustesse limitée aux attaques vues.

• Reconnaissance faciale : « plusieurs études » sans source ; référence courante NIST FRVT 2019 (NISTIR 8280) ; usages interdits ou haut risque, AI Act art. 5 et annexe III point 1.

• Emploi : aucun chiffre donné ; impact sur les travailleurs couvert par ISO/IEC 42001 A.5 et par l'AI Act (annexe III point 4, emploi = haut risque).

• Prompt injection et LLM absents de cette section : voir OWASP Top 10 LLM 2025 (LLM01, LLM04 empoisonnement).

Questions de révision

• différence entre évasion et empoisonnement ? Réponse : évasion à l'inférence, empoisonnement à l'entraînement.

• pourquoi une attaque clean label est-elle difficile à repérer ? Réponse : étiquette correcte, modification discrète de l'échantillon.

• trois parades au vol de modèle ? Réponse : rate limiting, surveillance des requêtes, chiffrement des paramètres.

• deux techniques contre le surapprentissage ? Réponse : régularisation, validation croisée (aussi augmentation, élagage).

• mesure de l'annexe A pour la traçabilité des données ? Réponse : A.7.5, provenance des données.

Leçons couvertes

Automatisation et suppression d'emplois ; Biais, surapprentissage et fiabilité des modèles ; Attaques contre l'intégrité des données des modèles IA ; Attaques adversariales contre les systèmes d'IA.