Modèle 7 : objectifs IA et indicateurs de surveillance
Couvre : clause 6.2 (objectifs IA et planification), 9.1 (surveillance, mesure, analyse, évaluation), A.6.1.2 et A.9.3 (objectifs de développement et d'utilisation responsables). Documents obligatoires : les objectifs (6.2) et les résultats de surveillance (9.1). La norme n'impose ni un fichier par exigence ni ces intitulés : objectifs et indicateurs peuvent vivre dans le tableau de bord du comité IA.
Ce que 6.2 demande pour chaque objectif :
cohérent avec la politique IA (modèle 2, principes)
mesurable lorsque c'est réalisable
exigences tient compte des exigences applicables
surveillé indicateur ou point de contrôle désigné
communiqué à qui, par quel canal
mis à jour lors des revues
planification quoi, ressources, responsable, échéance, évaluation des résultats
Ce que 9.1 demande de déterminer :
quoi ce qui est surveillé et mesuré
méthode comment, pour obtenir des résultats valides
quand fréquence de mesure
analyse quand les résultats sont analysés et évalués, et par qui
Un objectif sans valeur de départ ne se pilote pas : mesurer d'abord, fixer la cible ensuite.
Modèle vide
Version n°, date, approuvé par (direction), prochaine revue
Objectif
ID, intitulé O1, phrase courte
Politique principe de la politique servi
Mesure indicateur (renvoi I1...) ; départ ; cible ; date de la mesure de départ
Quoi actions prévues
Ressources personnes, jours, budget
Responsable fonction
Échéance date
Évaluation comment et quand le résultat est jugé atteint ou non
Communiqué à instances, canal
Indicateur
ID, intitulé I1, ce qui est mesuré
Méthode calcul exact, périmètre, exclusions
Source journal, outil, registre
Départ, cible valeur, date ; seuil d'alerte si utile
Référence performance du même processus sans IA, quand elle existe
Fréquence mesure
Analyse qui analyse, quand, devant quelle instance
Lien objectif, risque (modèle 3), mesure (modèle 6)
Indicateur de classification : score F1 = 2 x précision x rappel / (précision + rappel). Précision 0,8 et rappel 0,6 -> F1 0,686 ; seuil fixé à 0,65 -> conforme. Donner aussi précision et rappel : un même F1 cache des compromis différents (A.6.2.6).
Exemple rempli : mutuelle fictive
Version 1.0, octobre 2026, approuvé par le directeur général, revue avril 2027
Instances comité IA trimestriel (analyse) ; revue de direction annuelle (9.3)
Communication intranet (objectifs et résultats), CSE (O2, O1), comité IA (tous)
Objectifs :
O1 Ramener l'écart de traitement des dossiers ruraux sous 5 %
Politique équité
Mesure I1 ; départ +18 % (test 2025) ; cible <= 5 %
Quoi test par agence avant chaque version, rééquilibrage des données (R1)
Ressources équipe data, 15 jours ; jeu de test par agence
Responsable responsable data ; échéance mars 2027
Évaluation I1 sous 5 % trois mois de suite ; vérifié par le comité IA
O2 Sensibiliser tout le personnel à l'usage de l'IA
Politique données de santé ; AI Act art. 4 (maîtrise de l'IA)
Mesure I6 ; départ 0 % (octobre 2026) ; cible 100 % des salariés
Quoi module de 45 min (politique, outils autorisés, interdits, signalement) ;
formation approfondie pour l'équipe data et les gestionnaires de S3
Ressources RH 4 jours, référent IA 3 jours, plateforme de formation existante
Responsable DRH ; échéance juin 2027
Évaluation I6 à 100 % ; I5 en baisse sur 6 mois ; aucun incident R5
O3 Fiabiliser les réponses du chatbot
Politique transparence ; R2
Mesure I3 ; départ 88 % et 3 garanties inventées sur 200 (octobre 2026) ;
cible >= 95 % et 0 garantie inventée
Quoi réponses limitées aux documents de garantie, lien vers la source,
jeu de 200 questions rejoué (M.2)
Ressources équipe data 10 jours, 2 conseillers 5 jours (jeu de questions)
Responsable directeur relation adhérents ; échéance janvier 2027
Évaluation I3 à la cible deux mois de suite
O4 Informer l'adhérent et lui offrir un recours humain
Politique transparence ; décision humaine
Mesure systèmes au contact des adhérents avec mention IA et recours affichés ;
départ 0 sur 2 (S1, S2) ; cible 2 sur 2
Quoi mention IA sur S2 (art. 50), courrier type et examen accéléré sur S1
Ressources relation adhérents 2 jours, prestations 2 jours
Responsable directeur relation adhérents ; échéance janvier 2027
Évaluation contrôle trimestriel des parcours (captures, courriers) ; I4
O5 Conserver entrées et sorties des trois systèmes 12 mois
Politique traçabilité ; AI Act art. 19 et 26 § 6 si S1 est qualifié haut risque ; voir modèle 8
Mesure systèmes conformes ; départ 0 sur 3 (sorties non conservées) ; cible 3 sur 3
Quoi journalisation des sorties et des interventions humaines, purge à 12 mois
Ressources équipe data 8 jours, stockage dans l'hébergement existant
Responsable responsable data ; échéance septembre 2027
Évaluation audit interne à blanc : extraction d'un dossier de 11 mois sur chaque système
Indicateurs :
I1 Écart d'orientation rural / urbain (S1)
Méthode part des dossiers orientés en approfondi, agences rurales moins agences
urbaines, rapportée au taux urbain ; dossiers de soins seulement
Source journaux de S1 ; départ +18 % ; cible <= 5 %
Fréquence mensuelle ; analyse : responsable data, comité IA trimestriel ; O1, R1
I2 Taux de validation sans modification des alertes fraude (S3)
Méthode alertes clôturées sans changement de la proposition / alertes clôturées
Source outil de gestion de la fraude ; départ 93 % (septembre 2026)
Cible <= 95 % ; au-delà, alerte : examen réel à vérifier par échantillon
Fréquence mensuelle ; analyse : responsable fraude, comité IA ; R6, A.9.4
I3 Exactitude du chatbot (S2)
Méthode 200 questions de référence, réponse jugée par 2 conseillers ;
compte séparé des garanties inventées
Source campagne de test ; départ 88 % ; cible >= 95 %, 0 garantie inventée
Fréquence mensuelle et à chaque changement de version du LLM ; analyse :
directeur relation adhérents ; O3, R2, R4, M.2
I4 Réclamations liées à l'IA
Méthode réclamations qualifiées « IA » par le service client, par trimestre ;
part traitée sous 30 jours
Source outil de réclamations ; départ 14 au 3e trimestre 2026
Cible moins de 10 par trimestre ; 100 % sous 30 jours
Fréquence trimestrielle ; analyse : responsable service client, comité IA ; A.8.3
I5 Tentatives d'accès bloquées vers des outils IA non autorisés
Méthode requêtes bloquées au proxy, par mois et par service, après mise en place
de M.1 ; chaque cas de données de santé ouvre un incident
Source journaux du proxy ; départ non mesuré (règle à créer, décembre 2026)
Cible baisse continue sur 6 mois ; 0 envoi de données de santé
Fréquence mensuelle ; analyse : RSSI, comité IA ; O2, R5, M.1
I6 Part des salariés sensibilisés
Méthode salariés ayant validé le module / effectif présent (1 200)
Source plateforme de formation ; départ 0 % ; cible 100 % en juin 2027
Fréquence mensuelle ; analyse : DRH, comité IA ; O2, A.4.6
I7 Dérive des scores (S1, S3)
Méthode indice de stabilité de population (PSI) des scores du mois face au jeu
de validation de la version en production
Source journaux de S1 et S3 ; départ non mesuré ; cible < 0,2 ; alerte >= 0,25
Fréquence mensuelle ; analyse : équipe data ; A.6.2.6
I8 Maturité moyenne des mesures de l'annexe A
Méthode moyenne des niveaux 0 à 5 du diagnostic sur les mesures incluses (modèle 6)
Source diagnostic ; départ 1,5 (octobre 2026) ; cible 3 (octobre 2027)
Fréquence semestrielle ; analyse : référent IA, revue de direction (9.3)