Article sourcé
Automatisation, IA et contrôle humain : décider sans perdre la main
Cartographier un processus, choisir ce qui peut être automatisé, organiser la supervision et conserver une reprise manuelle vérifiable.
Réponse courte
Automatisez seulement une tâche dont l'entrée, la règle, le résultat, l'échec et la reprise sont observables. Une IA peut assister une équipe ; elle ne transforme ni une probabilité en fait ni une validation de façade en contrôle humain effectif.
Cette méthode aide à cadrer un processus et sa supervision. Elle ne constitue ni une qualification juridique du système, ni une analyse d'impact RGPD, ni une certification de conformité au règlement européen sur l'IA. Les obligations du règlement européen diffèrent selon le rôle et la classification du système.
1. Partir du problème opérationnel, pas de l'outil
Écrivez d'abord ce qui doit mieux fonctionner : réduire les doubles saisies, détecter une pièce manquante, préparer une proposition de réponse, rapprocher deux statuts ou rappeler une échéance. Une phrase qui commence par « installer une IA » ne décrit ni le besoin, ni la personne aidée, ni le résultat vérifiable.
Définissez une situation de départ mesurable : volume, délai, erreurs, reprises, temps d'attente et conséquences. Une automatisation n'est utile que si elle améliore ce point sans déplacer silencieusement le travail vers la vérification, le support ou les personnes concernées.
2. Cartographier le processus réel, y compris les bricolages
Suivez un dossier concret depuis son déclencheur jusqu'à sa clôture. Notez les sources, copies, tableurs, e-mails, appels, décisions, exceptions et preuves conservées. Le chemin officiel ne suffit pas : une équipe compense souvent un champ absent, une donnée tardive ou un outil indisponible par une vérification informelle.
Pour chaque étape, identifiez qui sait reconnaître une erreur et qui peut la corriger. Une tâche apparemment simple peut cacher une décision métier : rapprocher deux noms, interpréter une annulation, décider qu'un accès peut être ouvert ou qu'une mission est réellement terminée.
3. Distinguer règle, workflow, optimisation et IA
Une règle déterministe applique une condition explicite. Un workflow enchaîne des états et des validations. Un moteur d'optimisation cherche une affectation selon des contraintes. Un système d'IA peut classer, extraire, résumer, prévoir ou générer selon un modèle statistique. Les quatre familles ne donnent pas la même preuve et ne se supervisent pas de la même manière.
Employez la solution la moins complexe qui ferme le besoin. Une liste de contrôle suffit parfois là où un modèle ajouterait incertitude, données, dépendance et coût de validation. Inversement, une simple règle ne doit pas masquer une décision qui exige du contexte et un jugement humain.
| Besoin | Outil proportionné | Preuve attendue | Risque principal |
|---|---|---|---|
| Condition stable et explicite | Règle déterministe | Entrée, version de règle, sortie | Règle devenue obsolète |
| Étapes et responsabilités | Workflow | État, auteur, horodatage, transition | Blocage ou contournement |
| Planning sous contraintes | Optimisation | Contraintes, score, solution retenue | Contrainte métier oubliée |
| Classer ou extraire | Modèle statistique | Source, score, abstention et correction | Faux positif ou dérive |
| Rédiger une proposition | IA générative | Sources, version, relecture et texte envoyé | Invention ou divulgation |
4. Évaluer l'impact avant le taux d'automatisation
Classez la tâche selon la gravité d'une erreur, sa détectabilité, sa réversibilité, sa fréquence et le temps disponible pour agir. Une faute facilement visible dans un brouillon n'a pas le même impact qu'un refus d'accès, un paiement, une mise en sécurité ou une information adressée à une personne vulnérable.
Le risque dépend aussi de l'accumulation. Une erreur rare appliquée automatiquement à des milliers de dossiers peut dépasser une erreur humaine fréquente mais limitée. À l'inverse, une validation manuelle systématique peut devenir mécanique si l'opérateur n'a ni temps ni information pour contester.
| Situation | Automatisation acceptable | Contrôle humain |
|---|---|---|
| Tâche réversible et déterministe | Exécution automatique journalisée | Revue par échantillon et alerte |
| Suggestion sans effet externe | Préremplissage ou classement | Correction simple avant usage |
| Message ou action vers un tiers | Préparation seulement | Validation informée avant envoi |
| Accès, sécurité, paiement ou litige | Aide à l'instruction | Décision par rôle habilité |
| Droit ou effet important sur une personne | Analyse juridique et technique préalable | Voie d'intervention et de contestation effective |
5. Réduire les données à ce que la tâche exige
La minimisation consiste à relier chaque champ à une finalité. Un modèle chargé de classer une demande par thème n'a pas besoin de recevoir l'intégralité du dossier, des pièces d'identité ou de l'historique d'une personne. Préférez un identifiant pseudonymisé, un extrait borné ou une donnée dérivée lorsque cela suffit.
Documentez origine, qualité, durée de conservation, destinataires, sous-traitants, pays de traitement et usages secondaires. Les prompts, réponses, exemples de test, journaux de débogage et captures d'écran peuvent contenir les mêmes informations sensibles que l'application principale. Ils suivent donc des règles de sécurité et de purge, pas un statut de brouillon sans contrôle.
6. Construire une référence avant de mesurer le gain
Constituez un jeu de cas représentatifs à partir de situations autorisées et expurgées. Il doit inclure cas ordinaires, exceptions, données manquantes, contradictions, langues, formats inattendus et cas où aucune décision correcte n'est possible. La bonne réponse peut être « je ne sais pas » ou « contrôle requis ».
Faites qualifier cette référence par les personnes qui connaissent le processus. Séparez le jeu qui aide à concevoir du jeu qui sert à accepter. Sans cette séparation, l'équipe risque d'évaluer le système sur les cas qu'elle a déjà utilisés pour le régler.
7. Fixer des critères d'acceptation compréhensibles
Ne réduisez pas l'évaluation à une moyenne. Mesurez les erreurs par catégorie et par impact : document mal classé, information inventée, alerte manquée, mauvais destinataire, ordre incorrect ou refus d'abstention. Ajoutez le temps de correction, le nombre de dossiers repris et la charge de supervision.
Un taux élevé peut cacher une défaillance critique concentrée sur une minorité de cas. Définissez donc des seuils de refus : aucune action sensible sur donnée absente, aucun envoi sans validation, aucun droit étendu à partir d'une suggestion et aucun résultat présenté comme certain lorsque le modèle signale une incertitude.
8. Concevoir un contrôle humain qui peut réellement changer l'issue
Une personne ne supervise pas utilement un système si elle voit seulement un bouton « valider ». Elle doit connaître l'objectif, les données pertinentes, les limites, la proposition, le niveau d'incertitude et les conséquences de chaque choix. Elle doit aussi disposer du temps, de l'autorité et de l'outil nécessaires pour refuser, corriger, différer ou transférer.
Attribuez les rôles : propriétaire du processus, responsable des données, opérateur, expert de recours, sécurité et personne autorisée à arrêter le service. Précisez les horaires, délais et relais. Un contrôle humain annoncé mais indisponible le soir, le week-end ou pendant une panne ne constitue pas un mode dégradé.
9. Identifier les décisions qui affectent une personne
Lorsqu'un traitement s'appuie sur des données personnelles et produit un effet important, consultez le RGPD, les recommandations de la CNIL et, si nécessaire, un professionnel compétent. Le guide ne détermine pas à lui seul si un traitement relève d'une décision entièrement automatisée ou d'une analyse d'impact.
Dans tous les cas, rendez la décision compréhensible à l'équipe : finalité, données utilisées, règles principales, limites et voie de contestation. Une intervention humaine ne doit pas être symbolique. Si la personne habilitée suit systématiquement la sortie sans pouvoir l'examiner, l'organisation n'a pas réellement repris la décision.
10. Faire de l'abstention un résultat normal
Un système robuste sait ne pas agir. Définissez les motifs d'abstention : source manquante, identité ambiguë, règle en conflit, score insuffisant, événement hors période, version inconnue ou indisponibilité d'un service. L'abstention crée un dossier de contrôle ; elle ne doit pas produire une valeur par défaut qui ressemble à une conclusion.
Affichez séparément fait, calcul, hypothèse et suggestion. Par exemple, « date reçue » est un fait, « échéance calculée » dépend d'une règle, « dossier probablement urgent » est une estimation et « envoyer ce message » reste une proposition. Cette séparation facilite la correction et évite qu'un résumé plausible soit pris pour une preuve.
11. Journaliser pour comprendre, pas pour tout conserver
Conservez les éléments nécessaires à la reprise : identifiant du dossier, origine, version du workflow ou du modèle, entrée dérivée utile, sortie, validation, action finale et erreur technique. Évitez de dupliquer dans les journaux les pièces, messages privés ou secrets déjà protégés ailleurs.
Définissez qui peut lire les traces, combien de temps elles sont utiles et comment elles sont purgées. Un journal doit permettre de répondre à trois questions : que s'est-il passé, pourquoi l'action a-t-elle été autorisée, et comment corriger le dossier ? Une masse de logs sans responsabilité ni recherche praticable ne fournit pas cette preuve.
12. Traiter l'automatisation comme une nouvelle surface d'attaque
Inventoriez comptes de service, clés, connecteurs, fichiers importés, webhooks, interfaces d'administration et fournisseurs. Accordez le droit minimal : lire une source ne justifie pas d'écrire dans le référentiel ; rédiger un brouillon ne justifie pas de l'envoyer ; proposer une affectation ne justifie pas de modifier les rôles.
Testez les entrées hostiles ou accidentelles : instruction cachée dans un document, fichier trop volumineux, formule de tableur, lien externe, réponse tronquée, doublon et rejeu. Isolez les contenus non fiables des instructions du système. Aucun texte reçu d'un utilisateur ou d'un tiers ne doit pouvoir élargir les droits du processus.
13. Préparer la reprise manuelle avant l'activation
Écrivez la procédure quand le fournisseur, le réseau, le modèle ou une source est indisponible. Indiquez l'ordre des dossiers, la copie minimale disponible, les actions interdites, la personne de permanence et la manière de rapprocher ensuite le travail manuel avec le système revenu en ligne.
Le mode dégradé ne doit pas dépendre de la même panne. Conservez, selon le besoin et les droits, un export récent, une liste d'actions en attente et les coordonnées utiles. Fixez aussi un bouton d'arrêt ou une configuration fail-closed pour empêcher une action sensible tout en laissant les autres parties fonctionner.
14. Recetter les échecs autant que le scénario idéal
Testez un cas nominal, puis une source absente, une donnée contradictoire, une annulation tardive, un doublon, un ordre inversé, une permission révoquée, un délai dépassé, une réponse vide, un changement de version et une coupure réseau. Vérifiez résultat, trace, alerte, reprise et absence d'action interdite.
La recette doit être rejouable avec des données fictives ou autorisées. Elle ne doit ni appeler un destinataire réel, ni ouvrir un accès, ni déclencher un paiement. Pour une fonction sensible, faites observer la procédure par la personne qui assurera réellement la reprise.
- Décrire le résultat attendu et l'action interdite.
- Préparer les cas ordinaires et les exceptions.
- Exécuter avec les droits minimaux.
- Comparer sortie et référence qualifiée.
- Forcer une indisponibilité ou une réponse invalide.
- Appliquer la reprise manuelle.
- Rapprocher les actions après rétablissement.
- Accepter, limiter ou retirer le dispositif sur preuve.
15. Déployer par paliers réversibles
Commencez en observation : le système calcule ou propose sans agir. Passez ensuite à une assistance limitée sur un périmètre, un rôle et une période connus. L'exécution automatique ne vient qu'après mesure des erreurs, des abstentions, du temps de supervision et de la reprise.
Conservez la version précédente, le moyen de désactiver la fonction et les données nécessaires au rapprochement. Un changement de modèle, de prompt, de source ou de règle peut modifier le comportement ; il suit donc une version, une recette ciblée et un déploiement contrôlé plutôt qu'une mise à jour invisible.
16. Surveiller la dérive du processus et pas seulement le service
Un système peut rester disponible tout en devenant faux : formulaire modifié, nouveau statut, vocabulaire différent, saison atypique ou équipe qui contourne le workflow. Suivez les refus, corrections, exceptions, dossiers réouverts, écarts par catégorie et temps réellement économisé.
Déclenchez une révision lorsqu'une source change, qu'un seuil est dépassé, qu'un incident survient ou qu'une population nouvelle entre dans le périmètre. Ne republiez pas automatiquement une règle ou une information modifiée sans validation humaine lorsqu'elle affecte le résultat métier.
17. Traiter l'incident jusqu'à la correction des dossiers
L'arrêt technique ne suffit pas. Identifiez la période concernée, les versions, dossiers, actions externes et personnes potentiellement affectées. Bloquez les suites automatiques, restaurez une version sûre si possible, puis examinez les dossiers selon leur impact.
Documentez cause, détection, décision, correction, notification éventuelle et prévention. Une mauvaise suggestion non utilisée n'a pas les mêmes conséquences qu'une action envoyée ou un droit modifié. La réponse doit rester proportionnée et respecter les obligations applicables sans prétendre que ce guide remplace une analyse juridique ou de sécurité.
18. Acheter une capacité sans perdre la réversibilité
Demandez quelles données sont reçues, réutilisées, conservées et exportables ; où le service opère ; comment les versions changent ; quels journaux sont fournis ; quels sous-traitants interviennent ; et comment supprimer comptes, données et clés. Faites démontrer le mode dégradé et la sortie, pas seulement le scénario spectaculaire.
Mesurez le coût complet : abonnement, intégration, préparation des données, supervision, corrections, incidents, export et remplacement. Une fonction peu chère mais impossible à contrôler ou quitter peut coûter davantage qu'un workflow simple maîtrisé.
19. Six cas concrets et leurs frontières
Les exemples suivants sont des patrons de décision, pas des capacités annoncées pour une application DOHM. Ils montrent comment placer la frontière entre automatisation, suggestion et décision humaine.
| Cas | Automatisable | Contrôle requis | Repli |
|---|---|---|---|
| Rappel d'une échéance connue | Calcul et notification interne | Vérifier la source de la date | Liste d'échéances exportée |
| Classement d'un message | Proposer une catégorie | Corriger l'ambiguïté | File non classée |
| Résumé d'un dossier | Préparer un brouillon sourcé | Relire avant décision | Lecture des pièces originales |
| Affectation d'une mission | Proposer selon contraintes | Valider compétence et conflit | Tableau manuel priorisé |
| Ouverture d'un accès | Préparer un droit borné | Autoriser selon identité et état | Secours physique ou humain |
| Litige ou paiement | Rassembler faits et écarts | Décision par personne habilitée | Dossier de preuve et procédure métier |
20. Checklist avant de mettre une automatisation en service
Une réponse négative à un point critique maintient la fonction en observation, en assistance ou désactivée. La bonne conclusion peut être de simplifier le processus avant de l'automatiser.
- Le problème utilisateur et la mesure de départ sont écrits.
- Chaque source et propriétaire de donnée sont identifiés.
- Règle, workflow, optimisation et IA ne sont pas confondus.
- Les cas à fort impact et les actions interdites sont listés.
- Les données sont minimales et leur conservation bornée.
- Un jeu de référence indépendant couvre cas ordinaires et exceptions.
- Le système peut s'abstenir sans fabriquer de résultat.
- La personne de contrôle dispose d'information, temps, autorité et recours.
- Les droits techniques sont minimaux et révocables.
- Les traces permettent reprise et correction sans recopier le dossier complet.
- Panne, doublon, ordre inversé et version incompatible ont été testés.
- Le mode manuel fonctionne sans dépendre du même service.
- Déploiement, arrêt, rollback, export et sortie fournisseur sont documentés.
- Les effets réels sont revus après usage, pas seulement la disponibilité.
Sources
- Se poser les bonnes questions avant d'utiliser un système d'intelligence artificielle · CNIL · vérifié le 2026-09-16
- Guide d'auto-évaluation pour les systèmes d'intelligence artificielle · CNIL · vérifié le 2026-07-22
- Garantir la sécurité du développement d'un système d'intelligence artificielle · CNIL · vérifié le 2026-09-16
- Minimiser les données collectées · CNIL · vérifié le 2026-07-22
- Guide de la sécurité des données personnelles · CNIL · vérifié le 2026-07-22
- Règlement (UE) 2016/679 relatif à la protection des données personnelles · EUR-Lex · vérifié le 2026-09-16
- Règlement (UE) 2024/1689 sur l'intelligence artificielle — version consolidée · EUR-Lex · vérifié le 2026-09-16
- Méthode EBIOS Risk Manager · ANSSI · vérifié le 2026-09-16
- Recommandations de sécurité pour un système d'intelligence artificielle générative · ANSSI · vérifié le 2026-09-16