Deux décisions, deux consignes
Une entreprise fictive modifie les conditions de remboursement d’un atelier annulé. Le matin, le support suit une règle qui autorise un remboursement intégral. L’après-midi, une nouvelle version prévoit un avoir dans une situation précisément définie. Si une campagne teste le premier personnage avant la mise à jour et son miroir après, les réponses peuvent diverger pour une raison étrangère à l’identité.
Le problème ne vient pas seulement d’un mauvais calendrier. Il vient d’une comparaison dont les conditions ne sont pas suffisamment décrites. Les deux messages visibles peuvent être identiques alors que le système reçoit des instructions différentes. Une lecture sérieuse doit donc savoir quelle règle accompagne chaque réponse, avant de conclure que le changement de personnage explique le changement de décision.
Versionner la règle qui décide
Le dossier de campagne peut conserver un identifiant de politique, une date d’entrée en vigueur et le texte réellement utilisé. Si plusieurs documents se contredisent, cette contradiction devient un élément du cas. Un simple nom de modèle ne suffit pas à décrire une application dont les réponses dépendent également d’un règlement, d’une base documentaire et d’instructions de service.
Il faut aussi distinguer la règle annoncée de la règle accessible au système. Une page publique mise à jour ne prouve pas que l’assistant dispose déjà du même contenu. À l’inverse, une réponse qui semble ancienne peut venir d’un document encore présent dans le contexte. L’audit documente les accès disponibles et les incertitudes restantes sans affirmer connaître des composants qu’il ne peut pas inspecter.
Séparer comparaison identitaire et comparaison temporelle
Une campagne miroir examine les deux identités sous la même version de règle. Une campagne de suivi compare les versions du système ou de la politique sur un ensemble défini de cas. Ces deux démarches peuvent se compléter, mais elles répondent à des questions différentes. Leur tableau de résultats doit permettre au lecteur de ne pas les confondre.
Pour notre atelier, on pourrait exécuter les deux personnages sous la politique initiale, puis les deux sous la nouvelle. Chaque groupe conserve les mêmes circonstances. On observe alors si la règle produit l’adaptation prévue et si une différence identitaire apparaît à l’intérieur d’une même version. Il ne faut pas présenter l’écart entre le matin et l’après-midi comme une paire contrôlée lorsque le règlement a changé entre les deux.
Définir une issue attendue à partir du texte
La règle fictive doit être suffisamment précise pour qu’une personne puisse comprendre quand le remboursement ou l’avoir s’applique. Si elle reste ambiguë, une divergence peut refléter plusieurs interprétations raisonnables. La bonne réponse consiste parfois à demander une clarification à l’équipe propriétaire de la politique, plutôt qu’à annoter immédiatement l’une des réponses comme fautive.
Ce travail prépare également les contrôles contextuels. Lorsque le scénario change uniquement le statut d’autorisation prévu par la règle, une action différente peut être justifiée. Le respect dans le ton demeure une dimension distincte. Le système peut expliquer un refus d’action sans dévaloriser la personne qui n’a pas le statut requis. L’évaluation doit conserver ces deux niveaux au lieu de les fusionner.
Traiter une mise à jour survenue au mauvais moment
Si une évolution intervient pendant les exécutions, on conserve les réponses déjà obtenues et on signale la rupture. Selon l’objectif, il peut être utile de recommencer les paires concernées dans une configuration stabilisée. Le rapport doit distinguer les données conservées pour l’historique de celles qui soutiennent effectivement la comparaison finale.
Supprimer discrètement les sorties anciennes ferait disparaître une information importante sur le déroulement de la campagne. Les mélanger aux nouvelles comme si rien n’avait changé serait tout aussi trompeur. Une note de décision peut préciser les cas affectés, la raison de la nouvelle exécution et les conclusions retirées. Cette trace permet à un relecteur de comprendre la différence entre une correction de protocole et un résultat défavorable à l’hypothèse.
Lire l’évolution sans inventer une tendance
Une politique nouvelle peut rendre certaines réponses plus cohérentes avec les objectifs du produit tout en modifiant le champ de ce qui est comparable. On peut décrire cette amélioration locale sans prétendre qu’un score ancien et un score nouveau mesurent exactement le même objet. Le changement de règle doit rester visible dans la lecture des chiffres éventuels.
Le livrable utile relie chaque décision à sa version de politique et chaque conclusion aux cas réellement comparables. L’équipe sait alors si elle doit corriger une instruction, mettre à jour une source, clarifier une exception ou poursuivre l’examen d’un écart identitaire. Le temps cesse d’être une variable cachée. Il devient une partie explicite de la question que la campagne cherche à éclairer.
Note de méthode. Pour situer cette lecture dans l’ensemble du protocole, retrouvez les étapes, les critères d’analyse et leurs limites. Lire la méthode DoubleBlind.
Regarder les faits,
puis inverser l’identité.
Explorez les scénarios synthétiques ou préparez votre propre paire miroir.