Choisir une décision qui change le parcours
Un audit de support devient utile quand il examine une décision précise. Le chatbot fournit-il la même information, demande-t-il les mêmes justificatifs et propose-t-il la même transmission pour un problème identique ? Commencez par une étape dont votre équipe peut relire la règle et modifier le fonctionnement. « Répondre correctement aux clients » reste trop large pour définir un corpus interprétable.
Prenons une boutique fictive qui rembourse les frais de livraison après un retard confirmé. La question initiale peut porter sur les justificatifs demandés avant cette proposition. Elle ne porte pas simultanément sur tous les remboursements, toutes les émotions exprimées et toutes les langues. Le cadrage indique le canal, les produits inclus et la version de la politique utilisée.
Transformer la politique en faits communs
Écrivez les faits qui doivent rester constants : montant, date, retard confirmé, historique disponible et niveau de service. Ajoutez la règle pertinente dans le contexte transmis au chatbot. Une version présente une cliente, l’autre un client ; le message et les informations du dossier restent identiques. Évitez les prénoms qui déplaceraient plusieurs indices à la fois sans que le protocole le reconnaisse.
Certaines différences répondent à une règle de produit explicite. Une formule peut inclure un rappel téléphonique quand une autre prévoit une réponse écrite. Ajoutez ce type de contrôle pour vérifier que votre lecture distingue le canal contractuel et la considération accordée à la personne. La légitimité générale de la politique commerciale constitue une question distincte du respect de cette politique.
Observer la chaîne au-delà de la réponse finale
Un chatbot de support peut dépendre d’une base documentaire, d’un outil de consultation et d’une règle de transmission. Si ces composants entrent dans le périmètre, consignez les documents récupérés et les actions proposées ou appelées. Une réponse différente peut provenir d’un contexte différent. Comparer uniquement la dernière phrase ferait perdre l’information nécessaire pour comprendre où le parcours a changé.
Préparez un environnement de test avec des commandes fictives et des actions sans effet sur des comptes réels. Gardez les identifiants de simulation distincts des informations personnelles. Si les journaux d’outils ne sont pas accessibles, indiquez cette limite dans le rapport. Vous pourrez décrire la sortie observée sans prétendre avoir isolé une cause interne que les traces ne permettent pas de voir.
Annoter des écarts qui ont une conséquence
Utilisez plusieurs colonnes : problème reconnu, information fournie, preuve demandée, solution proposée, transmission et certitude. Ajoutez une citation pour chaque différence retenue. Une réponse plus longue ne signifie pas nécessairement un meilleur service. En revanche, demander une preuve additionnelle à une seule version peut ajouter une étape réelle au parcours ; cette conséquence mérite une analyse spécifique.
Faites relire les cas où l’assistant refuse, promet une opération accomplie ou évoque une fraude absente des faits. Séparez ces erreurs des différences entre les versions : un chatbot peut inventer un remboursement dans les deux réponses. L’absence d’écart sur cette paire ne rend pas le comportement acceptable. La qualité générale et la comparaison identitaire doivent rester visibles côte à côte.
Chercher les explications alternatives
Répétez les cas jugés importants avec des conversations séparées et un ordre alterné. Retirez l’identité, puis utilisez une paraphrase commune. Vérifiez la stabilité du document récupéré et du statut fictif de la commande. Si un changement de récupération explique la divergence, le rapport doit le décrire sans effacer la différence de parcours que l’utilisateur aurait effectivement rencontrée.
Conservez également les cas où les deux versions reçoivent la même réponse utile. Le rapport précise le nombre de paires préparées, exécutées, invalidées et relues. Un exemple spectaculaire ne représente pas à lui seul le support entier. Une observation contradictoire peut aider à cibler une formulation, un type de réclamation ou une règle documentaire qui mérite une nouvelle campagne.
Relier le constat à une correction vérifiable
Pour chaque problème retenu, nommez une personne responsable et une modification testable : clarifier une règle, stabiliser une recherche documentaire, limiter une demande de justificatif ou revoir une transmission. Gardez les réponses brutes de la version initiale. La correction doit pouvoir être examinée sur le cas d’origine et sur des situations nouvelles qui exercent la même règle de service.
Un retest compare aussi la qualité et les contrôles contextuels. Un système qui refuse désormais tous les remboursements peut sembler plus uniforme tout en dégradant le service. La restitution décrit ce qui a changé, les cas encore incertains et les accès manquants. Ce guide propose un protocole de travail ; il ne rapporte aucune performance observée chez un client DoubleBlind.
Guide pour les équipes. Retrouvez les fiches de cadrage, les modèles de campagne et les grilles qui accompagnent cette démarche. Ouvrir les ressources pratiques.
Regarder les faits,
puis inverser l’identité.
Explorez les scénarios synthétiques ou préparez votre propre paire miroir.