Deux annotations du même passage
Dans une séance fictive de revue, une réponse conseille à un adulte de « prendre du recul avant de décider ». Une lectrice y voit une proposition prudente. Un autre lecteur estime que la formulation retire de la crédibilité à la personne. Tous deux peuvent citer le même passage. Leur désaccord ne se résout pas simplement en comptant les voix ou en invoquant l’expérience de celui qui parle le plus longtemps.
La première question consiste à savoir ce qui diffère dans leur lecture. Ont-ils compris la même demande ? Utilisent-ils la même définition de la condescendance ? Attribuent-ils au conseil des conséquences différentes ? Nommer ce niveau évite de traiter tout désaccord comme une opposition fondamentale de valeurs, alors qu’une précision de tâche ou de vocabulaire peut parfois suffire.
Revenir aux faits accessibles
Les relecteurs commencent par la paire complète, la consigne et la réponse entière. Une phrase peut sembler paternaliste lorsqu’elle est isolée, mais répondre à une demande explicite d’aide pour temporiser. L’inverse est également possible : une formulation douce peut accompagner une décision imposée que le résumé ne montre pas.
Le travail consiste à distinguer ce que le texte dit et ce que chaque lecteur lui attribue. Une hypothèse d’intention reste identifiable comme telle. Si un relecteur connaît une information extérieure au cas, il la signale au lieu de l’utiliser silencieusement. On peut ensuite décider si cette information appartient au périmètre et doit être ajoutée dans les deux versions, ou si elle ne doit pas guider l’annotation de cette scène.
Vérifier que le critère est partagé
Un mot comme « empathie » peut désigner la chaleur, la reconnaissance d’une difficulté ou la prise en compte d’un besoin concret. Si la grille ne choisit pas suffisamment son objet, deux annotations différentes peuvent être cohérentes avec deux définitions différentes. La correction porte alors sur le guide avant de porter sur les lecteurs.
Des exemples de référence peuvent montrer ce qui compte pour chaque dimension. Ils doivent comprendre des frontières difficiles, pas seulement des cas évidents. Le groupe peut également distinguer une présence incertaine d’une absence claire. L’objectif n’est pas de rendre toute interprétation identique par décret. Il est de permettre à chacun de comprendre quelle question l’annotation cherche à résoudre et quel passage justifie la réponse proposée.
Masquer ce qui n’aide pas la tâche
Lorsque c’est compatible avec l’objectif, la revue peut présenter les réponses sans indiquer l’hypothèse attendue, l’ordre initial des versions ou l’identité du système. Cette organisation cherche à réduire certains indices susceptibles d’orienter inutilement la lecture. Elle doit être décrite comme une condition de travail, sans promettre qu’elle supprime toute influence possible.
L’identité du personnage peut, selon la dimension étudiée, rester nécessaire pour comprendre le cas. Une lecture complémentaire sans cette information peut être organisée séparément. Il faut éviter de mélanger les annotations produites sous des conditions différentes comme si elles répondaient à une question identique. Le dossier de campagne indique ce que chaque relecteur voyait et à quel moment les versions ont été rapprochées pour examiner la divergence.
Organiser une décision sans effacer le désaccord
Après discussion, certaines annotations peuvent converger. D’autres restent contestées. Le rapport peut conserver une catégorie d’incertitude ou présenter les deux lectures avec leurs raisons. S’il faut prendre une décision opérationnelle, la personne chargée de l’arbitrage explique le critère retenu et les informations qui ont pesé.
Une expertise de domaine peut aider à interpréter une règle métier. Elle ne transforme pas automatiquement toute impression sur le ton en vérité incontestable. Inversement, un accord majoritaire ne prouve pas que le critère est bien conçu. Il faut pouvoir examiner les raisons indépendamment du statut des relecteurs. La trace du désaccord donne au lecteur suivant la possibilité de comprendre la décision et de la réviser si un élément pertinent apparaît.
Transformer le désaccord en amélioration précise
La suite peut être une définition plus claire, une nouvelle paire, un exemple de calibration ou une clarification de politique. Chaque action répond à la nature du problème constaté. Relancer toute la campagne sans savoir ce que l’on cherche à résoudre risque de produire davantage de données sans réduire l’incertitude importante.
La qualité d’une revue se voit aussi dans ce qu’elle laisse ouvert. Elle peut décider qu’un écart est trop ambigu pour soutenir une conclusion forte, tout en expliquant pourquoi le cas mérite d’être conservé. Le désaccord expert devient alors une information sur la méthode et sur les conditions de jugement. Il cesse d’être un embarras à cacher ou un concours d’autorité entre personnes qui prétendraient toutes lire le texte depuis un point de vue sans limites.
Note de méthode. Pour situer cette lecture dans l’ensemble du protocole, retrouvez les étapes, les critères d’analyse et leurs limites. Lire la méthode DoubleBlind.
Regarder les faits,
puis inverser l’identité.
Explorez les scénarios synthétiques ou préparez votre propre paire miroir.