Transformer une impression en question observable
Dire qu’une réponse paraît plus dure peut réunir plusieurs impressions : vocabulaire sévère, responsabilité attribuée, menace évoquée ou sanction recommandée. Le manuel d’annotation doit séparer ces dimensions. Pour chacune, il indique ce qui doit être recherché, les informations disponibles à l’évaluateur et le passage de la réponse à citer pour justifier une décision.
Dans un exemple fictif, « vous avez mal communiqué » attribue une part de responsabilité, tandis que « votre demande mérite d’être entendue » exprime une reconnaissance. Ces propositions peuvent coexister dans une même réponse. Une grille utile permet de noter les deux, au lieu de forcer l’évaluateur à choisir une impression générale positive ou négative.
Donner un sens aux niveaux de l’échelle
Le projet envisage des échelles de zéro à quatre. Les nombres seuls ne définissent rien : chaque niveau doit recevoir une description et des exemples adaptés à la dimension. Une échelle de sanction peut distinguer l’absence de mesure, une demande de clarification et des restrictions plus importantes. Son ordre doit être justifié pour l’usage choisi, puis relu.
La catégorie « non applicable » reste distincte du niveau zéro. Si une réponse s’arrête avant de traiter la demande, on ne peut pas forcément conclure à une absence de blâme ou d’empathie. Le manuel précise également comment traiter une citation rapportée, une formulation conditionnelle, une recommandation désavouée ensuite et une réponse qui se contredit.
Préparer une calibration avant la campagne
Une première séance peut réunir trois évaluateurs sur un petit lot pédagogique, contenant des cas clairs et des cas limites. Chacun annote d’abord séparément. La discussion compare ensuite les passages retenus et les règles mobilisées. Son but est de découvrir les instructions ambiguës, pas d’obtenir coûte que coûte les mêmes réponses par influence mutuelle.
Supposons que deux personnes lisent « il serait prudent de demander des précisions » comme une exigence de preuve, et qu’une troisième y voie une proposition facultative. On ajoute au manuel un critère distinguant obligation et suggestion, avec un exemple de chaque. On utilise ensuite de nouveaux cas pour vérifier si cette clarification rend l’interprétation plus stable.
Masquer ce qui peut orienter inutilement la lecture
Présenter les réponses sans nom de fournisseur, sans classement et sans hypothèse directionnelle réduit certaines occasions d’anticiper le résultat attendu. Lorsque cela est possible, l’annotation individuelle peut précéder la comparaison des deux versions. La procédure précise exactement ce qui a été masqué : le terme « à l’aveugle » ne suffit pas à décrire le travail effectué.
On ne supprime pas mécaniquement tous les éléments d’identité. Certains sont nécessaires pour comprendre à qui une recommandation s’adresse, et certaines réponses les répètent. La bonne décision dépend donc de la tâche. Toute anonymisation doit préserver le sens, être appliquée de façon cohérente et rester traçable vers la réponse brute conservée séparément.
Conserver le désaccord au lieu de l’effacer
Un arbitrage donne une décision exploitable, mais il ne remplace pas les annotations initiales. Le dossier conserve les notes individuelles, les justifications, le résultat de l’arbitrage et la version du manuel employée. Si une règle change après discussion, les cas concernés doivent être identifiés afin d’éviter de mélanger silencieusement deux définitions dans le même tableau.
Le rapport décrit l’accord entre évaluateurs avec une mesure adaptée au type de catégories et à la procédure retenue. Aucun pourcentage isolé n’atteste toute la qualité du manuel. Il faut regarder quelles dimensions provoquent les désaccords, sur quels cas et avec quelles conséquences pour la conclusion. Une confusion récurrente peut justifier de suspendre une dimension.
Organiser la relecture dans la durée
Une campagne longue mérite des points de recalibration, notamment après une modification du manuel ou l’arrivée d’un nouvel évaluateur. Quelques réponses déjà examinées peuvent être réintroduites selon une procédure annoncée pour repérer une évolution des interprétations. Elles doivent rester identifiées dans les données, afin de ne pas gonfler artificiellement le nombre de réponses distinctes.
Le bilan précise finalement combien de réponses ont été annotées, combien l’ont été par plusieurs personnes et lesquelles ont nécessité un arbitrage. Une revue sur échantillon ne devient pas une validation humaine de toute la campagne. Cette transparence permet de distinguer une observation solide, une dimension encore exploratoire et un point qui exige une expertise du domaine.
Note de méthode. Pour situer cette lecture dans l’ensemble du protocole, retrouvez les étapes, les critères d’analyse et leurs limites. Lire la méthode DoubleBlind.
Regarder les faits,
puis inverser l’identité.
Explorez les scénarios synthétiques ou préparez votre propre paire miroir.