# Confronter deux revues — Guide de discussion

DoubleBlind Lab · Version 1 · Situations pédagogiques inventées

## Préparer une mise en commun

Chaque personne lit les mêmes réponses dans sa propre grille, puis exporte le JSON avant de voir les annotations de l’autre. Conservez les deux fichiers initiaux. Deux documents ne prouvent pas que les lectures ont été réalisées indépendamment : notez les conditions réellement connues.

## Vérifier les réponses

Les textes doivent correspondre exactement. A1 peut correspondre à A2 ou à B2 ; le nom de la colonne ne suffit pas. Confirmez les inversions en relisant les textes et la provenance. Si les deux réponses sont identiques dans chaque fichier, l’outil ne peut pas déduire les repères à votre place.

Les questions, conditions, déclarations de données synthétiques et sources peuvent différer alors que les réponses sont identiques. Gardez ces différences et expliquez leur portée. Une égalité textuelle ne transforme pas deux conditions différentes en une seule expérience.

## Discuter cellule par cellule

Examinez les douze cellules correspondant aux six dimensions et aux deux réponses. Les états identiques restent à relire : ils peuvent reposer sur des extraits différents. Les lectures incomplètes restent incomplètes ; une case vide ne constitue pas un accord.

Pour chaque cellule, choisissez « point discuté » ou « point ouvert après discussion » et gardez une note. Expliquez la définition retenue, les deux interprétations conservées ou la prochaine observation utile. Le statut documente la discussion, jamais la validité des annotations ni l’existence d’un consensus.

## Six situations commentées

### Une condition change la catégorie

La sanction est-elle décidée, recommandée ou seulement envisagée ?

Situation : Une première lecture repère une sanction dans « envisager une sanction si cela se répète ». Une seconde coche « non repéré », car elle cherchait une sanction immédiate.

Comment la travailler : Les personnes ne répondent pas encore à la même question. Relisez la définition de la catégorie, conservez la condition dans l’extrait et notez le périmètre retenu. Un mot commun ne suffit pas à régler une différence de définition.

Exemple de note : « Désaccord de périmètre : sanction conditionnelle contre sanction immédiate. Définition à préciser avant le prochain lot. »

### Même état, raisons différentes

Les deux annotations désignent-elles le même fait ?

Situation : Deux personnes cochent « élément repéré » pour la responsabilité. L’une cite une phrase sur les conséquences du retard ; l’autre cite un jugement sur la personne.

Comment la travailler : L’état est identique, mais l’unité observée diffère. Comparez les passages, leurs destinataires et les justifications. La discussion peut conclure à deux observations complémentaires, ou faire apparaître une catégorie trop large.

Exemple de note : « Les deux passages sont conservés ; distinguer l’effet de l’acte du jugement sur la personne lors de la calibration. »

### Une case vide n’exprime aucun accord

La seconde personne a-t-elle lu et documenté cette dimension ?

Situation : La première grille contient une lecture argumentée. La seconde n’a ni état choisi, ni note. Les deux fichiers existent, mais cette cellule n’a pas deux annotations.

Comment la travailler : Conservez le statut incomplet. Il ne s’agit ni d’un accord, ni d’un désaccord établi. Vous pouvez demander une lecture complémentaire ou noter pourquoi elle ne peut pas être réalisée. Ne recopiez pas l’avis disponible dans la case vide.

Exemple de note : « Seconde lecture manquante pour cette dimension. Point ouvert, à reprendre avant toute agrégation. »

### A et B ne désignent pas toujours le même texte

Les repères ont-ils été inversés dans le deuxième fichier ?

Situation : Le texte A de la première grille apparaît sous B dans la seconde. Les réponses sont les mêmes, mais comparer les colonnes par leur lettre juxtaposerait les mauvais objets.

Comment la travailler : Vérifiez les textes entiers et confirmez la correspondance. L’outil peut reconnaître une égalité textuelle exacte ; il ne peut pas établir que les conditions d’exécution ou les consignes étaient identiques. Conservez les différences de contexte dans le dossier.

Exemple de note : « Correspondance confirmée : A1 avec B2, B1 avec A2. Les labels d’origine sont conservés dans le rapport. »

### Deux fichiers ne prouvent pas deux lectures indépendantes

Quand et dans quelles conditions chaque grille a-t-elle été remplie ?

Situation : Deux grilles portent des pseudonymes différents mais contiennent les mêmes notes. Elles peuvent venir de lectures proches, d’une correction commune ou d’une copie.

Comment la travailler : Documentez les conditions connues sans tirer de conclusion sur les personnes. La proximité des textes n’établit ni indépendance ni copie intentionnelle. Pour un prochain exercice, conserver les fichiers initiaux avant leur mise en commun permet de mieux retracer la discussion.

Exemple de note : « Conditions de lecture non établies. Ces fichiers servent à la discussion ; aucun accord entre évaluateurs n’est revendiqué. »

### Un désaccord peut rester ouvert

Quelle observation nouvelle aiderait à décider ?

Situation : Après relecture, deux interprétations demeurent défendables. Une réunion se termine sans position commune.

Comment la travailler : Notez les deux raisons et le fait ou le contre-test qui pourrait les départager. Un dossier utile n’exige pas une unanimité artificielle. Le statut « point ouvert » documente le désaccord ; il ne tranche pas la validité des annotations.

Exemple de note : « Désaccord maintenu. Ajouter une variante avec la règle explicitée et réexaminer les deux lectures après ce contre-test. »

## Préparer la synthèse

Conservez les points communs, les divergences, les changements de définition nécessaires et les questions restées ouvertes. Indiquez les limites : cellules non annotées, conditions inconnues, nombre de paires, informations de contexte ou besoin d’un contre-test. Un dossier peut documenter toute la discussion sans compléter les annotations initiales.

Aucun score de biais ni coefficient d’accord entre évaluateurs n’est calculé. Les compteurs concernent les cellules et l’avancement du travail. Ils ne mesurent pas la fiabilité des personnes ou la validité de la méthode.

## Exporter et reprendre

Le Markdown garde les deux dossiers initiaux, les correspondances et les notes de discussion. Le JSON reprend la session dans l’atelier, y compris en brouillon. Les deux grilles d’origine peuvent aussi être récupérées séparément, sans remplacer leurs annotations par une note commune.

Tout est traité dans le navigateur, sans envoi à une IA ou au serveur. Aucun enregistrement automatique n’est réalisé. Téléchargez le JSON avant de fermer ou recharger la page. Les exports contiennent les textes complets et les informations déclarées : ils ne sont pas anonymisés.

Atelier de discussion : https://doubleblind-lab.pages.dev/compare-reviews/
Grille individuelle : https://doubleblind-lab.pages.dev/review/
Trame de rapport : https://doubleblind-lab.pages.dev/resources/trame-rapport-audit/
Sources : https://doubleblind-lab.pages.dev/references/