Le désaccord mérite sa propre trace.

1. Réunir les copies sans les réécrire

Demandez les fichiers JSON de cotation aux personnes concernées après leur première lecture. Gardez une copie de chaque fichier reçu. L’atelier confronte deux ou trois dossiers à la fois et conserve leurs pièces ; il ne fusionne pas les cellules dans une cotation supposée définitive.

Vérifiez le manuel, les réponses, les cibles et les conditions avant de commencer la discussion. Les noms de fichiers ne suffisent pas : deux noms différents peuvent désigner le même dossier, tandis que deux exports portant un titre semblable peuvent contenir d’autres textes. Les identifiants de lecteur restent des informations déclarées.

Reprendre une confrontation JSON permet de retrouver les copies et les notes de discussion déjà conservées. Distinguez cette reprise de l’ouverture d’une nouvelle comparaison. Un document Markdown se lit et se partage, mais ne remplace pas le JSON pour rétablir les pièces dans l’atelier.

2. Vérifier ce qui est réellement comparable

Les présentations A/B peuvent être conservées ou inversées. Vérifiez leur correspondance avec les textes ; lorsqu’une inversion ou une ambiguïté demande confirmation, examinez les sources avant de valider ce repère. Deux réponses identiques peuvent rendre la présentation ambiguë sans fournir une preuve que les cibles sont interchangeables.

Des différences de question, de conditions, de cibles, de nature déclarée, de source ou de provenance suspendent le comptage d’accord. Une note explique la difficulté mais ne la transforme pas en compatibilité. La discussion des pièces reste possible. Des critères de manuel incompatibles ne doivent pas davantage être rapprochés comme une même échelle.

3. Lire les comptes avec leur dénominateur

Une paire comporte vingt-quatre positions de lecture : douze dimensions sur deux côtés. Dans une confrontation compatible, une position peut rapprocher des niveaux documentés, des abstentions ou des cellules incomplètes. L’accord exact sur un niveau concerne les positions où les cotations nécessaires sont disponibles ; les abstentions ne deviennent pas des zéros pour élargir ce dénominateur.

Indiquez toujours ce qui est compté : fichiers, cellules individuelles ou positions rapprochées. Un accord exact signifie ici que les niveaux retenus sont identiques pour la position examinée. Il n’établit ni une égalité de raisons ni une indépendance des personnes. Une cellule hors périmètre et une cellule non cotable restent deux états différents, même si toutes deux sont des abstentions.

Ne résumez pas ces comptes par une note de fiabilité du modèle ou du manuel. Une confrontation peu renseignée et une confrontation complète n’ont pas la même couverture. Les positions exclues du rapprochement, incomplètes ou sans niveau doivent rester visibles dans le bilan.

• Nommer les deux ou trois fichiers considérés.
• Lire le nombre de positions comparables avant le nombre d’accords.
• Conserver séparément niveaux, abstentions et éléments incomplets.
• Ne pas remplacer les dénominateurs par un nombre supposé de lecteurs indépendants.

4. Examiner aussi les raisons qui se ressemblent peu

Ouvrez les extraits et les notes de la position discutée. Les nombres ne racontent pas à eux seuls la lecture. Deux passages différents peuvent soutenir le même critère ; un passage identique peut avoir été interprété de deux manières. Commencez par expliciter ce raisonnement avant de décider qu’il faut changer le manuel.

Une décision de confrontation peut rester à examiner, être discutée ou demeurer non résolue. Consignez les raisons et la prochaine vérification. Le statut de discussion ne remplace pas les annotations initiales et ne signifie pas automatiquement que tout le monde est d’accord.

5. Distinguer plusieurs fichiers de plusieurs personnes

Le logiciel peut signaler des dossiers dupliqués, mais il ne vérifie pas qui les a produits. Un nom différent ne crée pas une nouvelle personne ; un nom identique ne prouve pas non plus que la même personne a réalisé les deux lectures. Les fichiers restent des pièces à identifier par l’organisation du travail.

Documentez qui a effectivement participé, quand chaque lecture a été remise et si une discussion avait déjà eu lieu. Ces informations se recueillent dans votre démarche ; elles ne sont pas déduites d’un nombre de téléchargements. Une copie vierge réduit la transmission des annotations, sans garantir que les autres indices ou échanges n’ont pas influencé la lecture.

6. Préparer un pilote avec au moins trois lecteurs

Le plan suivant est proposé, non réalisé. Réunissez au moins trois lecteurs ayant compris la tâche et le manuel, sans supposer qu’une composition suffit à garantir leur indépendance. Choisissez plusieurs situations ordinaires : phénomène présent, absence, négation, contexte pertinent modifié et cas dont la cotation reste difficile.

Faites d’abord annoter séparément un lot commun, avec la même version des critères. Conservez ces premières copies avant la réunion. Confrontez ensuite les décisions et distinguez les difficultés de cible, de preuve, de seuil ou d’applicabilité. Pour chaque règle révisée, gardez un motif et une version ; ne modifiez pas les fichiers antérieurs pour leur faire adopter la nouvelle définition.

Réservez enfin d’autres exemples pour examiner la compréhension des règles révisées. Ce travail de révision est une démarche proposée : l’atelier actuel charge uniquement l’instrument draft-1 et ne permet pas de le remplacer par des seuils modifiés. L’accord après discussion sur des cas connus ne montre pas à lui seul que le manuel fonctionnera ailleurs. Un travail statistique éventuel demande une méthode distincte ; l’atelier ne le calcule pas.

• Avant : trois lecteurs au moins, même tâche, même version, copies séparées.
• Pendant : annotations initiales conservées, désaccords explicités et décisions motivées.
• Après : nouveaux exemples, limites de transfert et prochaines révisions documentées.

7. Conserver une décision délimitée, pas une certification

Le bilan utile décrit les pièces confrontées, leur compatibilité, la couverture des cellules, les accords exacts observés et ce qui reste indécidable. Ajoutez les notes de décision, la synthèse et les limites. Les fichiers originaux restent joints ; une position discutée n’est pas réécrite pour faire disparaître son désaccord initial.

Sauvegardez la confrontation JSON pour reprendre ce travail. Le Markdown présente une lecture du bilan et de ses pièces ; relisez leur contenu avant partage. L’atelier reste local à la page et ne sauvegarde rien automatiquement. Il ne transforme ni les critères proposés en instrument validé, ni plusieurs fichiers en preuve de participation humaine.

Pour poursuivre, revenez à la cotation si une autre lecture doit être réalisée, ou au manuel si une définition demande une révision. Les comptes du tableau des six axes qualitatifs de la Revue appartiennent à une autre analyse. Une campagne peut utiliser ces outils complémentaires tout en conservant clairement la nature de chacun de ses résultats.