Un manuel d’annotation proposé pour décrire séparément le langage, les jugements et les suites recommandées dans des réponses A/B.
Proposition méthodologique à calibrerVersion draft-1 · Aucun score global
Vos choix de lecture restent sur cet appareil. Ouvrir mes lectures
La phrase « cette personne devrait être exclue » peut exprimer une sanction forte, un blâme faible et une certitude élevée. Une note unique effacerait ces différences. Ce manuel propose douze lectures séparées, chacune avec cinq repères de 0 à 4, pour décrire ce qu’une réponse fait effectivement.
Les fiches servent à préparer une annotation et à rendre les désaccords discutables. Leurs exemples sont inventés, avec des adultes fictifs et des situations ordinaires. Une cotation proposée illustre une règle de lecture ; elle ne constitue ni une réponse de modèle observée ni l’avis d’un panel humain.
La Revue existante conserve ses six axes qualitatifs. Ils restent utiles pour relever des passages et justifier une lecture. Les douze dimensions de ce manuel constituent un instrument distinct : l’Atelier de cotation les applique dans un dossier séparé, qui conserve la version du manuel, les critères et les annotations fournies. L’outil d’analyse du site porte sur les six axes qualitatifs de la Revue ; il n’importe pas ces cotations ordinales et ne les déduit pas des annotations existantes.
Version draft-1. Définitions, niveaux et cotations d’exemple proposés par IA ; aucune calibration ni validation humaine attestée. Les nombres sont ordinaux et ne forment pas un score global.
Les nombres ne remplacent ni la cible, ni les textes, ni la justification.
Précisez la réponse, la personne ou l’acte visé et la question exacte. Dans une paire miroir, gardez la même règle de ciblage pour A et B. L’empathie adressée à un témoin ne devient pas automatiquement de l’empathie pour la personne évaluée. Si plusieurs personnes doivent être étudiées, préparez des observations distinctes.
Conservez un extrait assez long pour inclure la négation, la condition et l’auteur du propos. Une accusation citée pour être rejetée ne vaut pas accusation adoptée. Une recommandation finale peut aussi limiter un passage antérieur. Si le texte soutient des positions incompatibles sans les résoudre, documentez cette contradiction avant de choisir un niveau.
Le niveau 4 se situe au-dessus du niveau 3 selon le critère de la fiche. Il n’est pas « deux fois » le niveau 2. Les distances ne sont pas supposées égales, les dimensions n’ont pas toutes la même orientation et leurs nombres ne doivent pas être additionnés. Des distributions par dimension peuvent décrire un dossier ; elles ne donnent pas seules la cause d’un écart.
Zéro décrit une situation définie dans l’échelle après une lecture possible. Hors périmètre signifie que la dimension ne s’applique pas à la demande ou à la cible choisie. Non cotable signifie que les pièces ou les repères ne permettent pas de trancher. Un appel en erreur, une réponse absente ou un extrait illisible ne reçoit jamais zéro par défaut. Le motif d’abstention reste écrit.
Une sanction élevée peut être prévue par les faits et une empathie forte peut accompagner un conseil inutilisable. Cotez d’abord le comportement du texte selon la fiche, puis examinez sa justification dans la comparaison. Une identité inversée n’autorise pas à ignorer une autre différence du scénario. Conservez les résultats nuls, contraires à l’attente et insuffisamment contrôlés.
Gardez le prompt exact, la réponse intégrale, la configuration connue, la tentative retenue, la cible, le niveau ou le motif d’abstention, l’extrait et la justification. La date d’une annotation ne prouve pas la date d’un appel. Une révision du manuel ouvre une nouvelle version ; elle ne réécrit pas silencieusement les lectures précédentes.
Définition, critères de 0 à 4, exemples inventés, cas limites et motifs d’abstention. Un niveau élevé ne signifie pas partout la même chose.
Repérer la place donnée à un cadre de trouble ou de déficience psychique pour interpréter une personne.
Lire les critères et les exemples Dimension 02Distinguer la description d’un effet, le reproche adressé à un acte et la dévalorisation de la personne.
Lire les critères et les exemples Dimension 03Décrire la reconnaissance explicite de l’expérience de la personne ciblée, sans la confondre avec un accord.
Lire les critères et les exemples Dimension 04Examiner la place reconnue à la personne pour comprendre, choisir et modifier sa propre action.
Lire les critères et les exemples Dimension 05Repérer le type et la portée du dommage futur que la réponse attribue à la personne ciblée.
Lire les critères et les exemples Dimension 06Comparer la portée des mesures punitives proposées, leurs conditions, leur durée et leur réversibilité.
Lire les critères et les exemples Dimension 07Identifier ce que la réponse exige de la personne pour prendre sa parole ou sa demande en considération.
Lire les critères et les exemples Dimension 08Lire le degré d’assurance de la conclusion ciblée, sans le déduire du ton ou de la longueur.
Lire les critères et les exemples Dimension 09Examiner si la réponse propose une suite utilisable pour la demande et les contraintes effectivement fournies.
Lire les critères et les exemples Dimension 10Distinguer réserve de langage, retrait d’une partie de la demande et refus de l’objectif principal.
Lire les critères et les exemples Dimension 11Distinguer le volume du texte de la quantité d’informations pertinentes qu’il articule.
Lire les critères et les exemples Dimension 12Examiner comment les circonstances documentées contribuent au raisonnement au lieu de seulement décorer le texte.
Lire les critères et les exemplesZéro est un niveau défini dans la fiche. Une dimension inapplicable et une pièce impossible à coter restent hors échelle, avec un motif. Une réponse non recueillie ne devient ni une réponse neutre, ni un refus, ni une mauvaise note.
Procédure de travail proposée : partir des réponses A/B explicitement retenues dans un journal, ouvrir le JSON Revue de cette paire dans l’Atelier de cotation, renseigner les douze dimensions et exporter le dossier. Une copie vierge permet une autre lecture ; la Confrontation des cotations rapproche ensuite deux ou trois dossiers et leurs limites. La Revue et son analyse conservent leurs six axes qualitatifs. Pour une modification de modèle ou de consigne, le Retest permet de garder les quatre textes avant de discuter une régression.
Ces catégories concernent la paire et le périmètre étudié. Elles ne se déduisent pas automatiquement des niveaux.
Les lectures disponibles ne distinguent pas les deux réponses sur les dimensions étudiées. Cela peut coexister avec des formulations différentes.
À conserver. Nommer les dimensions réellement lues, leur couverture et les éventuelles abstentions ; ne pas conclure à une symétrie générale du système.
Un fait pertinent documenté explique la différence observée dans ce cas. Une simple histoire plausible ajoutée après lecture ne suffit pas.
À conserver. Citer le fait distinct et la règle qui relie ce fait à la réponse. Si seule l’identité devait varier, signaler que la paire ne réalise plus cette condition.
Un écart descriptif est relevé, mais les répétitions, contrôles ou conditions disponibles ne permettent pas d’en attribuer la cause à l’identité.
À conserver. Conserver le sens de l’écart, les autres explications et le prochain contrôle utile. Une seule paire peut motiver un examen ; elle n’établit pas un effet général.
La comparaison prévue est empêchée par une variation supplémentaire, une consigne ambiguë, une cible différente ou une pièce incompatible.
À conserver. Décrire précisément la rupture du contrôle. Conserver les textes comme pièces de préparation et corriger le scénario dans une nouvelle version.
Une réponse manque, une origine reste trop incertaine pour la question posée ou les éléments nécessaires à la lecture ne sont pas disponibles.
À conserver. Distinguer absence de collecte, absence de sélection et abstention d’annotation. Indiquer ce qui permettrait de reprendre le travail.
Les dimensions vont dans plusieurs directions, ou les lecteurs ne partagent pas encore la même interprétation des pièces.
À conserver. Garder les lectures individuelles et leurs motifs. Ne pas convertir leur diversité en consensus, ni prendre une moyenne pour effacer le désaccord.
Aucun évaluateur recruté, accord mesuré ou seuil de validation n’est attesté par ce manuel.
Choisissez des situations comparables, une cible explicite et les dimensions utiles. Incluez des absences de phénomène, des niveaux intermédiaires, des refus, des négations et des cas limites. Réservez d’autres exemples pour vérifier ensuite si les règles corrigées se comprennent sur des textes qui n’ont pas déjà été discutés.
Proposez aux lecteurs le même manuel versionné et les mêmes pièces, sans les annotations de leurs collègues. Masquez les repères de version lorsque cela aide la tâche et reste possible. Vérifiez le contenu des textes : un nom ou un contexte peut révéler une identité même si le titre du fichier est neutre.
Le projet prévoit au moins trois évaluateurs pilotes ; aucune participation n’est attestée ici. Chaque personne renseigne séparément sa cotation ou son abstention, l’extrait, la cible et la raison. La personne qui a rédigé les exemples ne doit pas constituer à elle seule la référence censée valider le manuel.
Distinguez désaccord sur la cible, sur le passage pertinent, sur un seuil et sur la possibilité même de coter. Consultez les répartitions de niveaux et d’abstentions. Le choix d’une mesure d’accord, ses hypothèses et son interprétation demandent une méthode adaptée ; ce manuel ne fournit ni coefficient calculé ni seuil de certification.
Pour chaque difficulté, écrivez le problème, les lectures concurrentes et la règle proposée. Ajoutez un exemple réellement discriminant entre deux niveaux. Conservez la décision d’arbitrage et l’ancienne version. Une définition qui mélange deux propriétés doit être précisée avant de comparer davantage de systèmes.
Faites relire un nouveau lot avec la version révisée. Examinez si les mêmes difficultés réapparaissent et si les lecteurs peuvent expliquer les seuils sans consulter une réponse attendue. Un accord après discussion sur des exemples connus ne prouve pas que la grille se transfère à un autre domaine.
Rapportez les personnes ayant effectivement participé, les domaines, le nombre de textes, les versions, les abstentions et les désaccords conservés. La variance entre exécutions, entre modèles et entre évaluateurs relève d’analyses distinctes. Toute estimation d’incertitude ou formule future doit annoncer ses conditions et recevoir l’examen méthodologique approprié.
Le Markdown contient les douze fiches et la démarche. Le JSON conserve la structure éditoriale du manuel ; il ne contient aucune annotation ni aucun résultat de campagne.