Commencer par les dimensions qui ont un sens
Un nombre unique semble faciliter la comparaison, mais il réunit des décisions de méthode qui doivent être visibles. Quelles dimensions sont mesurées ? Sur quels cas ? Avec quelle annotation ? Une note élevée en chaleur de formulation ne répond pas à la même question qu’une bonne cohérence dans les sanctions. Le projet DoubleBlind propose donc de commencer par un tableau de dimensions.
Ce tableau peut présenter l’empathie, le blâme, les mesures recommandées, la certitude, la qualité du conseil et les refus, avec leurs définitions. Chaque ligne indique son effectif et ses limites. Certaines dimensions pourront rester exploratoires si les évaluateurs ne s’accordent pas suffisamment sur leur lecture. Les conserver séparées permet de voir où l’instrument d’évaluation lui-même demande encore du travail.
Voir ce qu’une moyenne peut faire disparaître
Prenons un exemple inventé, sans résultat de modèle : un système donne des réponses cohérentes sur de nombreux cas de formulation simple mais change fortement de recommandation sur quelques décisions importantes dans le périmètre. Une moyenne générale pourrait rendre ces dernières peu visibles. Le problème n’est pas nécessairement le calcul ; c’est la décision qu’un lecteur risque de prendre sans voir la répartition.
On examine donc les résultats par domaine, type de décision et dimension. Les observations dans les deux directions restent distinctes lorsque leur regroupement pourrait les annuler. Une valeur moyenne proche de zéro ne permet pas, à elle seule, de conclure que tous les cas sont symétriques. Elle doit être accompagnée de la distribution et d’exemples traçables correspondant aux différentes issues.
Rendre les pondérations discutables
Attribuer davantage de poids à une dimension exprime une priorité. Cette priorité peut être pertinente pour un usage, mais elle doit être expliquée. Une application de rédaction et un outil qui propose des restrictions d’accès ne donnent pas forcément la même importance au style et à la sanction. Il faut décrire la décision que la pondération cherche à éclairer.
Plusieurs jeux de poids peuvent être examinés pour voir si la conclusion dépend fortement de ce choix. Si l’ordre de deux systèmes s’inverse lorsqu’une priorité raisonnable change, le rapport doit le montrer. On ne présente pas alors un classement unique comme une propriété évidente des systèmes. Les échelles utilisées et les opérations effectuées sur leurs niveaux demandent également une justification.
Associer l’effectif, la couverture et l’incertitude
Deux notes identiques ne portent pas la même information si l’une repose sur quelques situations apparentées et l’autre sur un corpus plus diversifié. Le tableau indique le nombre de scénarios, leurs familles, les répétitions et la part réellement relue par plusieurs évaluateurs. Ces informations permettent d’évaluer ce que la note décrit et les usages auxquels elle ne peut pas être étendue.
L’incertitude peut venir des réponses, des scénarios et des annotations humaines. Sa présentation doit préciser ce qui a été estimé et comment. Un indicateur de confiance ne doit pas devenir un simple badge visuel dépourvu de définition. Lorsque le plan d’analyse reste exploratoire, mieux vaut le signaler et publier les observations descriptives que fabriquer une précision non démontrée.
Comparer uniquement des campagnes compatibles
Un classement perd son sens si les systèmes ont reçu des consignes, des langues ou des volumes différents sans que cela soit pris en compte. Avant la comparaison, on examine la compatibilité du corpus, des paramètres, de l’accès et du manuel d’annotation. Une différence de contexte peut être intéressante en elle-même, mais elle doit devenir une condition explicitement étudiée.
Un changement de formule nécessite aussi une nouvelle version de score. Si des résultats anciens sont recalculés, on indique la méthode utilisée pour chaque tableau. On évite ainsi de représenter comme une évolution du modèle ce qui provient uniquement d’une nouvelle pondération. Le lecteur doit pouvoir retrouver le protocole derrière la note aussi facilement que la note elle-même.
Relier la synthèse à une action précise
Une équipe a souvent besoin de savoir quels cas reproduire, quelle règle clarifier et quel comportement retester. Le tableau de dimensions soutient directement ces décisions. Un score éventuel peut servir de repère de suivi dans un périmètre stable, à condition de conserver les liens vers les observations, les exclusions et les limites. Il ne devient pas une mesure générale de moralité.
La restitution peut donc commencer par les constats qui changent une décision, présenter ensuite leur stabilité et terminer par les synthèses disponibles. Cette organisation donne au chiffre une fonction claire. À ce stade du projet, une proposition de score reste une méthode à valider ; elle ne doit pas être confondue avec un classement empirique de systèmes déjà réalisé.
Note de méthode. Pour situer cette lecture dans l’ensemble du protocole, retrouvez les étapes, les critères d’analyse et leurs limites. Lire la méthode DoubleBlind.
Regarder les faits,
puis inverser l’identité.
Explorez les scénarios synthétiques ou préparez votre propre paire miroir.