Définir la couverture avant de remplir le corpus
Un benchmark commence par une carte de ce qu’il cherche à examiner. Les domaines, décisions, variables présentées et types de contrôle doivent être identifiés avant la collecte massive de scénarios. Un ensemble de cent paires sur un seul conflit peut être volumineux tout en restant étroit. La couverture concerne la diversité des questions effectivement testées, pas seulement le nombre de lignes.
Le projet DoubleBlind-100 propose un premier corpus mêlant notamment limites, émotion, travail, parentalité et conflits. Cette proposition est un plan de construction, pas un corpus déjà validé. Pour le rendre examinable, chaque famille doit recevoir une définition, une raison d’être et des exclusions. Les frontières entre familles sont discutées afin d’éviter de compter plusieurs fois la même situation.
Croiser les domaines avec les décisions observées
Un domaine ne suffit pas à décrire un cas. Une situation de travail peut demander une classification, un conseil, une évaluation de crédibilité ou une sanction. On prépare donc une matrice reliant les domaines aux décisions et aux dimensions à annoter. Elle révèle les cellules très remplies et celles qui restent absentes, même lorsqu’un total global donne l’impression d’un corpus équilibré.
Dans un exercice fictif de douze cas, huit pourraient concerner le travail mais demander tous de qualifier une limite. Ajouter quatre variantes de prénoms ne comblerait pas l’absence de tests de conseil. Une décision raisonnable serait de créer de nouvelles situations correspondant aux usages manquants, puis de garder les variantes comme tests de robustesse des scénarios existants.
Diversifier les hypothèses sans imposer les résultats
Préparer des hypothèses dans plusieurs directions permet de rechercher aussi les observations qui contredisent l’intuition initiale. Cela ne signifie pas que le corpus doit finalement produire autant d’écarts dans chaque direction. L’équilibre porte sur la possibilité offerte aux hypothèses concurrentes d’être examinées. Les résultats restent libres d’être nuls, contradictoires, instables ou difficiles à interpréter.
Chaque fiche peut indiquer une attente explicite ou une absence d’attente, avec la raison de ce choix. Elle décrit également le scénario qui fragiliserait l’hypothèse. Une attente sert à formuler une question réfutable ; elle ne devient pas une réponse correcte que le modèle devrait fournir. Cette distinction doit rester visible pour les auteurs comme pour les évaluateurs.
Évaluer les scénarios avant les performances
La revue de construction examine la naturalité, l’équivalence des faits, les différences grammaticales et les indices secondaires. Elle vérifie aussi que le cas mesure bien la décision annoncée. Une paire portant officiellement sur l’empathie mais demandant seulement un résumé peut ne pas donner au système l’occasion d’exprimer la dimension étudiée. Le problème se situe alors dans la tâche.
Un pilote aide à repérer les demandes incomprises, les réponses impossibles à annoter et les consignes qui déclenchent une tâche différente. Les révisions qui en découlent sont documentées avant le gel de version. Le pilote ne doit pas être transformé en sélection de cas uniquement parce qu’ils produisent les écarts les plus frappants ou favorables à la thèse de départ.
Geler une version et conserver les retraits
Une version publiée reçoit un identifiant, une date, une liste de cas et une fiche technique. La correction d’une ambiguïté produit une nouvelle version plutôt qu’une modification silencieuse. Les résultats restent liés aux textes réellement exécutés. Cette discipline est nécessaire pour comparer deux campagnes sans attribuer au système une amélioration provenant en réalité d’un changement dans les questions.
Le registre des exclusions conserve l’identifiant, le motif et le stade du retrait. On distingue un scénario invalide, une erreur technique et une observation qui contredit l’hypothèse. La dernière catégorie n’est pas une raison d’exclusion. Un rapport intelligible présente les effectifs initiaux, les cas exécutés, les cas analysés et ceux dont l’interprétation a été suspendue.
Préparer une évaluation sur des situations nouvelles
Une partie réservée peut servir à examiner si une amélioration s’étend au-delà des exemples publics déjà connus. Son rôle et sa composition générale doivent être décrits sans nécessairement révéler les textes avant utilisation. Les parties publique et réservée ont besoin de règles de construction comparables ; leur séparation ne suffit pas, à elle seule, à assurer une évaluation pertinente.
Le benchmark final demeure un instrument situé. Il décrit certains usages, langues et formulations, avec un niveau de couverture annoncé. Un bon résultat ne prouve pas une absence universelle d’asymétrie, et un écart local ne décrit pas tous les comportements du système. L’utilité du corpus tient à sa capacité à poser des questions précises et à être révisé sur des raisons visibles.
Note de méthode. Pour situer cette lecture dans l’ensemble du protocole, retrouvez les étapes, les critères d’analyse et leurs limites. Lire la méthode DoubleBlind.
Regarder les faits,
puis inverser l’identité.
Explorez les scénarios synthétiques ou préparez votre propre paire miroir.