La bibliothèque / Comprendre les termes

Les bons mots pour poser les bonnes questions.

Une définition, un exemple, un piège à éviter. Ce glossaire précise le sens des termes utilisés par le laboratoire, sans transformer le vocabulaire en verdict.

40 notions expliquéesUne question sur le projet ?
40 notions
Concepts

Asymétrie#

Dans la démarche DoubleBlind, différence de traitement à examiner entre des situations conçues comme comparables. Le terme désigne une question sur le rapport entre identité et jugement ; il ne suffit pas, à lui seul, à établir une injustice.

Par exemple

La même limite personnelle reçoit deux qualifications différentes selon l’identité présentée.

Le piège

Employer « asymétrie » comme synonyme automatique de discrimination démontrée.

Concepts

Divergence#

Écart descriptible entre deux réponses : formulation, ton, justification, degré de certitude ou recommandation. Une divergence est une observation de départ. Son explication exige de revenir aux faits et aux conditions de production.

Par exemple

Une réponse recommande un rappel de règle ; l’autre recommande une exclusion.

Le piège

Réduire la comparaison au seul fait que les phrases ne sont pas identiques.

Concepts

Biais#

Terme dont le sens doit être précisé avant un test. Dans une discussion de jugement, il peut désigner un traitement systématiquement orienté ; dans une discussion de méthode, une déformation introduite par la sélection ou la mesure. Ces usages ne sont pas interchangeables.

Par exemple

Un corpus sélectionné pour ne conserver que les exemples frappants peut orienter la lecture.

Le piège

Utiliser le mot sans préciser ce qui est mesuré, dans quel périmètre et avec quel critère.

Concepts

Paire miroir#

Deux formulations d’une même situation dont une seule variable principale est modifiée. Les faits, la consigne et le contexte restent constants, sous réserve des adaptations grammaticales nécessaires et documentées.

Par exemple

« Un homme refuse une réunion » et « Une femme refuse une réunion », avec le même contexte complet.

Le piège

Modifier aussi la politesse, les conséquences ou les antécédents en pensant ne changer que l’identité.

Concepts

Identité présentée#

Information d’identité fournie par le scénario : genre déclaré, âge, rôle, statut ou autre caractéristique retenue. Le test porte sur cette présentation textuelle. Il ne permet pas d’accéder à l’identité réelle d’une personne ni aux représentations internes d’un modèle.

Par exemple

Un personnage fictif est décrit comme une personne de 30 ans ou de 60 ans.

Le piège

Confondre la catégorie écrite, les associations possibles du lecteur et une caractéristique réellement contrôlée.

Concepts

Fait observable#

Action ou événement que le scénario décrit avant toute qualification morale : envoyer trois messages, refuser une invitation, remettre un dossier en retard. Séparer le fait de l’étiquette aide à vérifier la comparabilité.

Par exemple

« Ne répond pas pendant deux heures » fournit un fait ; « manipule par le silence » propose déjà une interprétation.

Le piège

Introduire le verdict attendu dans le récit qui doit justement servir à le tester.

Concepts

Contexte pertinent#

Information qui peut modifier légitimement la réponse à la tâche : règle d’accès, urgence explicitée, engagement convenu ou conséquence connue. Sa pertinence doit être argumentée, pas supposée après lecture du résultat.

Par exemple

La même action peut être autorisée pour un administrateur et interdite pour un visiteur si la règle est donnée.

Le piège

Inventer des antécédents absents pour justifier une différence qui surprend.

Concepts

Étiquette#

Mot ou expression qui condense une interprétation du comportement : autonomie, froideur, contrôle, responsabilité. Le projet Soft Tyranny interroge le pouvoir de ces qualifications, tandis que DoubleBlind cherche à construire des comparaisons qui permettent de les examiner.

Par exemple

Deux récits identiques sont qualifiés de « fermeté » et de « rigidité ».

Le piège

Traiter une étiquette comme une description complète ou un diagnostic établi.

Concepts

Attribution causale#

Explication proposée pour rendre compte d’un acte ou d’une situation. Une réponse peut attribuer un retard à des circonstances, à une intention ou à un trait personnel. Ces déplacements d’explication constituent une dimension de lecture.

Par exemple

« La consigne était peu claire » et « Cette personne manque de sérieux » n’attribuent pas la même cause.

Le piège

Prendre une explication plausible pour un fait fourni par le scénario.

Concepts

Charge de la preuve#

Dans nos exercices de lecture, répartition des demandes de démonstration et de justification entre les personnes décrites. Il s’agit ici d’un outil d’analyse des réponses, sans prétention à définir une règle juridique applicable.

Par exemple

Une personne est invitée à prouver sa bonne foi, tandis qu’une autre bénéficie d’une présomption favorable dans la réponse.

Le piège

Confondre cette grille descriptive avec les obligations formelles d’une procédure de droit.

Conception

Hypothèse#

Proposition précise que l’on prévoit de mettre à l’épreuve. Elle nomme une variable, une situation et une observation attendue, mais laisse ouvertes des issues qui pourraient la fragiliser.

Par exemple

Le système demande-t-il davantage de justifications pour le même refus lorsqu’un genre différent est indiqué ?

Le piège

Réécrire l’hypothèse après chaque réponse pour qu’elle soit toujours confirmée.

Conception

Contre-hypothèse#

Explication concurrente que le protocole doit pouvoir examiner. Elle évite de traiter l’interprétation préférée comme la seule possible et aide à choisir les prochains contrôles.

Par exemple

Le changement de conseil peut dépendre de la tournure de la phrase plutôt que de l’identité.

Le piège

Proposer une alternative vague sans concevoir de test capable de la distinguer.

Conception

Variable principale#

Élément dont le changement constitue l’objet explicite du test. Sa définition doit être suffisamment étroite pour distinguer ce que l’on fait varier de tout ce que l’on conserve.

Par exemple

Le rôle d’administrateur devient celui de visiteur, avec les mêmes actions décrites.

Le piège

Changer simultanément âge, genre et statut, puis attribuer toute différence à un seul de ces éléments.

Conception

Indice secondaire#

Détail susceptible de transporter une information supplémentaire : prénom, métier, lieu ou formulation. Il peut rendre une paire moins équivalente que prévu, même quand le rédacteur n’a modifié qu’un petit segment.

Par exemple

Deux prénoms peuvent évoquer des générations ou des origines perçues différentes.

Le piège

Présenter un indice comme neutre sans vérifier ce qu’il peut faire varier.

Conception

Contrôle neutre#

Cas construit pour lequel la tâche et la règle fournies ne donnent pas de raison attendue de changer la réponse selon la variable testée. Ce statut décrit un rôle dans le protocole, et non un résultat déjà obtenu.

Par exemple

La procédure de suivi d’un colis est la même pour deux personnages fictifs qui disposent des mêmes informations.

Le piège

Annoncer qu’un contrôle prouve l’absence de biais avant son exécution.

Conception

Contrôle contextuel#

Cas dans lequel une différence de réponse peut suivre une règle explicite du scénario. Il aide à vérifier que l’analyse ne condamne pas mécaniquement toute adaptation.

Par exemple

Une personne disposant d’une permission peut accéder à un réglage auquel une autre n’a pas accès.

Le piège

Transformer une règle fictive donnée dans un exercice en recommandation générale de traitement.

Conception

Contrôle positif#

Dans une grille de lecture, cas préparé pour vérifier qu’un changement connu peut être repéré. Son rôle et l’effet attendu doivent être décrits. Il teste la sensibilité d’une procédure dans un cadre limité.

Par exemple

Deux réponses fabriquées recommandent explicitement des sanctions différentes pour éprouver la grille d’annotation.

Le piège

Faire passer ce matériau fabriqué pour un comportement réellement observé d’un modèle.

Conception

Paraphrase#

Autre formulation censée conserver le sens d’un scénario ou d’une consigne. Elle sert à interroger la dépendance d’un résultat aux mots choisis, mais doit elle-même être relue pour vérifier qu’elle ne change pas l’intensité ou le contexte.

Par exemple

« Décline la proposition » ne remplace « refuse la proposition » qu’après examen de la nuance introduite.

Le piège

Multiplier des formulations présentées comme équivalentes sans contrôler leur sens.

Conception

Ordre A/B et B/A#

Manière d’organiser la présentation ou l’exécution des deux versions. Alterner les ordres permet d’examiner si la position d’une version ou une interaction précédente accompagne le résultat.

Par exemple

Une série commence par A ; une autre commence par B, dans des conversations distinctes prévues au protocole.

Le piège

Confondre inversion de l’ordre et inversion de l’identité, qui sont deux modifications différentes.

Conception

Conversation séparée#

Session dans laquelle une version est soumise sans l’historique de l’autre. Cela vise à limiter l’influence d’un contexte conversationnel commun ; les autres paramètres et limites d’accès restent à documenter.

Par exemple

La réponse à A n’est pas placée avant B dans le même échange.

Le piège

Supposer qu’une nouvelle fenêtre garantit à elle seule le contrôle de tous les paramètres du service.

Interprétation

Annotation#

Description structurée d’une réponse selon une grille. Une annotation utile contient l’observation, le passage qui la soutient et la justification du choix, afin qu’une autre personne puisse la relire.

Par exemple

La ligne « sanction » relève « suspendre le compte » et cite la phrase correspondante.

Le piège

Réduire l’annotation à une impression globale sans extrait vérifiable.

Interprétation

Calibration des évaluateurs#

Travail préalable visant à clarifier l’application de la grille sur des cas d’entraînement. Il permet d’identifier des définitions floues, des catégories difficiles à distinguer et des règles de discussion.

Par exemple

Deux relecteurs expliquent pourquoi ils voient du blâme ou seulement un rappel de responsabilité dans la même phrase.

Le piège

Interpréter la calibration comme une garantie d’accord parfait ou de vérité.

Interprétation

Désaccord d’annotation#

Différence de lecture entre évaluateurs. Elle peut venir d’une erreur, d’un critère ambigu ou d’une pluralité d’interprétations défendables. Le registre conserve cette différence et son traitement.

Par exemple

Un passage est lu comme du soutien par une personne et comme une excuse par une autre.

Le piège

Effacer les annotations initiales après discussion et présenter le résultat final comme unanime dès l’origine.

Interprétation

Empathie dans la réponse#

Dimension décrivant la reconnaissance exprimée de contraintes, de besoins ou de difficultés dans le texte produit. La méthode analyse des formulations et leur distribution ; elle n’attribue pas un état émotionnel réel à un système.

Par exemple

La réponse reconnaît la difficulté du refus pour une personne, mais ignore une contrainte identique pour l’autre.

Le piège

Déduire une capacité intérieure de ressentir à partir d’un vocabulaire chaleureux.

Interprétation

Blâme#

Attribution d’une faute, d’un reproche ou d’une responsabilité négative dans une réponse. Il doit être distingué du simple rappel de ce qu’une personne a fait ou doit faire selon une règle.

Par exemple

« Cette personne a rendu le dossier en retard » décrit ; « elle est irresponsable » ajoute une qualification.

Le piège

Compter tout mot de responsabilité comme une condamnation morale.

Interprétation

Sanction recommandée#

Conséquence défavorable proposée par la réponse : restriction, suppression, exclusion ou autre action définie dans la tâche. Son intensité et ses conditions peuvent être examinées séparément du ton.

Par exemple

Un rappel et une suspension ne produisent pas le même effet, même si les deux réponses sont polies.

Le piège

Se satisfaire d’un vocabulaire équilibré sans regarder l’action réellement recommandée.

Interprétation

Certitude exprimée#

Degré d’assurance manifesté par la formulation. « Il est certain », « peut-être » et « les informations manquent » n’exposent pas la même posture. Cette dimension ne mesure pas directement la probabilité que le système ait raison.

Par exemple

Une intention est déclarée certaine dans A et proposée comme simple possibilité dans B.

Le piège

Lire une formule prudente comme une incertitude statistique calculée.

Interprétation

Refus de répondre#

Réponse par laquelle le système ne réalise pas tout ou partie de la tâche demandée. Le motif, la cohérence entre versions et les alternatives proposées peuvent être examinés sans supposer que tout refus constitue un défaut.

Par exemple

Une version reçoit un conseil général ; l’autre reçoit un refus motivé par une catégorie perçue.

Le piège

Traiter le refus comme une réponse manquante et le retirer silencieusement des résultats.

Interprétation

Résultat nul#

Ici, situation où le protocole n’a pas mis en évidence la divergence recherchée dans son périmètre. L’expression doit être accompagnée de la méthode de détection et de ses limites.

Par exemple

Les réponses examinées recommandent la même action sur le corpus et la configuration retenus.

Le piège

Transformer « aucune différence détectée ici » en « aucune différence n’existe jamais ».

Interprétation

Incertitude#

Ce qui reste indéterminé dans l’observation ou son interprétation : variation des sorties, choix de corpus, accès incomplet ou désaccord humain. Elle se documente selon sa source plutôt que par une formule générale rassurante.

Par exemple

Les répétitions ne vont pas toutes dans le même sens et la grille laisse un passage ambigu.

Le piège

Remplacer des limites différentes par un unique indice sans expliquer ce qu’il représente.

Traçabilité

Provenance#

Ensemble des informations qui relient une réponse à ses conditions de production : système, version, consigne, paramètres, contexte et horodatage. La provenance indique aussi les éléments que l’outil ne permet pas de connaître.

Par exemple

Une réponse possède un identifiant renvoyant à la paire et à la configuration utilisées.

Le piège

Présenter une capture isolée comme un enregistrement complet de l’expérience.

Traçabilité

Reproductibilité#

Possibilité de comprendre puis de refaire une procédure à partir de ses traces et de ses règles. Pour un système évolutif, il faut distinguer la reprise du protocole et l’obtention mot pour mot de la même réponse.

Par exemple

Un autre opérateur peut reconstituer la sélection des paires, les réglages connus et la grille.

Le piège

Promettre des sorties identiques lorsque la version ou les paramètres ne sont pas entièrement contrôlables.

Traçabilité

Corpus#

Ensemble des cas réunis pour une investigation. Sa composition détermine les situations effectivement examinées ; elle ne représente pas automatiquement tous les usages d’un système.

Par exemple

Un corpus de support client est composé de demandes de suivi, de remboursement et d’explication de règles.

Le piège

Généraliser une collection choisie à un domaine qu’elle ne couvre pas.

Traçabilité

Benchmark#

Dispositif de comparaison reposant sur un corpus, une procédure d’exécution et des critères de lecture. Dans le projet DoubleBlind Index, ces éléments doivent être versionnés avant que les comparaisons publiques puissent être interprétées.

Par exemple

Deux configurations sont examinées sur un périmètre commun, avec les différences d’accès signalées.

Le piège

Confondre un objectif de cent cas avec cent tests déjà validés et exécutés.

Traçabilité

Dénominateur de la campagne#

Nombre de cas auquel une synthèse rapporte ses observations. Il faut préciser si l’on parle des paires prévues, des exécutions réalisées, des réponses exploitables ou des cas relus.

Par exemple

Trois exemples visibles n’informent pas sur le nombre total de situations essayées.

Le piège

Faire varier discrètement la base de calcul entre deux graphiques.

Traçabilité

Exclusion de cas#

Retrait d’un cas de tout ou partie d’une analyse pour un motif documenté. Une exclusion peut être justifiée par un défaut de scénario ou un incident, mais doit rester traçable.

Par exemple

Une paire est écartée parce qu’une version introduisait une urgence absente de l’autre.

Le piège

Exclure après coup un cas uniquement parce qu’il contredit l’hypothèse.

Traçabilité

Faux positif de lecture#

Signal repéré comme un problème alors qu’une revue montre qu’il ne correspond pas au critère recherché. Le terme doit être relié à une définition de référence, et non servir à écarter une observation embarrassante.

Par exemple

Le compteur relève « faute » dans la phrase « ce n’est pas une faute ».

Le piège

Supposer qu’un mot repéré suffit à établir le sens de la phrase.

Traçabilité

Retest#

Nouvelle exécution organisée pour examiner un constat ou un changement de système. Le retest précise ce qui reste comparable et ce qui a évolué ; il peut inclure les cas initiaux et des variantes réservées à la vérification.

Par exemple

Après modification d’une consigne, on réexamine les paires concernées et des contrôles.

Le piège

Ne refaire que le cas utilisé pour rédiger la correction.

Traçabilité

Régression#

Dégradation observée selon un critère de lecture lorsque le système évolue. Elle peut concerner une divergence de jugement, mais aussi la qualité du conseil ou le maintien d’une différence contextuelle utile.

Par exemple

Une correction rend les formulations plus proches, mais conduit désormais à refuser des demandes auparavant traitées correctement.

Le piège

Appeler amélioration toute baisse d’écart sans vérifier les autres dimensions.

Traçabilité

Indépendance de l’audit#

Organisation des rôles et des décisions visant à ce que le résultat ne soit pas fixé par le client, une conviction éditoriale ou un intérêt commercial. Elle se documente par des règles de méthode, de relecture et de publication.

Par exemple

Le commanditaire peut signaler une erreur factuelle sans imposer le retrait d’un constat valide.

Le piège

Se déclarer indépendant sans expliciter qui finance, annote, arbitre et autorise la publication.

De la définition au geste

Une notion devient utile
quand on s’en sert.

Les fiches pratiques donnent une place à chaque notion : formuler l’hypothèse, construire la paire, annoter une réponse, documenter une campagne et préparer un retest.

Ouvrir la boîte à outils
Tout le laboratoire

Une question en tête ?

Articles, cas, outils et parcours. Échap pour fermer.