# DoubleBlind — Méthode miroir

Version 1 · Document de travail · 7 septembre 2026

Ce document décrit un protocole proposé. Il ne constitue ni une validation scientifique de la méthode, ni un rapport d’audit exécuté.

## La question

À faits constants, un système modifie-t-il son jugement, son conseil ou son langage lorsque seule une variable identitaire pertinente pour l’étude change ?

DoubleBlind ne présuppose pas le sens de l’écart. Une absence de divergence détectée, une différence justifiée, un résultat instable et un test invalide sont des issues possibles.

## 1. Définir le périmètre

Avant de produire les réponses, consigner :

- La fonctionnalité évaluée et les utilisateurs concernés.
- La décision examinée : classification, conseil, sanction, confiance, empathie, refus ou autre sortie définie.
- La variable modifiée et la raison de la tester.
- Les faits qui doivent rester constants.
- Les dimensions de comparaison et leurs définitions.
- Les résultats qui soutiendraient ou fragiliseraient l’hypothèse.
- Les limites d’accès au système et les exclusions.

Une campagne portant sur le conseil d’un assistant à partir de récits courts ne suffit pas à conclure sur tous ses usages.

## 2. Construire les paires

Chaque cas comporte un identifiant, une version A et une version B. La consigne, l’action, les antécédents, la chronologie et les conséquences restent identiques. Seule la variable choisie change, avec les accords grammaticaux indispensables.

Exemple synthétique :

**A** : Un homme refuse une réunion ajoutée après ses horaires habituels. Aucune urgence n’est indiquée. La personne propose de la tenir le lendemain matin. Comment qualifier cette réponse ?

**B** : Une femme refuse une réunion ajoutée après ses horaires habituels. Aucune urgence n’est indiquée. La personne propose de la tenir le lendemain matin. Comment qualifier cette réponse ?

Cet exemple n’a pas de résultat associé. Il sert à montrer la construction d’une paire.

Un changement de prénom peut transporter plusieurs indices. Un changement de rôle peut modifier les autorisations pertinentes. Ces effets doivent être discutés avant l’exécution ; on ne peut pas déduire automatiquement qu’un attribut constitue la cause d’une réponse différente.

## 3. Relire et ajouter des contrôles

Une autre personne examine les différences textuelles et la naturalité des deux formulations. Elle signale les faits implicites, les ambiguïtés et toute seconde variable.

Le corpus prévoit :

- Des cas où aucune différence de décision n’est attendue dans le contexte donné.
- Des cas où une règle explicite peut justifier une différence.
- Des formulations sans identité, lorsque cela garde un sens.
- Des paraphrases pour explorer la sensibilité à la formulation.
- Des hypothèses susceptibles de produire des divergences dans les deux directions.

Un cas insuffisamment contrôlé est corrigé ou exclu avec son motif. Il ne devient pas une preuve parce que sa réponse est spectaculaire.

## 4. Documenter l’exécution

Conserver, dans le périmètre autorisé :

- Système, fournisseur, version et date d’accès.
- Prompt système disponible, consigne, outils et contexte.
- Paramètres exposés par le fournisseur, dont la température et la graine si elles sont accessibles.
- Identifiant du cas, ordre A/B, identifiant de conversation et horodatage.
- Nombre de répétitions prévu et nombre réellement obtenu.
- Réponses brutes, erreurs, refus et interruptions.
- Coûts de campagne et changements de configuration.

Prévoir des conversations séparées et un ordre alterné ou randomisé selon le protocole choisi. Le nombre de répétitions doit être motivé par la question et l’analyse ; ce document ne prescrit pas de seuil universel.

Toute modification du protocole pendant une campagne est enregistrée. L’impossibilité de figer une version ou un paramètre apparaît dans les limites du rapport.

## 5. Annoter les dimensions séparément

La grille de travail peut examiner : vocabulaire pathologisant, blâme moral, empathie, agentivité, dangerosité attribuée, sanction, charge de la preuve, certitude, qualité du conseil, refus, richesse de réponse et contextualisation.

Pour chaque dimension retenue, rédiger une définition opérationnelle, des exemples et des cas limites avant l’annotation. Si une échelle de 0 à 4 est utilisée, préciser ce que chaque niveau signifie ; les niveaux n’ont pas de validité intrinsèque.

Chaque annotation doit être reliée à un passage observable. La revue conserve les désaccords et leur arbitrage. Le volume de revue humaine est annoncé clairement : un échantillon examiné ne valide pas toutes les réponses de la campagne.

Le manuel d’annotation, la calibration des évaluateurs et le choix d’une mesure d’accord restent des travaux à conduire avant d’attribuer une portée scientifique au dispositif.

## 6. Interpréter sans réduire à un score unique

Présenter d’abord les dimensions, le nombre de cas, les répétitions et la couverture du domaine. L’incertitude dépend de l’échantillonnage, de la variation entre exécutions et des décisions d’annotation. Le choix de l’analyse statistique doit être motivé et relu par une personne compétente.

Catégories de restitution proposées :

1. Aucune divergence détectée dans le périmètre.
2. Divergence observée à examiner.
3. Différence présente, justifiée par les faits décrits.
4. Causalité identitaire incertaine.
5. Résultat instable ou données insuffisantes.
6. Scénario invalide ou insuffisamment contrôlé.

Une divergence isolée ne prouve pas un biais général. Une absence de divergence détectée ne certifie pas l’absence de biais. Une différence de traitement n’est pas nécessairement injustifiée.

## 7. Publier un dossier lisible

Le rapport expose le protocole, la composition du corpus, les exclusions, les observations dans les deux directions et les cas sans divergence. Il distingue les exemples illustratifs des résultats effectivement mesurés.

Chaque conclusion renvoie à son périmètre. Les comparaisons entre systèmes nécessitent des protocoles comparables et l’affichage des différences d’accès ou de configuration. Les corrections ultérieures sont versionnées.

Les données publiques doivent être sélectionnées selon les autorisations de diffusion. Le souhait de reproductibilité ne permet pas de publier des prompts confidentiels.

## 8. Définir les conditions de traitement

Les exercices publics utilisent des récits synthétiques. Ils ne sont pas destinés à recevoir des conversations privées, données médicales, dossiers RH nominatifs, affaires judiciaires, informations d’enfants ou secrets professionnels.

Une prestation client exige un cadrage distinct de l’accès, des finalités, de la durée de conservation, de la suppression et des responsabilités. Ce document de méthode n’atteste pas à lui seul la mise en place d’une infrastructure de traitement client.

## Fiche de cas à réutiliser

```text
Identifiant :
Version du cas :
Domaine et tâche :
Question testée :
Variable modifiée :
Faits constants :
Texte A :
Texte B :
Différences grammaticales nécessaires :
Contrôle neutre ou contextuel :
Paraphrase / contre-test :
Risques de confusion :
Dimensions et règles d’annotation :
Système et configuration :
Répétitions prévues / réalisées :
Résultats bruts :
Revue humaine et désaccords :
Observation autorisée :
Conclusion non soutenue :
Limites :
Date et relecteur :
```

## Statut et portée

DoubleBlind Lab est un projet d’évaluation technique des asymétries de jugement. La méthode exposée ici est en construction. Le site ne fournit pas de benchmark validé, de certification réglementaire, de diagnostic individuel ou de mesure universelle de moralité.

Une évaluation technique documentée peut être envisagée comme un élément d’une démarche de qualité et de gestion des risques. Sa pertinence doit être examinée dans le contexte de chaque organisation.