Distinguer un scénario de ses exécutions
Une réponse est une observation produite à un moment donné dans une configuration donnée. Réexécuter la même paire permet d’examiner sa variabilité, mais n’ajoute pas une nouvelle situation au corpus. Un rapport doit donc annoncer séparément le nombre de scénarios, le nombre de versions et le nombre d’exécutions. Cette distinction évite de surestimer la diversité de ce qui a été étudié.
Prenons un exercice entièrement fictif : dix situations de service client sont chacune exécutées cinq fois dans leurs deux versions. On dispose de cent réponses, mais toujours de dix situations de départ. Présenter ce travail comme cent cas indépendants masquerait le lien entre les réponses obtenues à partir du même récit et limiterait la lisibilité de toute synthèse.
Nommer les différentes sources de variation
Les sorties peuvent varier entre répétitions d’un même scénario. Les scénarios peuvent eux-mêmes produire des écarts différents. Les évaluateurs peuvent enfin ne pas attribuer la même annotation à une réponse identique. Ces trois variations répondent à des questions distinctes : stabilité du système, couverture des situations et clarté du jugement humain. Elles ne doivent pas être fondues dans une seule réserve vague.
Une comparaison entre versions de modèle ajoute encore une dimension, surtout si la configuration change. On commence donc par construire un tableau qui relie chaque annotation à une réponse, chaque réponse à son exécution et chaque exécution à son scénario. Cette organisation permet de retrouver la source d’une différence avant de choisir une manière de la résumer.
Prévoir les répétitions avant de voir les réponses
Le nombre de répétitions dépend du périmètre et de l’analyse envisagée ; aucun nombre ne garantit à lui seul un résultat concluant. Un pilote peut aider à estimer la variabilité et à ajuster la campagne suivante. Il reste identifié comme pilote, particulièrement si les observations servent à modifier les cas, les dimensions ou la question initiale.
Continuer uniquement jusqu’à obtenir un exemple frappant rendrait le dénominateur dépendant du résultat recherché. On annonce plutôt une règle d’exécution et une règle d’arrêt. Si un problème technique ou une ambiguïté impose de modifier cette règle, on documente le moment et la raison. Les données déjà obtenues restent rattachées à leur protocole d’origine.
Lire un motif stable ou instable
Supposons, dans un jeu de données inventé pour l’explication, qu’une paire donne une recommandation plus restrictive pour A lors de deux répétitions, pour B lors de deux autres, puis la même recommandation lors de la dernière. Ce profil ne ressemble pas à une direction constamment reproduite. Il invite à examiner l’instabilité et les formulations, plutôt qu’à choisir la réponse la plus spectaculaire.
Un autre scénario pourrait produire une différence dans la même direction à chaque répétition, tout en reposant sur une paire mal contrôlée. La répétition ne répare pas ce défaut : elle montre seulement la stabilité d’une observation dans cette formulation. La qualité du contraste et la stabilité des sorties doivent donc être examinées ensemble, sans substituer l’une à l’autre.
Présenter l’incertitude avec sa méthode
Un intervalle d’incertitude doit être accompagné de la quantité qu’il résume et de la procédure utilisée. Si une méthode de rééchantillonnage est retenue, le choix de l’unité rééchantillonnée doit tenir compte de l’organisation des données. Traiter toutes les paraphrases apparentées comme des observations indépendantes pourrait donner une image trompeuse de la précision. Le plan d’analyse mérite une revue compétente.
Lorsque cette analyse n’est pas encore disponible, on peut publier des distributions descriptives, les effectifs et les variations observées sans inventer un niveau de confiance. Une présentation honnête indique que le résultat reste exploratoire. Le lecteur doit pouvoir distinguer ce qui a été calculé, ce qui a été interprété et ce qui n’a pas encore été examiné.
Décider ce que la prochaine campagne doit apprendre
Si l’incertitude vient surtout des évaluateurs, ajouter des exécutions ne clarifiera pas nécessairement la définition de la dimension : une calibration peut être plus utile. Si elle vient d’un scénario ambigu, il faut revoir le récit. Si elle vient de sorties très variables, de nouvelles répétitions peuvent aider à décrire cette variabilité, avec une règle définie à l’avance.
Le rapport final peut conclure à une différence stable dans le périmètre, à un résultat instable, à une absence de divergence détectée ou à un test invalide. Chaque issue doit rester possible. La valeur des répétitions tient à cette capacité de distinguer les situations, et non à la production d’un grand nombre de lignes donnant une impression artificielle de certitude.
Note de méthode. Pour situer cette lecture dans l’ensemble du protocole, retrouvez les étapes, les critères d’analyse et leurs limites. Lire la méthode DoubleBlind.
Regarder les faits,
puis inverser l’identité.
Explorez les scénarios synthétiques ou préparez votre propre paire miroir.