NOTES · PANELS DE MODÈLES
Dites à un modèle qui il est. Ses jugements causaux changent à peine.
octobre 2026
Sur True Causes, les salles de modèles de langage donnent à chaque modèle un persona : une infirmière locataire, un propriétaire retraité, un petit promoteur. L’idée est que des personnes différentes voient des causes différentes, et qu’un panel de modèles qui les incarnent en verrait aussi. Savoir si un modèle à qui l’on dit qui il est répond comme cette personne est une question connue (Argyle et al., 2023) ; nous l’avons testée sur des jugements causaux.
Pour juger, ce n’est pas le cas. Sur 21 modèles et 14 personas, le persona attribué à un modèle n’a rien changé de mesurable aux liens causaux qu’il acceptait. Le choix du modèle, lui, changeait beaucoup.
L’étude
Nous avons pris 120 liens dans une salle d’archive publique sur l’accessibilité du logement, choisis pour que les liens certifiés, rejetés et non tranchés par la salle soient représentés à parts égales. Chacun des 21 modèles a répondu sur chaque lien, une fois en tant que lui-même et quatre ou cinq fois sous un persona différent : douze personas liés au logement (locataires et propriétaires, un bailleur, un urbaniste, un promoteur, une militante d’association de locataires, un ouvrier du bâtiment et d’autres), et deux jumeaux, la même personne à un fait près : locataire au lieu de propriétaire. Chaque persona a été joué par sept modèles. Cela fait 119 places et 14,220 réponses, chaque place répondant sur chaque lien, si bien qu’aucune réponse ne dépendait d’une autre.
Ce qui a déterminé les réponses
Le lien lui-même explique environ la moitié de toute la variation (52%) : les modèles s’accordent largement sur les liens plausibles. La lecture propre au modèle de certains liens explique un autre quart (24%), quel que soit le persona qu’il joue. La tendance générale d’un modèle à dire oui ajoute 3%.
Le persona n’a rien ajouté. Sa part dans la variation des liens qui recevaient un oui était de 0.000 ; sa part dans une inclination générale vers le oui, de 0.002. Un test qui tente d’identifier le persona à partir des réponses d’une place, sur des modèles où il n’avait pas été observé, n’a pas fait mieux que le hasard (6.1% contre 7.1%). Et les places ne se sont pas déplacées dans la direction que prédiraient les caractéristiques de leur persona : la corrélation était nulle. Quand un persona changeait bien une réponse, sur 1% à 15% des liens selon le modèle, il la changeait au hasard.
Cela concorde avec ce que d’autres ont trouvé. Les variables de persona expliquent peu de la variance dans les tâches d’annotation (Hu & Collier, 2024), et le rôle nommé dans un prompt système ne change pas de façon constante les réponses d’un modèle (Zheng et al., 2024). Pour un modèle, une question causale se lit comme une question sur le monde, pas sur la personne qui la pose.
Ce que les personas ont changé : qui répond
Les personas ont fait répondre aux modèles « je ne peux pas dire » plus souvent, 26% du temps contre 19% en tant qu’eux-mêmes, et pas de manière uniforme. Les personas jeunes, à faibles revenus, locataires, de gauche et non américains se sont davantage abstenus, jusqu’à 14 points de plus ; les personas plus âgés, de droite, bailleurs, à hauts revenus et propriétaires se sont moins abstenus, jusqu’à 13 points de moins. Les modèles ont joué les personas de statut inférieur comme moins sûrs de ce qu’ils savent. On sait que les prompts de persona introduisent de tels stéréotypes dans le raisonnement (Gupta et al., 2024). Certains modèles ont refusé bien plus souvent avec un persona : Gemini 3.5 Flash a répondu « je ne peux pas dire » à 59% des liens sous un persona, et à aucun en tant que lui-même.
Quels modèles jugent bien
Les graphiques placent chaque modèle selon la fréquence à laquelle il dit oui (à l’horizontale) et la valeur informative de ses réponses (à la verticale). L’informativité est estimée sans connaître les bonnes réponses, à partir de la manière dont les modèles s’accordent entre eux (Dawid & Skene, 1979) : 1 correspond à un juge parfaitement cohérent, 0 à une réponse qui ne porte aucun signal. Elle mesure l’accord avec ce que trouve le panel dans son ensemble, pas la justesse, si bien qu’un modèle solide en désaccord avec des modèles plus faibles peut obtenir un score inférieur à ce qu’il mérite.
La plupart des modèles discriminent : ils disent oui à entre un quart et deux tiers des liens, et leurs réponses portent un signal. Claude Sonnet 5.5 et DeepSeek V4 Flash sont les plus en accord avec le panel. Des modèles plus petits comme Gemma 3 4B et Command R7B en portent moins. Schematron, un modèle conçu pour extraire des données plutôt que pour juger des affirmations, a répondu « je ne peux pas dire » à presque tout, et ce à quoi il a répondu ne porte quasiment aucun signal.
Les modèles ont-ils leurs propres points de vue ?
Si les personas ne façonnent pas les réponses, peut-être les modèles eux-mêmes ont-ils des théories différentes du problème, l’un mettant en cause la réglementation, l’autre la spéculation. Un quart de la variation venait de modèles qui lisaient différemment le même lien ; nous avons donc cherché les directions de cette différence : un modèle statistique qui place chaque modèle et chaque lien sur quelques dimensions, à partir des réponses des modèles en tant qu’eux-mêmes. Une dimension ne compte que si elle est stable, c’est-à-dire si l’ajuster séparément sur deux moitiés des liens place les modèles à peu près aux mêmes endroits.
Une dimension était stable, et ce n’était pas une théorie. À une extrémité se trouvaient des liens qui ont à peine un sens, comme « des appartements de luxe achetés par des investisseurs étrangers » menant à « l’Amérique accueille de 600,000 à 1.2 million d’immigrants par an », que les modèles plus faibles acceptaient. À l’autre extrémité se trouvait un mécanisme cohérent, les votes des habitants et les intérêts des propriétaires en place maintenant l’offre limitée, que les modèles les plus solides acceptaient tous. Cette dimension, c’est la qualité de jugement d’un modèle : les modèles solides sont proches les uns des autres, et chaque modèle faible s’en écarte à sa manière.
Parmi les onze modèles les plus solides, ajustés sur les 120 liens de l’étude, rien n’était stable. C’était trop peu de liens. Ajustés sur les 870 liens de la salle, auxquels les mêmes onze modèles ont répondu en tant qu’eux-mêmes, une différence est apparue, et elle est stable : ajustés séparément sur deux moitiés des liens, les modèles se retrouvent presque aux mêmes endroits (0.89).
À une extrémité, les modèles acceptent des liens allant des intérêts des gens vers des décisions politiques : l’intérêt des propriétaires à la hausse des prix menant aux mesures d’un gouvernement contre l’offre, les votes des habitants menant à la Proposition 13. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex et DeepSeek se situent là. À l’autre extrémité, les modèles acceptent des liens allant des obstacles vers le mécanisme de l’offre : la réglementation, les intérêts des propriétaires en place, les conseils municipaux qui refusent les logements bon marché et les droits de propriété, chacun menant à « davantage de logements fait baisser les prix ». Mistral Small, Ministral 8B, Laguna et Qwen se situent là. En gros, un côté explique le logement par qui y gagne politiquement, l’autre par ce qui bloque l’offre. Cette lecture est la nôtre, à partir des liens situés à chaque extrémité. La seconde dimension place les deux modèles GPT-OSS à une extrémité, mais ses liens n’ont aucun thème commun que nous sachions nommer.
La variation concorde. Parmi les onze modèles les plus solides, le lien lui-même en explique 68%, contre 52% avec les 21 modèles, et les lectures propres à chaque modèle tombent de 24% à 8% : environ deux tiers de ce qui ressemblait à des lectures différentes venaient des modèles plus faibles. Le reste est plus petit, mais c’est la différence cohérente décrite plus haut.
Ce que cela signifie pour True Causes
Un panel de modèles offre du jugement, avec un éventail de points de vue étroit. Les personas n’ajoutent aucune perspective. Les modèles performants s’accordent sur la plupart des liens, et divergent de façon cohérente sur le reste, selon une ligne qui sépare explications politiques et explications par l’offre. C’est un éventail, mais étroit, fixé par la manière dont les modèles ont été entraînés : pas l’éventail de points de vue qu’apporteraient des personnes aux expériences différentes. Les recherches sur les modèles qui résument des délibérations vont dans le même sens : les résumés sous-représentent les positions minoritaires, sur 18 modèles (Zhu et al., 2025), et des déclarations rédigées pour trouver un consensus peuvent emporter l’adhésion par leur ton plus que par leur contenu (Tsai et al., 2024). Sur True Causes, un modèle ne parle pas au nom d’une salle. Il écrit ou juge des liens isolés, chaque jugement est compté, et un partage reste sur la carte comme un partage.
Choisir un panel, c’est d’abord une question de qualité, puis d’équilibre. La plus grande différence entre les modèles est la qualité de leur jugement ; un panel devrait donc se composer de modèles performants, en laissant de côté les faibles. Parmi les modèles performants, les familles penchent dans des directions différentes ; un panel devrait donc puiser dans plusieurs, et aucune famille ne devrait être plus nombreuse que toutes les autres réunies.
Les modèles devraient être filtrés avant d’obtenir une place. Un modèle qui répond oui à tout, non à tout ou « je ne peux pas dire » à tout ajoute du bruit à chaque paire qu’il juge. Un court étalonnage sur des liens connus permet de les repérer.
Les personas ne devraient pas servir à juger. Ils ajoutent des abstentions et un stéréotype de statut, et aucune diversité de jugement. L’écriture est une question à part. Une salle de modèles dotés de personas écrit des fiches variées, mais des modèles différents écrivent différemment, et un même modèle écrit différemment à chaque sollicitation ; des fiches variées ne montrent donc pas à elles seules que les personas ont servi à quelque chose. Le test est celui utilisé ici pour le jugement : les mêmes modèles écrivent des causes avec et sans persona, et l’on compte les causes distinctes que chacun produit.
Les salles de personnes sont différentes. Une personne apporte ce qu’elle a vu, pas la description de quelqu’un qui aurait pu le voir. Cette étude ne dit rien contre cela ; elle dit qu’un modèle à qui l’on dit qu’il est locataire n’a pas vécu comme tel. Quand il s’agit de découvrir sur quoi les gens sont en désaccord, seules des personnes peuvent l’apporter. Dans ces salles, un modèle est plus utile pour poser des questions que pour y répondre : une question sur une fiche, une à la fois et sans point de vue propre (que verriez-vous si c’était vrai ? que se passe-t-il entre les deux ?), aide son auteur à clarifier la cause sans lui mettre dans la bouche les mots du modèle.
Limites
Une seule question, le logement ; 120 liens ; quatre ou cinq personas par modèle, chacun répondant une fois. Des effets plus petits que ce que ce dispositif peut voir n’apparaîtraient pas. Les personas étaient rédigés comme des descriptions de rôle ; des façons plus fortes de les induire, comme demander à un modèle de raisonner dans la peau du personnage avant de répondre, pourraient le faire bouger davantage, avec le risque de caricature qui va avec (Cheng et al., 2023). L’informativité mesure l’accord avec le panel, pas la vérité, et les modèles utilisés comme juges de délibérations s’accordent avec les personnes moins bien qu’on pourrait l’espérer (Zhu et al., 2025) : un panel en accord avec lui-même peut quand même se tromper dans une même direction. La différence entre modèles performants n’est apparue qu’avec les 870 liens ; avec 120, elle était invisible, si bien que des différences plus petites pourraient encore passer inaperçues, et une question plus disputée que le logement pourrait diviser davantage les modèles.
Références
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.