NOTAS · PAINÉIS DE MODELOS
Diga a um modelo quem ele é. Os seus juízos causais quase não mudam.
Outubro de 2026
As salas de modelos de linguagem no True Causes dão a cada modelo uma persona: uma enfermeira que arrenda casa, um reformado com casa própria, um pequeno promotor imobiliário. A ideia é que pessoas diferentes veem causas diferentes, e um painel de modelos a fazer de conta que são elas também as veria. Saber se um modelo a quem se diz quem é responde como essa pessoa é uma questão conhecida (Argyle et al., 2023); testámo-la em juízos causais.
Para avaliar, não responde. Em 21 modelos e 14 personas, a persona atribuída a um modelo não mudou, de nenhuma forma que conseguíssemos medir, as ligações causais que aceitou. Qual era o modelo mudou muito.
O estudo
Tirámos 120 ligações de uma sala de registo público sobre a acessibilidade da habitação, escolhidas de forma a que as ligações que a sala certificou, rejeitou e não conseguiu decidir estivessem igualmente representadas. Cada um dos 21 modelos respondeu a todas as ligações, uma vez como ele próprio e quatro ou cinco vezes como uma persona diferente: doze personas ligadas à habitação (inquilinos e proprietários, um senhorio, um urbanista, um promotor imobiliário, uma organizadora de inquilinos, um trabalhador da construção civil, entre outros) e dois gémeos, a mesma pessoa exceto num facto, arrendar em vez de ser proprietária. Cada persona foi interpretada por sete modelos. São 119 lugares e 14,220 respostas, com cada lugar a responder a todas as ligações, para que nenhuma resposta dependesse de outra.
O que decidiu as respostas
A própria ligação explica cerca de metade de toda a variação (52%): os modelos concordam em grande parte sobre que ligações são plausíveis. A leitura própria que um modelo faz de ligações concretas explica mais um quarto (24%), seja qual for a persona que interpreta. A tendência geral de um modelo para dizer que sim acrescenta 3%.
A persona não acrescentou nada. A sua parte na variação de que ligações receberam um sim foi 0.000; a sua parte numa inclinação geral para o sim, 0.002. Um teste que tenta identificar a persona a partir das respostas de um lugar, com modelos em que não tinha sido vista, não fez melhor do que o acaso (6.1% contra 7.1%). E os lugares não se moveram na direção que as características da sua persona fariam prever: a correlação foi zero. Quando uma persona mudou uma resposta, em entre 1% e 15% das ligações consoante o modelo, mudou-a ao acaso.
Isto coincide com o que outros encontraram. As variáveis de persona explicam pouco da variância em tarefas de anotação (Hu & Collier, 2024), e o papel indicado num prompt de sistema não muda de forma consistente as respostas de um modelo (Zheng et al., 2024). Uma pergunta causal é lida por um modelo como uma pergunta sobre o mundo, não sobre a pessoa que pergunta.
O que as personas mudaram: quem responde
As personas fizeram os modelos dizer “não sei dizer” com mais frequência, 26% das vezes contra 19% como eles próprios, e não de forma uniforme. As personas jovens, de baixos rendimentos, inquilinas, de esquerda e não americanas abstiveram-se mais, até 14 pontos; as personas mais velhas, de direita, senhorias, de altos rendimentos e proprietárias abstiveram-se menos, até 13 pontos. Os modelos interpretaram as personas de estatuto mais baixo como menos seguras do que sabem. Sabe-se que os prompts de persona levam estes estereótipos para o raciocínio (Gupta et al., 2024). Alguns modelos recusaram muito mais com uma persona: o Gemini 3.5 Flash disse “não sei dizer” a 59% das ligações como persona e a nenhuma como ele próprio.
Que modelos avaliam bem
Os gráficos situam cada modelo pela frequência com que diz que sim (na horizontal) e pelo grau de informação das suas respostas (na vertical). A informatividade (informedness) é estimada sem conhecer as respostas certas, a partir da forma como os modelos concordam uns com os outros (Dawid & Skene, 1979): 1 é um avaliador perfeitamente consistente, 0 uma resposta que não transporta nenhum sinal. Mede a concordância com aquilo que o painel no seu conjunto encontra, não a correção, por isso um modelo forte que discorde de modelos mais fracos pode ter uma pontuação inferior à que merece.
A maioria dos modelos discrimina: diz que sim a entre um quarto e dois terços das ligações, e as suas respostas transportam sinal. O Claude Sonnet 5.5 e o DeepSeek V4 Flash são os que mais concordam com o painel. Modelos mais pequenos, como o Gemma 3 4B e o Command R7B, transportam menos. O Schematron, um modelo feito para extrair dados e não para avaliar afirmações, disse “não sei dizer” a quase tudo, e aquilo a que respondeu quase não transporta sinal.
Os modelos têm opiniões próprias?
Se as personas não moldam as respostas, talvez os próprios modelos tenham teorias diferentes sobre o problema, um a culpar a regulação, outro a especulação. Um quarto da variação eram modelos a ler a mesma ligação de forma diferente, por isso procurámos as direções dessa diferença: um modelo que situa cada modelo e cada ligação em algumas dimensões, a partir das respostas dos modelos como eles próprios. Uma dimensão só conta se for estável, isto é, se ajustá-la separadamente em duas metades das ligações puser os modelos praticamente nos mesmos sítios.
Uma dimensão era estável, e não era uma teoria. Numa ponta estavam ligações que mal fazem sentido, como “apartamentos de luxo comprados por investidores estrangeiros” a levar a “a América acrescenta 600,000 a 1.2 milhões de imigrantes por ano”, que os modelos mais fracos aceitaram. Na outra ponta estava um mecanismo coerente, os votos dos moradores e os interesses de quem já lá está a manterem a oferta limitada, que os modelos mais fortes aceitaram todos. A dimensão é a qualidade com que um modelo avalia: os modelos fortes ficam perto uns dos outros, e cada modelo fraco afasta-se deles à sua maneira.
Entre os onze modelos mais fortes, ajustados nas 120 ligações do estudo, nada era estável. Eram ligações a menos. Ajustados em todas as 870 ligações da sala, respondidas pelos mesmos onze modelos como eles próprios, surgiu uma diferença, e é estável: ajustados separadamente em duas metades das ligações, os modelos ficam quase nos mesmos sítios (0.89).
Numa ponta, os modelos aceitam ligações dos interesses das pessoas para as decisões políticas: o interesse dos proprietários na subida dos preços a levar às mudanças de um governo contra a oferta, os votos dos moradores a levar à Proposition 13. O Gemini 3.5 Flash, o Claude Sonnet 5.5, o Nex e o DeepSeek ficam aí. Na outra ponta, os modelos aceitam ligações dos obstáculos para o mecanismo da oferta: a regulação, os interesses de quem já lá está, as câmaras que recusam apartamentos a baixo custo e os direitos de propriedade, cada um a levar a “mais habitações fazem baixar os preços”. O Mistral Small, o Ministral 8B, o Laguna e o Qwen ficam aí. Grosso modo, um lado explica a habitação por quem ganha politicamente, o outro pelo que bloqueia a oferta. Essa leitura é nossa, a partir das ligações em cada ponta. A segunda dimensão põe ambos os modelos GPT-OSS numa ponta, mas as suas ligações não partilham nenhum tema a que consigamos dar nome.
A variação concorda. Entre os onze modelos mais fortes, a própria ligação explica 68% dela, contra 52% com todos os 21 modelos, e as leituras específicas de cada modelo descem de 24% para 8%: cerca de dois terços do que pareciam leituras diferentes vinham dos modelos mais fracos. O resto é menor, mas é a diferença consistente descrita acima.
O que isto significa para o True Causes
Um painel de modelos oferece capacidade de juízo, com uma gama estreita de opiniões. As personas não acrescentam perspetivas. Os modelos capazes concordam na maioria das ligações e diferem de forma consistente nas restantes, ao longo de uma linha entre explicações políticas e explicações pela oferta. É uma gama, mas estreita, definida pela forma como os modelos foram treinados: não a gama de opiniões que pessoas com experiências diferentes trariam. A investigação sobre modelos que resumem deliberações aponta no mesmo sentido: os resumos sub-representam as posições minoritárias, em 18 modelos (Zhu et al., 2025), e declarações escritas para encontrar consenso podem conquistar a concordância mais pelo tom do que pelo conteúdo (Tsai et al., 2024). No True Causes, um modelo não fala por uma sala. Escreve ou avalia ligações isoladas, cada juízo é contado, e uma divisão fica no mapa como divisão.
Escolher um painel é primeiro uma questão de qualidade, depois de equilíbrio. A maior diferença entre modelos é a qualidade com que avaliam, por isso um painel deve ser feito de modelos capazes, deixando de fora os fracos. Entre os modelos capazes, as famílias inclinam-se em sentidos diferentes, por isso um painel deve recorrer a várias, e nenhuma família deve ser mais numerosa do que as restantes.
Os modelos devem ser triados antes de ocuparem um lugar. Um modelo que diz sim a tudo, não a tudo ou “não sei dizer” a tudo acrescenta ruído a cada par que avalia. Uma calibração curta com ligações conhecidas deteta-os.
As personas não devem ser usadas para avaliar. Acrescentam abstenções e um estereótipo de estatuto, e nenhuma diversidade de juízo. Escrever é uma questão à parte. Uma sala de modelos com personas escreve cartões variados, mas modelos diferentes escrevem de forma diferente, e um mesmo modelo escreve de forma diferente cada vez que lhe pedem, por isso cartões variados, por si só, não mostram que as personas fizeram alguma coisa. O teste é o que aqui se usou para avaliar: os mesmos modelos escrevem causas com e sem persona, e contam-se as causas distintas que cada um produz.
As salas de pessoas são diferentes. Uma pessoa traz aquilo que viu, não a descrição de alguém que o poderia ter visto. Este estudo não diz nada contra isso; diz que um modelo a quem se diz que é inquilino não viveu como tal. Quando o objetivo é descobrir aquilo em que as pessoas discordam, só as pessoas o podem dar. Nessas salas, um modelo é mais útil a perguntar do que a responder: uma pergunta sobre um cartão, uma de cada vez e sem opinião própria (o que veria se isto fosse verdade? o que acontece pelo meio?), ajuda o seu autor a tornar a causa clara sem lhe pôr na boca as palavras do modelo.
Limites
Uma pergunta, a habitação; 120 ligações; quatro ou cinco personas por modelo, cada uma a responder uma vez. Efeitos menores do que aquilo que este desenho consegue ver não apareceriam. As personas foram escritas como descrições de papéis; formas mais fortes de as induzir, como pedir a um modelo que raciocine na pele da personagem antes de responder, podem afastá-lo mais, a par do risco de caricatura (Cheng et al., 2023). A informatividade mede a concordância com o painel, não a verdade, e os modelos usados como avaliadores de deliberações concordam com as pessoas menos bem do que se poderia esperar (Zhu et al., 2025): um painel que concorda consigo próprio pode estar errado no mesmo sentido. A diferença entre modelos capazes só apareceu com todas as 870 ligações; com 120 era invisível, por isso diferenças menores podem ainda passar despercebidas, e uma pergunta mais disputada do que a habitação poderia dividir mais os modelos.
Referências
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. Em Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.