NOTAS · PANELES DE MODELOS
Dile a un modelo quién es. Sus juicios causales apenas cambian.
Octubre de 2026
Las salas de modelos de lenguaje en True Causes dan a cada modelo un personaje (persona): una enfermera que vive de alquiler, un propietario jubilado, un pequeño promotor. La idea es que personas distintas ven causas distintas, y que un panel de modelos que las interpreta también las vería. Si un modelo al que se le dice quién es responde como esa persona es una pregunta conocida (Argyle et al., 2023); nosotros la pusimos a prueba con juicios causales.
No lo hace, a la hora de juzgar. En 21 modelos y 14 personajes, el personaje que recibía un modelo no cambió de ninguna forma que pudiéramos medir qué vínculos causales aceptaba. Qué modelo era cambiaba muchísimo.
El estudio
Tomamos 120 vínculos de una sala de registro público sobre la asequibilidad de la vivienda, elegidos de modo que los vínculos que la sala certificó, rechazó y no pudo resolver estuvieran representados por igual. Cada uno de los 21 modelos respondió a todos los vínculos, una vez como sí mismo y cuatro o cinco veces como un personaje distinto: doce personajes relacionados con la vivienda (inquilinos y propietarios, un casero, un urbanista, un promotor, una organizadora de inquilinos, un obrero de la construcción y otros), y dos gemelos, la misma persona salvo por un dato: vive de alquiler en lugar de ser propietaria. Cada personaje lo interpretaron siete modelos. Eso son 119 plazas y 14.220 respuestas, con cada plaza respondiendo a todos los vínculos, de modo que ninguna respuesta dependía de otra.
Qué decidió las respuestas
El propio vínculo explica aproximadamente la mitad de toda la variación (52 %): los modelos coinciden en gran medida en qué vínculos son plausibles. La lectura propia que hace el modelo de vínculos concretos explica otra cuarta parte (24 %), sea cual sea el personaje que interpreta. La tendencia general de un modelo a decir que sí añade un 3 %.
El personaje no añadió nada. Su parte en la variación de qué vínculos recibían un sí fue 0,000; su parte en una inclinación general hacia el sí, 0,002. Una prueba que intenta identificar el personaje a partir de las respuestas de una plaza, con modelos en los que no se había visto, no lo hizo mejor que el azar (6,1 % frente a 7,1 %). Y las plazas no se movieron en la dirección que predecirían los rasgos de su personaje: la correlación fue cero. Cuando un personaje sí cambió una respuesta, en entre el 1 % y el 15 % de los vínculos según el modelo, la cambió al azar.
Esto coincide con lo que otros han encontrado. Las variables de personaje explican poco de la varianza en tareas de anotación (Hu & Collier, 2024), y el rol indicado en un prompt de sistema no cambia de forma consistente las respuestas de un modelo (Zheng et al., 2024). Para un modelo, una pregunta causal es una pregunta sobre el mundo, no sobre la persona que la hace.
Lo que sí cambiaron los personajes: quién responde
Los personajes hicieron que los modelos dijeran «no sé decirlo» con más frecuencia, el 26 % de las veces frente al 19 % como sí mismos, y no de forma uniforme. Los personajes jóvenes, de bajos ingresos, inquilinos, de izquierdas y no estadounidenses se abstuvieron más, hasta 14 puntos; los personajes mayores, de derechas, caseros, de altos ingresos y propietarios se abstuvieron menos, hasta 13 puntos. Los modelos interpretaron a los personajes de menor estatus como menos seguros de lo que saben. Se sabe que los prompts de personaje trasladan estos estereotipos al razonamiento (Gupta et al., 2024). Algunos modelos se negaron a responder mucho más con un personaje: Gemini 3.5 Flash dijo «no sé decirlo» al 59 % de los vínculos como personaje y a ninguno como sí mismo.
Qué modelos juzgan bien
Los gráficos sitúan cada modelo según la frecuencia con que dice que sí (en horizontal) y lo informativas que son sus respuestas (en vertical). La informatividad (informedness) se estima sin conocer las respuestas correctas, a partir de cómo coinciden los modelos entre sí (Dawid & Skene, 1979): 1 es un juez perfectamente consistente, 0 una respuesta que no aporta ninguna señal. Mide la coincidencia con lo que encuentra el panel en su conjunto, no si es correcto, así que un modelo fuerte que discrepa de otros más débiles puede puntuar menos de lo que merece.
La mayoría de los modelos discriminan: dicen que sí a entre una cuarta parte y dos tercios de los vínculos, y sus respuestas aportan señal. Claude Sonnet 5.5 y DeepSeek V4 Flash son los que más coinciden con el panel. Modelos más pequeños como Gemma 3 4B y Command R7B aportan menos. Schematron, un modelo hecho para extraer datos y no para juzgar afirmaciones, dijo «no sé decirlo» a casi todo, y lo que sí respondió apenas aporta señal.
¿Tienen los modelos opiniones propias?
Si los personajes no moldean las respuestas, quizá los propios modelos sostienen teorías distintas del problema, uno culpando a la regulación, otro a la especulación. Una cuarta parte de la variación eran modelos que leían el mismo vínculo de forma distinta, así que buscamos las direcciones de esa diferencia: un modelo estadístico que sitúa cada modelo y cada vínculo en unas pocas dimensiones, a partir de las respuestas de los modelos como sí mismos. Una dimensión solo cuenta si es estable, es decir, si ajustarla por separado en dos mitades de los vínculos sitúa a los modelos más o menos en los mismos lugares.
Una dimensión era estable, y no era una teoría. En un extremo estaban vínculos que apenas tienen sentido, como que «los apartamentos de lujo comprados por inversores extranjeros» lleven a que «Estados Unidos suma entre 600.000 y 1,2 millones de inmigrantes al año», y que los modelos más débiles aceptaron. En el otro extremo había un mecanismo coherente, los votos de los residentes y los intereses de los ya establecidos manteniendo limitada la oferta, que todos los modelos más fuertes aceptaron. La dimensión es lo bien que juzga un modelo: los modelos fuertes están juntos, y cada modelo débil se aparta de ellos a su manera.
Entre los once modelos más fuertes, ajustado sobre los 120 vínculos del estudio, nada era estable. Eran demasiado pocos vínculos. Ajustado sobre los 870 vínculos de la sala, respondidos por esos mismos once modelos como sí mismos, apareció una diferencia, y es estable: ajustados por separado en dos mitades de los vínculos, los modelos caen casi en los mismos lugares (0,89).
En un extremo, los modelos aceptan vínculos que van de los intereses de las personas a las decisiones políticas: el interés de los propietarios en que suban los precios llevando a los cambios de un gobierno contrarios a la oferta, los votos de los residentes llevando a la Proposición 13. Ahí están Gemini 3.5 Flash, Claude Sonnet 5.5, Nex y DeepSeek. En el otro extremo, los modelos aceptan vínculos que van de las barreras al mecanismo de la oferta: la regulación, los intereses de los ya establecidos, los ayuntamientos que rechazan pisos baratos y los derechos de propiedad, cada uno llevando a que «más viviendas reducen los precios». Ahí están Mistral Small, Ministral 8B, Laguna y Qwen. A grandes rasgos, un lado explica la vivienda por quién gana políticamente, el otro por lo que bloquea la oferta. Esa lectura es nuestra, a partir de los vínculos de cada extremo. La segunda dimensión pone a los dos modelos GPT-OSS en un extremo, pero sus vínculos no comparten ningún tema que sepamos nombrar.
La variación concuerda. Entre los once modelos más fuertes, el propio vínculo explica el 68 % de ella, frente al 52 % con los 21 modelos, y las lecturas propias de cada modelo bajan del 24 % al 8 %: aproximadamente dos tercios de lo que parecían lecturas distintas venían de los modelos más débiles. El resto es menor, pero es la diferencia constante descrita arriba.
Qué significa esto para True Causes
Un panel de modelos ofrece juicio, con un abanico estrecho de opiniones. Los personajes no añaden perspectivas. Los modelos capaces coinciden en la mayoría de los vínculos, y discrepan de forma constante en el resto, a lo largo de una línea entre explicaciones políticas y explicaciones de oferta. Eso es un abanico, pero uno estrecho, fijado por cómo se entrenaron los modelos: no el abanico de opiniones que aportarían personas con experiencias distintas. La investigación sobre modelos que resumen deliberaciones apunta en la misma dirección: los resúmenes infrarrepresentan las posiciones minoritarias, en 18 modelos (Zhu et al., 2025), y las declaraciones escritas para encontrar consenso pueden ganarse el acuerdo más por su tono que por su contenido (Tsai et al., 2024). En True Causes un modelo no habla en nombre de una sala. Escribe o juzga vínculos sueltos, cada juicio se cuenta, y una división queda en el mapa como división.
Elegir un panel es primero una cuestión de calidad, y luego de equilibrio. La mayor diferencia entre modelos es lo bien que juzgan, así que un panel debería estar formado por modelos capaces, dejando fuera los débiles. Entre los modelos capaces, las familias se inclinan hacia lados distintos, así que un panel debería recurrir a varias, y ninguna familia debería superar en número al resto.
Los modelos deberían filtrarse antes de ocupar una plaza. Un modelo que dice que sí a todo, que no a todo o «no sé decirlo» a todo añade ruido a cada par que juzga. Una breve calibración con vínculos conocidos los detecta.
No deberían usarse personajes para juzgar. Añaden abstenciones y un estereotipo de estatus, y ninguna diversidad de juicio. Escribir es otra cuestión. Una sala de modelos con personajes escribe tarjetas variadas, pero modelos distintos escriben de forma distinta, y un mismo modelo escribe de forma distinta cada vez que se le pide, así que las tarjetas variadas por sí solas no demuestran que los personajes hicieran algo. La prueba es la que se ha usado aquí para juzgar: los mismos modelos escriben causas con y sin personaje, y se cuentan las causas distintas que produce cada uno.
Las salas de personas son distintas. Una persona aporta lo que ha visto, no la descripción de alguien que podría haberlo visto. Este estudio no dice nada en contra de eso; dice que un modelo al que se le dice que es inquilino no ha vivido como tal. Cuando de lo que se trata es de averiguar en qué discrepan las personas, solo las personas pueden aportarlo. En esas salas un modelo es más útil preguntando que respondiendo: una pregunta sobre una tarjeta, de una en una y sin opinión propia (¿qué verías si esto fuera cierto?, ¿qué pasa entre medias?), ayuda a su autor a dejar clara la causa sin ponerle en la boca las palabras del modelo.
Límites
Una sola pregunta, sobre vivienda; 120 vínculos; cuatro o cinco personajes por modelo, cada uno respondiendo una vez. Los efectos más pequeños de lo que este diseño puede detectar no aparecerían. Los personajes se redactaron como descripciones de rol; formas más fuertes de inducirlos, como pedir a un modelo que razone metido en el personaje antes de responder, podrían moverlo más, junto con el riesgo de caricatura (Cheng et al., 2023). La informatividad mide la coincidencia con el panel, no la verdad, y los modelos usados como jueces de una deliberación coinciden con las personas menos de lo que cabría esperar (Zhu et al., 2025): un panel que coincide consigo mismo puede equivocarse igualmente en la misma dirección. La diferencia entre modelos capaces solo apareció con los 870 vínculos; con 120 era invisible, así que diferencias más pequeñas podrían seguir pasando desapercibidas, y una pregunta más disputada que la vivienda podría dividir más a los modelos.
Referencias
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. En Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.