노트 · 모델 패널
모델에게 누구인지 알려 줘도, 인과 판단은 거의 바뀌지 않습니다.
2026년 10월
True Causes의 언어 모델 방은 각 모델에게 페르소나를 줍니다. 세 들어 사는 간호사, 은퇴한 주택 소유자, 소규모 개발업자 같은 것입니다. 사람마다 보는 원인이 다르니, 그들을 연기하는 모델 패널도 그럴 것이라는 생각입니다. 자기가 누구인지 들은 모델이 그 사람처럼 답하는지는 이미 알려진 질문입니다(Argyle et al., 2023). 우리는 이것을 인과 판단에서 시험했습니다.
판단에서는 그렇지 않습니다. 모델 21개와 페르소나 14개에 걸쳐, 모델에게 준 페르소나는 그 모델이 어떤 인과 연결을 받아들이는지를 측정할 수 있을 만큼도 바꾸지 않았습니다. 어떤 모델이냐는 큰 차이를 만들었습니다.
연구
우리는 주거비 부담을 다룬 공개 기록 방에서 연결 120개를 가져왔습니다. 방이 확정한 연결, 거부한 연결, 결론을 내지 못한 연결이 똑같은 비율로 들어가도록 골랐습니다. 모델 21개가 각각 모든 연결에 한 번은 자기 자신으로, 네다섯 번은 다른 페르소나로 답했습니다. 페르소나는 주거 관련 페르소나 열두 개(세입자와 소유자, 임대인, 도시계획가, 개발업자, 세입자 조직가, 건설 노동자 등)와 쌍둥이 페르소나 두 개입니다. 쌍둥이는 한 가지 사실, 집을 소유하는 대신 세 들어 산다는 점만 다른 같은 사람입니다. 각 페르소나는 모델 일곱 개가 연기했습니다. 그래서 자리는 119개, 답은 14,220개이고, 모든 자리가 모든 연결에 답했으므로 어떤 답도 다른 답에 좌우되지 않았습니다.
무엇이 답을 정했나
연결 자체가 전체 변동의 약 절반(52%)을 설명합니다: 모델들은 어떤 연결이 그럴듯한지에 대해 대체로 의견이 같습니다. 특정 연결을 모델마다 다르게 읽는 부분이 다시 4분의 1(24%)을 설명하며, 이는 모델이 어떤 페르소나를 연기하든 마찬가지입니다. 모델이 대체로 ‘예’라고 말하는 경향은 3%를 더합니다.
페르소나는 아무것도 더하지 않았습니다. 어떤 연결이 ‘예’를 받았는지의 변동에서 페르소나가 차지하는 몫은 0.000이었고, 전반적으로 ‘예’ 쪽으로 기우는 경향에서의 몫은 0.002였습니다. 한 자리의 답으로 페르소나를 알아맞히려는 검사를 학습 때 보지 못한 모델들의 자리에 적용해 보았더니 우연보다 나을 것이 없었습니다(6.1% 대 7.1%). 그리고 자리들은 페르소나의 특징으로 예측되는 방향으로 움직이지 않았습니다. 상관관계는 0이었습니다. 페르소나가 실제로 답을 바꾼 경우, 즉 모델에 따라 연결의 1%에서 15% 사이에서는, 무작위로 바꾸었습니다.
이는 다른 연구들이 발견한 것과 일치합니다. 주석 작업에서 페르소나 변수는 분산을 거의 설명하지 못하며(Hu & Collier, 2024), 시스템 프롬프트에 적힌 역할은 모델의 답을 일관되게 바꾸지 않습니다(Zheng et al., 2024). 모델에게 인과 질문은 묻는 사람에 관한 질문이 아니라 세상에 관한 질문으로 읽힙니다.
페르소나가 바꾼 것: 누가 답하는가
페르소나를 주면 모델은 ‘말할 수 없음’을 더 자주 골랐습니다. 자기 자신일 때 19%였던 것이 26%가 되었고, 고르게 늘지도 않았습니다. 젊은, 저소득, 세입자, 진보 성향, 미국 외 페르소나는 최대 14%포인트 더 기권했고, 나이 든, 보수 성향, 임대인, 고소득, 소유자 페르소나는 최대 13%포인트 덜 기권했습니다. 모델들은 지위가 낮은 페르소나를 자기가 아는 것에 덜 확신하는 사람으로 연기했습니다. 페르소나 프롬프트가 이런 고정관념을 추론에 끌어들인다는 것은 알려져 있습니다(Gupta et al., 2024). 어떤 모델은 페르소나가 있을 때 훨씬 더 많이 거부했습니다. Gemini 3.5 Flash는 페르소나로서는 연결의 59%에 ‘말할 수 없음’이라고 답했고, 자기 자신으로서는 하나도 그렇게 답하지 않았습니다.
어떤 모델이 판단을 잘하는가
차트는 각 모델을 얼마나 자주 ‘예’라고 하는지(가로)와 그 답이 얼마나 많은 정보를 담는지(세로)로 배치합니다. 정보량(informedness)은 정답을 모르는 상태에서, 모델들이 서로 얼마나 일치하는지로 추정합니다(Dawid & Skene, 1979). 1은 완벽하게 일관된 판정자이고, 0은 아무 신호도 담지 않은 답입니다. 이것은 정확성이 아니라 패널 전체가 내린 결론과의 일치를 재므로, 약한 모델들과 의견이 다른 강한 모델은 마땅한 것보다 낮은 점수를 받을 수 있습니다.
대부분의 모델은 구별을 합니다. 연결의 4분의 1에서 3분의 2 사이에 ‘예’라고 하고, 그 답에는 신호가 있습니다. Claude Sonnet 5.5와 DeepSeek V4 Flash가 패널과 가장 많이 일치합니다. Gemma 3 4B나 Command R7B 같은 작은 모델은 신호가 더 적습니다. 주장을 판단하기보다 데이터를 뽑아내도록 만든 모델인 Schematron은 거의 모든 것에 ‘말할 수 없음’이라고 답했고, 답한 것에도 신호가 거의 없습니다.
모델에게도 자기 견해가 있는가?
페르소나가 답을 만들지 않는다면, 모델 자체가 문제에 대해 서로 다른 이론을 가지고 있을지도 모릅니다. 어떤 모델은 규제를, 다른 모델은 투기를 탓하는 식입니다. 변동의 4분의 1은 모델들이 같은 연결을 다르게 읽는 데서 왔으므로, 우리는 그 차이의 방향을 찾아보았습니다. 모델들이 자기 자신으로 한 답을 가지고, 각 모델과 각 연결을 몇 개의 차원 위에 배치하는 모형을 썼습니다. 차원은 안정적일 때만 인정합니다. 즉 연결을 두 절반으로 나눠 따로 맞췄을 때 모델들이 거의 같은 자리에 놓여야 합니다.
안정적인 차원은 하나였고, 그것은 이론이 아니었습니다. 한쪽 끝에는 말이 거의 되지 않는 연결이 있었습니다. 예를 들어 “외국인 투자자가 사들인 고급 아파트”에서 “미국은 매년 60만~120만 명의 이민자가 늘어난다”로 이어지는 연결로, 약한 모델들이 받아들였습니다. 다른 쪽 끝에는 하나의 일관된 메커니즘, 곧 주민들의 표와 기존 거주자들의 이해관계가 공급을 묶어 둔다는 연결이 있었고, 강한 모델들은 모두 이를 받아들였습니다. 이 차원은 모델이 얼마나 판단을 잘하느냐입니다. 강한 모델들은 가까이 모여 있고, 약한 모델은 저마다 제 방식으로 그들에게서 벗어납니다.
더 강한 모델 열한 개 사이에서는, 이 연구의 연결 120개로 맞췄을 때 아무것도 안정적이지 않았습니다. 연결이 너무 적었습니다. 같은 열한 개 모델이 자기 자신으로 답한, 방의 연결 870개 전부로 맞추자 차이가 나타났고, 그 차이는 안정적입니다. 연결을 두 절반으로 나눠 따로 맞춰도 모델들이 거의 같은 자리에 놓입니다(0.89).
한쪽 끝의 모델들은 사람들의 이해관계에서 정치적 결정으로 가는 연결을 받아들입니다. 집값 상승에 걸린 주택 소유자들의 이해관계가 정부의 공급 억제 조치로 이어진다거나, 주민들의 표가 Proposition 13으로 이어진다는 연결입니다. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex, DeepSeek가 여기에 있습니다. 다른 쪽 끝의 모델들은 장벽에서 공급 메커니즘으로 가는 연결을 받아들입니다. 규제, 기존 거주자들의 이해관계, 저가 주택을 거부하는 지방의회, 재산권이 각각 “주택 수가 늘면 가격이 내려간다”로 이어진다는 연결입니다. Mistral Small, Ministral 8B, Laguna, Qwen이 여기에 있습니다. 대략, 한쪽은 정치적으로 누가 이득을 보는지로 주거 문제를 설명하고, 다른 쪽은 무엇이 공급을 막는지로 설명합니다. 이 해석은 양 끝의 연결을 보고 우리가 내린 것입니다. 두 번째 차원은 GPT-OSS 모델 두 개를 한쪽 끝에 두지만, 그 연결들에는 우리가 이름 붙일 수 있는 공통 주제가 없습니다.
변동도 같은 이야기를 합니다. 더 강한 모델 열한 개 사이에서는 연결 자체가 변동의 68%를 설명하며, 모델 21개 전체일 때의 52%보다 높습니다. 그리고 모델별 해석은 24%에서 8%로 떨어집니다. 서로 다른 해석처럼 보였던 것의 약 3분의 2가 약한 모델들에서 나왔다는 뜻입니다. 나머지는 더 작지만, 위에서 본 일관된 차이입니다.
True Causes에 주는 의미
모델 패널은 판단을 제공하지만, 관점의 폭은 좁습니다. 페르소나는 관점을 더하지 않습니다. 유능한 모델들은 대부분의 연결에 동의하고, 나머지에서는 정치적 설명과 공급 측 설명 사이의 선을 따라 일관되게 갈립니다. 폭이 있기는 하지만 좁고, 그 폭은 모델이 어떻게 학습되었는지가 정합니다. 서로 다른 경험을 가진 사람들이 가져올 관점의 폭이 아닙니다. 숙의를 요약하는 모델에 관한 연구도 같은 방향을 가리킵니다. 18개 모델에 걸쳐 요약은 소수 입장을 덜 반영하며(Zhu et al., 2025), 합의를 찾으려고 쓴 성명은 내용보다 어조로 동의를 얻을 수 있습니다(Tsai et al., 2024). True Causes에서 모델은 방을 대변하지 않습니다. 모델은 연결 하나하나를 쓰거나 판단하고, 모든 판단은 집계되며, 의견이 갈린 것은 갈린 그대로 지도에 남습니다.
패널을 고르는 일은 먼저 품질, 그다음이 균형입니다. 모델 사이의 가장 큰 차이는 얼마나 판단을 잘하느냐이므로, 패널은 유능한 모델로 꾸리고 약한 모델은 빼야 합니다. 유능한 모델 사이에서는 계열마다 기우는 쪽이 다르므로, 패널은 여러 계열에서 고르고 어느 한 계열이 나머지보다 많아서는 안 됩니다.
모델은 자리에 앉히기 전에 걸러야 합니다. 모든 것에 ‘예’, 모든 것에 ‘아니요’, 또는 모든 것에 ‘말할 수 없음’이라고 답하는 모델은 판단하는 모든 쌍에 잡음을 더합니다. 이미 알려진 연결로 짧게 보정해 보면 이런 모델을 찾을 수 있습니다.
판단에는 페르소나를 쓰지 말아야 합니다. 페르소나는 기권과 지위에 관한 고정관념을 더할 뿐, 판단의 다양성은 더하지 않습니다. 쓰기는 별개의 문제입니다. 페르소나를 가진 모델 방은 다양한 카드를 쓰지만, 모델마다 쓰는 방식이 다르고 한 모델도 물을 때마다 다르게 쓰므로, 카드가 다양하다는 것만으로는 페르소나가 무언가를 했다는 증거가 되지 않습니다. 시험 방법은 여기서 판단에 쓴 것과 같습니다. 같은 모델들이 페르소나가 있을 때와 없을 때 원인을 쓰고, 각각이 만들어 낸 서로 다른 원인의 수를 셉니다.
사람의 방은 다릅니다. 사람은 자기가 본 것을 가져옵니다. 그것을 보았을 법한 누군가에 대한 묘사가 아닙니다. 이 연구는 이에 반하는 것을 말하지 않습니다. 이 연구가 말하는 것은, 자기가 세입자라고 들은 모델이 세입자로 살아 본 것은 아니라는 점입니다. 사람들이 무엇에 대해 의견이 다른지 알아내는 것이 목적이라면, 그것은 사람만이 줄 수 있습니다. 그런 방에서 모델은 답하는 쪽보다 묻는 쪽일 때 더 쓸모 있습니다. 카드에 대한 질문을 한 번에 하나씩, 자기 견해 없이 던지면(이것이 사실이라면 무엇이 보일까? 그 사이에서는 무슨 일이 일어날까?), 모델의 말을 작성자의 입에 넣지 않고도 작성자가 원인을 분명히 하도록 도울 수 있습니다.
한계
질문 하나(주거), 연결 120개, 모델당 페르소나 네다섯 개, 각각 한 번씩 답함. 이 설계로 볼 수 있는 것보다 작은 효과는 드러나지 않았을 것입니다. 페르소나는 역할 설명으로 썼습니다. 답하기 전에 그 인물이 되어 추론하게 하는 것처럼 더 강하게 페르소나를 입히는 방법은 모델을 더 많이 움직일 수 있지만, 캐리커처가 될 위험도 함께 커집니다(Cheng et al., 2023). 정보량은 진실이 아니라 패널과의 일치를 재며, 숙의의 판정자로 쓰인 모델은 기대만큼 사람과 일치하지 않습니다(Zhu et al., 2025). 스스로와 일치하는 패널도 같은 방향으로 틀릴 수 있습니다. 유능한 모델 사이의 차이는 연결 870개 전부로 볼 때만 나타났고 120개로는 보이지 않았으므로, 더 작은 차이는 여전히 보이지 않을 수 있으며, 주거보다 더 다툼이 큰 질문이라면 모델들이 더 크게 갈릴 수도 있습니다.
참고 문헌
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.