MGA TALA · MGA PANEL NG MODEL
Sabihin sa isang model kung sino ito. Halos hindi nagbabago ang mga paghusga nito sa sanhi.
Oktubre 2026
Binibigyan ng mga silid ng language model sa True Causes ng persona ang bawat model: isang nars na umuupa, isang retiradong may-ari ng bahay, isang maliit na developer. Ang ideya ay iba-iba ang sanhing nakikita ng iba-ibang tao, at ganoon din ang isang panel ng mga model na gumaganap sa kanila. Kilalang tanong kung sumasagot ang isang model na sinabihan kung sino ito na gaya ng taong iyon (Argyle et al., 2023); sinubok namin ito sa mga paghusga sa sanhi.
Hindi, pagdating sa paghusga. Sa 21 model at 14 persona, walang nasusukat na binago ang personang ibinigay sa isang model sa kung aling mga ugnayan ng sanhi ang tinanggap nito. Malaki ang binago ng kung aling model ito.
Ang pag-aaral
Kumuha kami ng 120 ugnayan mula sa isang silid ng pampublikong rekord tungkol sa abot-kayang pabahay, na pinili para pantay ang bilang ng mga ugnayang pinatunayan, tinanggihan at hindi napagpasyahan ng silid. Sinagot ng bawat isa sa 21 model ang bawat ugnayan, minsan bilang sarili nito at apat o limang beses bilang ibang persona: labindalawang persona sa pabahay (mga umuupa at may-ari, isang landlord, isang planner, isang developer, isang organisador ng mga nangungupahan, isang manggagawa sa konstruksiyon at iba pa), at dalawang kambal, parehong tao maliban sa isang katotohanan, umuupa sa halip na may-ari. Ginampanan ng pitong model ang bawat persona. Iyon ay 119 na puwesto at 14,220 sagot, sinasagot ng bawat puwesto ang bawat ugnayan, kaya walang sagot na nakadepende sa iba.
Ang nagpasya sa mga sagot
Ang mismong ugnayan ang nagpapaliwanag sa mga kalahati ng lahat ng pagkakaiba (52%): malaki ang pagkakasundo ng mga model sa kung aling mga ugnayan ang kapani-paniwala. Ang sariling pagbasa ng model sa partikular na mga ugnayan ang nagpapaliwanag sa isa pang kapat (24%), anumang persona ang ginagampanan nito. Nagdaragdag ng 3% ang pangkalahatang hilig ng isang model na mag-oo.
Walang idinagdag ang persona. 0.000 ang bahagi nito sa pagkakaiba sa kung aling mga ugnayan ang nakakuha ng oo; 0.002 ang bahagi nito sa pangkalahatang hilig sa oo. Ang isang pagsubok na sinusubukang tukuyin ang persona mula sa mga sagot ng isang puwesto, gamit ang mga model na hindi nito nakita, ay hindi nakahigit sa tsamba (6.1% laban sa 7.1%). At hindi gumalaw ang mga puwesto sa direksiyong hinuhulaan ng mga katangian ng kanilang persona: zero ang correlation. Kapag may binagong sagot ang isang persona, sa pagitan ng 1% at 15% ng mga ugnayan depende sa model, random ang pagbabago.
Tugma ito sa natuklasan ng iba. Kaunti lang ang naipapaliwanag ng mga variable ng persona sa pagkakaiba sa mga annotation task (Hu & Collier, 2024), at hindi palagiang binabago ng papel na binanggit sa isang system prompt ang mga sagot ng isang model (Zheng et al., 2024). Sa isang model, tanong tungkol sa mundo ang isang tanong tungkol sa sanhi, hindi tungkol sa taong nagtatanong.
Ang binago ng mga persona: kung sino ang sumasagot
Pinadalas ng mga persona ang pagsasabi ng mga model ng “hindi masabi”, 26% ng pagkakataon laban sa 19% bilang sarili nila, at hindi pantay. Mas madalas mag-abstain ang mga personang bata, mababa ang kita, umuupa, nakahilig sa kaliwa at hindi taga-US, nang hanggang 14 puntos; mas madalang mag-abstain ang mga personang mas matanda, nakahilig sa kanan, landlord, mataas ang kita at may-ari, nang hanggang 13 puntos. Ginampanan ng mga model ang mga personang mas mababa ang katayuan bilang mas hindi sigurado sa alam nila. Kilalang dinadala ng mga persona prompt ang ganitong mga stereotype sa pangangatwiran (Gupta et al., 2024). Mas madalas tumanggi ang ilang model kapag may persona: “hindi masabi” ang sinabi ng Gemini 3.5 Flash sa 59% ng mga ugnayan bilang persona at sa wala bilang sarili nito.
Aling mga model ang mahusay humusga
Inilalagay ng mga chart ang bawat model ayon sa dalas ng pag-oo nito (pahalang) at kung gaano kaimpormatibo ang mga sagot nito (pataas). Tinatantiya ang informedness nang hindi alam ang mga tamang sagot, mula sa kung paano nagkakasundo ang mga model sa isa’t isa (Dawid & Skene, 1979): ang 1 ay perpektong palagiang tagahusga, ang 0 ay sagot na walang dalang signal. Sinusukat nito ang pagkakasundo sa natutuklasan ng panel sa kabuuan, hindi ang pagiging tama, kaya maaaring mas mababa ang marka ng isang malakas na model na hindi sang-ayon sa mahihina kaysa sa nararapat dito.
Nakapagtatangi ang karamihan sa mga model: nag-oo sila sa pagitan ng isang kapat at dalawang-katlo ng mga ugnayan, at may dalang signal ang mga sagot nila. Ang Claude Sonnet 5.5 at DeepSeek V4 Flash ang pinakasang-ayon sa panel. Mas kaunti ang dala ng mas maliliit na model gaya ng Gemma 3 4B at Command R7B. Ang Schematron, isang model na ginawa para kumuha ng datos at hindi para humusga ng mga pahayag, ay nagsabi ng “hindi masabi” sa halos lahat, at halos walang signal ang mga sinagot nito.
May sariling pananaw ba ang mga model?
Kung hindi hinuhubog ng mga persona ang mga sagot, baka may iba-ibang teorya ng problema ang mga model mismo, isa ang sinisisi ang regulasyon, isa ang spekulasyon. Ang isang kapat ng pagkakaiba ay mga model na iba-iba ang pagbasa sa parehong ugnayan, kaya hinanap namin ang mga direksiyon ng pagkakaibang iyon: isang model na naglalagay sa bawat model at bawat ugnayan sa iilang dimensiyon, mula sa mga sagot ng mga model bilang sarili nila. Binibilang lang ang isang dimensiyon kung matatag ito, ibig sabihin, kung halos parehong lugar ang kinalalagyan ng mga model kapag hiwalay itong ifinit sa dalawang kalahati ng mga ugnayan.
Isang dimensiyon ang matatag, at hindi ito teorya. Sa isang dulo ay mga ugnayang halos walang saysay, gaya ng “mga marangyang apartment na binili ng mga dayuhang investor” na humahantong sa “nagdaragdag ang Amerika ng 600,000 hanggang 1.2 milyong imigrante bawat taon”, na tinanggap ng mas mahihinang model. Sa kabilang dulo ay isang magkakaugnay na mekanismo, ang mga boto ng mga residente at ang interes ng mga nakaupo na nagpapanatiling limitado ang suplay, na tinanggap ng lahat ng mas malalakas na model. Ang dimensiyon ay kung gaano kahusay humusga ang isang model: magkakalapit ang malalakas na model, at sariling paraan ang paglayo sa kanila ng bawat mahinang model.
Sa labing-isang mas malalakas na model, na ifinit sa 120 ugnayan ng pag-aaral, walang matatag. Masyadong kaunti ang mga ugnayan. Nang ifinit sa lahat ng 870 ugnayan ng silid, na sinagot ng parehong labing-isang model bilang sarili nila, may lumitaw na pagkakaiba, at matatag ito: kapag hiwalay na ifinit sa dalawang kalahati ng mga ugnayan, halos parehong lugar ang kinalalagyan ng mga model (0.89).
Sa isang dulo, tinatanggap ng mga model ang mga ugnayan mula sa interes ng mga tao tungo sa mga pampulitikang pasya: ang interes ng mga may-ari ng bahay sa tumataas na presyo na humahantong sa mga pagbabago ng pamahalaan laban sa suplay, ang mga boto ng mga residente na humahantong sa Proposition 13. Naroon ang Gemini 3.5 Flash, Claude Sonnet 5.5, Nex at DeepSeek. Sa kabilang dulo, tinatanggap ng mga model ang mga ugnayan mula sa mga hadlang tungo sa mekanismo ng suplay: regulasyon, interes ng mga nakaupo, mga konsehong tumatanggi sa murang flat, at karapatan sa ari-arian, bawat isa ay humahantong sa “nagpapababa ng presyo ang mas maraming yunit ng pabahay”. Naroon ang Mistral Small, Ministral 8B, Laguna at Qwen. Sa madaling salita, ipinapaliwanag ng isang panig ang pabahay sa pamamagitan ng kung sino ang nakikinabang sa pulitika, at ng kabila sa pamamagitan ng kung ano ang humaharang sa suplay. Amin ang pagbasang iyon, mula sa mga ugnayan sa bawat dulo. Inilalagay ng ikalawang dimensiyon ang dalawang GPT-OSS model sa isang dulo, pero walang temang mapapangalanan namin na pinagsasaluhan ng mga ugnayan nito.
Sang-ayon ang pagkakaiba. Sa labing-isang mas malalakas na model, 68% nito ang naipapaliwanag ng mismong ugnayan, laban sa 52% kapag lahat ng 21 model, at bumababa mula 24% tungo sa 8% ang mga pagbasang partikular sa model: mga dalawang-katlo ng mukhang iba-ibang pagbasa ay mula sa mas mahihinang model. Mas maliit ang natitira, pero ito ang palagiang pagkakaiba sa itaas.
Ang kahulugan nito para sa True Causes
Paghusga ang iniaalok ng isang panel ng mga model, na may makitid na saklaw ng mga pananaw. Walang idinaragdag na pananaw ang mga persona. Nagkakasundo ang mahuhusay na model sa karamihan ng ugnayan, at palagiang nagkakaiba sa iba, sa isang linya sa pagitan ng pampulitika at pang-suplay na paliwanag. Saklaw iyon, pero makitid, na itinakda ng paraan ng pagsasanay sa mga model: hindi ang saklaw ng mga pananaw na dadalhin ng mga taong may iba-ibang karanasan. Ganito rin ang itinuturo ng pananaliksik sa mga model na nagbubuod ng mga deliberasyon: kulang ang representasyon ng mga posisyon ng minorya sa mga buod, sa 18 model (Zhu et al., 2025), at maaaring makakuha ng pagsang-ayon ang mga pahayag na isinulat para maghanap ng konsenso dahil sa tono nila higit sa nilalaman (Tsai et al., 2024). Sa True Causes, hindi nagsasalita ang isang model para sa isang silid. Sumusulat o humuhusga ito ng iisang ugnayan, binibilang ang bawat paghusga, at nananatiling hati sa mapa ang hati.
Kalidad muna ang pagpili ng panel, saka balanse. Ang pinakamalaking pagkakaiba ng mga model ay kung gaano kahusay silang humusga, kaya dapat mahuhusay na model ang isang panel, at iwan ang mahihina. Sa mahuhusay na model, iba-iba ang hilig ng mga pamilya, kaya dapat kumuha ang panel sa ilan, at walang iisang pamilyang dapat humigit sa iba.
Dapat salain ang mga model bago paupuin. Ang model na nag-oo sa lahat, nag-hindi sa lahat o nagsasabi ng “hindi masabi” sa lahat ay nagdaragdag ng ingay sa bawat pares na hinuhusgahan nito. Natutukoy sila ng maikling calibration sa mga alam na ugnayan.
Hindi dapat gamitin ang mga persona sa paghusga. Nagdaragdag sila ng mga abstention at ng stereotype ng katayuan, at walang pagkakaiba-iba ng paghusga. Hiwalay na tanong ang pagsusulat. Iba-iba ang card na isinusulat ng silid ng mga model na may persona, pero iba-iba ang pagsulat ng iba-ibang model, at iba-iba ang pagsulat ng iisang model sa bawat pagtanong dito, kaya hindi sapat ang iba-ibang card para ipakitang may nagawa ang mga persona. Ang pagsubok ay ang ginamit dito sa paghusga: sumusulat ng mga sanhi ang parehong mga model nang may at walang persona, at binibilang ang magkakaibang sanhing nagagawa ng bawat isa.
Iba ang mga silid ng tao. Dala ng isang tao ang nakita niya, hindi isang paglalarawan ng isang taong maaaring nakakita nito. Walang sinasabi ang pag-aaral na ito laban doon; sinasabi nitong ang model na sinabihang umuupa ito ay hindi namuhay bilang isa. Kung saan ang punto ay alamin kung saan hindi nagkakasundo ang mga tao, mga tao lang ang makapagbibigay nito. Sa mga silid na iyon, mas kapaki-pakinabang ang model sa pagtatanong kaysa sa pagsagot: isang tanong tungkol sa isang card, isa-isa at walang sariling pananaw (ano ang makikita mo kung totoo ito? ano ang nangyayari sa pagitan?), ay tumutulong sa may-akda nito na linawin ang sanhi nang hindi isinusubo sa kaniya ang mga salita ng model.
Mga hangganan
Isang tanong, pabahay; 120 ugnayan; apat o limang persona bawat model, bawat isa ay sumagot nang minsan. Hindi lilitaw ang mga epektong mas maliit sa kayang makita ng disenyong ito. Isinulat ang mga persona bilang paglalarawan ng papel; ang mas malalakas na paraan ng pagpapaganap sa kanila, gaya ng pagpapangatwiran sa model bilang tauhan bago sumagot, ay maaaring magpagalaw dito nang higit, kasama ang panganib ng karikatura (Cheng et al., 2023). Sinusukat ng informedness ang pagkakasundo sa panel, hindi ang katotohanan, at hindi kasinghusay ng inaasahan ang pagkakasundo sa mga tao ng mga model na ginagamit bilang tagahusga ng deliberasyon (Zhu et al., 2025): maaari pa ring magkamali sa iisang direksiyon ang panel na sang-ayon sa sarili nito. Lumitaw lang ang pagkakaiba ng mahuhusay na model nang gamitin ang lahat ng 870 ugnayan; sa 120, hindi ito nakikita, kaya maaaring hindi pa rin makita ang mas maliliit na pagkakaiba, at maaaring mas hatiin ang mga model ng isang tanong na mas pinagtatalunan kaysa sa pabahay.
Mga sanggunian
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.