CATATAN · PANEL MODEL
Beritahu model siapa dirinya. Penilaian sebab-akibatnya hampir tidak berubah.
Oktober 2026
Bilik model bahasa di True Causes memberikan setiap model satu persona: jururawat yang menyewa, pemilik rumah yang sudah bersara, pemaju kecil. Ideanya, orang yang berbeza melihat punca yang berbeza, dan panel model yang memainkan watak mereka juga begitu. Sama ada model yang diberitahu siapa dirinya menjawab seperti orang itu ialah soalan yang sudah dikenali (Argyle et al., 2023); kami mengujinya pada penilaian sebab-akibat.
Untuk menilai, jawapannya tidak. Merentas 21 model dan 14 persona, persona yang diberikan kepada sesuatu model tidak mengubah kaitan sebab-akibat yang diterimanya walau sedikit pun yang dapat kami ukur. Model mana yang digunakan pula membawa perbezaan yang besar.
Kajian
Kami mengambil 120 kaitan daripada sebuah bilik rekod awam tentang kemampuan memiliki rumah, dipilih supaya kaitan yang disahkan, ditolak dan tidak dapat diputuskan oleh bilik itu diwakili sama rata. Setiap satu daripada 21 model menjawab setiap kaitan, sekali sebagai dirinya sendiri dan empat atau lima kali sebagai persona yang berlainan: dua belas persona perumahan (penyewa dan pemilik, tuan rumah, perancang bandar, pemaju, penganjur persatuan penyewa, buruh binaan dan lain-lain), dan dua kembar, orang yang sama kecuali satu fakta, menyewa dan bukan memiliki. Setiap persona dimainkan oleh tujuh model. Jumlahnya 119 tempat dan 14,220 jawapan, setiap tempat menjawab setiap kaitan, jadi tiada jawapan yang bergantung pada jawapan lain.
Apa yang menentukan jawapan
Kaitan itu sendiri menerangkan kira-kira separuh daripada semua variasi (52%): model sebahagian besarnya bersetuju tentang kaitan mana yang munasabah. Bacaan model itu sendiri terhadap kaitan tertentu menerangkan suku lagi (24%), apa pun persona yang dimainkannya. Kecenderungan umum sesuatu model untuk berkata ya menambah 3%.
Persona tidak menambah apa-apa. Bahagiannya dalam variasi kaitan mana yang mendapat ya ialah 0.000; bahagiannya dalam kecenderungan umum ke arah ya, 0.002. Ujian yang cuba mengenal pasti persona daripada jawapan sesuatu tempat, menggunakan model yang tidak terlibat dalam latihannya, tidak lebih baik daripada tekaan rawak (6.1% berbanding 7.1%). Dan tempat-tempat itu tidak bergerak ke arah yang dijangkakan oleh ciri-ciri personanya: korelasinya sifar. Apabila persona memang mengubah sesuatu jawapan, pada antara 1% hingga 15% kaitan bergantung pada model, ia mengubahnya secara rawak.
Ini sepadan dengan dapatan pihak lain. Pemboleh ubah persona menerangkan sedikit sahaja varians dalam tugas anotasi (Hu & Collier, 2024), dan peranan yang dinamakan dalam gesaan sistem tidak mengubah jawapan model secara konsisten (Zheng et al., 2024). Bagi model, soalan sebab-akibat dibaca sebagai soalan tentang dunia, bukan tentang orang yang bertanya.
Apa yang benar-benar diubah oleh persona: siapa yang menjawab
Persona membuatkan model lebih kerap berkata “tidak dapat dikatakan”, 26% daripada masa berbanding 19% sebagai diri sendiri, dan tidak sama rata. Persona muda, berpendapatan rendah, menyewa, berhaluan kiri dan bukan dari AS lebih banyak berkecuali, sehingga 14 mata; persona yang lebih tua, berhaluan kanan, tuan rumah, berpendapatan tinggi dan pemilik kurang berkecuali, sehingga 13 mata. Model memainkan persona berstatus lebih rendah sebagai kurang yakin tentang apa yang mereka ketahui. Gesaan persona memang diketahui membawa stereotaip sebegini ke dalam penaakulan (Gupta et al., 2024). Sesetengah model jauh lebih kerap menolak apabila diberi persona: Gemini 3.5 Flash berkata “tidak dapat dikatakan” kepada 59% kaitan sebagai persona dan tidak sekali pun sebagai dirinya sendiri.
Model mana yang menilai dengan baik
Carta-carta ini meletakkan setiap model mengikut kekerapan ia berkata ya (mendatar) dan sejauh mana jawapannya bermaklumat (menegak). Kebermaklumatan dianggarkan tanpa mengetahui jawapan yang betul, berdasarkan cara model bersetuju antara satu sama lain (Dawid & Skene, 1979): 1 ialah penilai yang konsisten sepenuhnya, 0 jawapan yang tidak membawa sebarang isyarat. Ia mengukur persetujuan dengan dapatan panel secara keseluruhan, bukan ketepatan, jadi model kuat yang tidak bersetuju dengan model yang lebih lemah boleh mendapat skor lebih rendah daripada yang sepatutnya.
Kebanyakan model membezakan: mereka berkata ya kepada antara suku hingga dua pertiga kaitan, dan jawapan mereka membawa isyarat. Claude Sonnet 5.5 dan DeepSeek V4 Flash paling banyak bersetuju dengan panel. Model yang lebih kecil seperti Gemma 3 4B dan Command R7B membawa kurang isyarat. Schematron, model yang dibina untuk mengekstrak data dan bukan untuk menilai dakwaan, berkata “tidak dapat dikatakan” kepada hampir semuanya, dan apa yang dijawabnya hampir tidak membawa isyarat.
Adakah model mempunyai pandangan sendiri?
Jika persona tidak membentuk jawapan, mungkin model itu sendiri memegang teori yang berbeza tentang masalah ini, satu menyalahkan peraturan, satu lagi spekulasi. Suku daripada variasi itu ialah model yang membaca kaitan yang sama secara berbeza, jadi kami mencari arah perbezaan itu: model statistik yang meletakkan setiap model dan setiap kaitan pada beberapa dimensi, berdasarkan jawapan model sebagai diri sendiri. Sesuatu dimensi hanya dikira jika ia stabil, iaitu jika memadankannya secara berasingan pada dua separuh kaitan meletakkan model di tempat yang lebih kurang sama.
Satu dimensi stabil, dan ia bukan satu teori. Di satu hujung terdapat kaitan yang hampir tidak masuk akal, seperti “pangsapuri mewah dibeli oleh pelabur asing” yang membawa kepada “Amerika menerima 600,000 hingga 1.2 juta pendatang setahun”, yang diterima oleh model yang lebih lemah. Di hujung yang satu lagi terdapat satu mekanisme yang padu, undi penduduk dan kepentingan pihak sedia ada yang mengekang penawaran, yang diterima oleh semua model yang lebih kuat. Dimensi itu ialah sejauh mana sesuatu model menilai dengan baik: model yang kuat berada rapat bersama, dan setiap model yang lemah menyimpang daripada mereka dengan caranya sendiri.
Dalam kalangan sebelas model yang lebih kuat, apabila dipadankan pada 120 kaitan kajian ini, tiada apa-apa yang stabil. Kaitannya terlalu sedikit. Apabila dipadankan pada kesemua 870 kaitan bilik itu, yang dijawab oleh sebelas model yang sama sebagai diri sendiri, satu perbezaan muncul, dan ia stabil: apabila dipadankan secara berasingan pada dua separuh kaitan, model mendarat di tempat yang hampir sama (0.89).
Di satu hujung, model menerima kaitan daripada kepentingan orang kepada keputusan politik: kepentingan pemilik rumah dalam harga yang meningkat membawa kepada perubahan kerajaan yang menyekat penawaran, undi penduduk membawa kepada Proposition 13. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex dan DeepSeek berada di situ. Di hujung yang lain, model menerima kaitan daripada halangan kepada mekanisme penawaran: peraturan, kepentingan pihak sedia ada, majlis tempatan yang menolak flat kos rendah dan hak harta, masing-masing membawa kepada “lebih banyak unit perumahan menurunkan harga”. Mistral Small, Ministral 8B, Laguna dan Qwen berada di situ. Secara kasar, satu pihak menerangkan perumahan melalui siapa yang beruntung dari segi politik, pihak yang satu lagi melalui apa yang menyekat penawaran. Tafsiran itu ialah tafsiran kami, berdasarkan kaitan di setiap hujung. Dimensi kedua meletakkan kedua-dua model GPT-OSS di satu hujung, tetapi kaitannya tidak berkongsi tema yang dapat kami namakan.
Variasinya selari. Dalam kalangan sebelas model yang lebih kuat, kaitan itu sendiri menerangkan 68% daripadanya, berbanding 52% dengan kesemua 21 model, dan bacaan khusus model jatuh daripada 24% kepada 8%: kira-kira dua pertiga daripada apa yang kelihatan seperti bacaan yang berbeza datang daripada model yang lebih lemah. Selebihnya lebih kecil, tetapi itulah perbezaan konsisten yang diterangkan di atas.
Apa maksudnya bagi True Causes
Panel model menawarkan penilaian, dengan julat pandangan yang sempit. Persona tidak menambah perspektif. Model yang mampu bersetuju tentang kebanyakan kaitan, dan berbeza secara konsisten tentang selebihnya, di sepanjang garis antara penjelasan politik dan penjelasan penawaran. Itu memang satu julat, tetapi julat yang sempit, ditentukan oleh cara model itu dilatih: bukan julat pandangan yang akan dibawa oleh orang yang berlainan pengalaman. Kajian tentang model yang meringkaskan musyawarah menunjukkan arah yang sama: ringkasan itu kurang mewakili pendirian minoriti, merentas 18 model (Zhu et al., 2025), dan kenyataan yang ditulis untuk mencari konsensus boleh meraih persetujuan melalui nadanya lebih daripada isinya (Tsai et al., 2024). Di True Causes, model tidak bercakap bagi pihak bilik. Ia menulis atau menilai kaitan satu demi satu, setiap penilaian dikira, dan perpecahan kekal di peta sebagai perpecahan.
Memilih panel bermula dengan mutu, kemudian keseimbangan. Perbezaan terbesar antara model ialah sejauh mana mereka menilai dengan baik, jadi panel sepatutnya terdiri daripada model yang mampu, dengan model yang lemah ditinggalkan. Dalam kalangan model yang mampu, keluarga model condong ke arah yang berbeza, jadi panel sepatutnya mengambil daripada beberapa keluarga, dan tiada satu keluarga pun yang patut melebihi jumlah yang lain.
Model patut disaring sebelum diberi tempat. Model yang berkata ya kepada semuanya, tidak kepada semuanya atau “tidak dapat dikatakan” kepada semuanya menambah hingar pada setiap pasangan yang dinilainya. Penentukuran ringkas pada kaitan yang sudah diketahui akan mengenal pastinya.
Persona tidak patut digunakan untuk menilai. Ia menambah pengecualian dan stereotaip status, tanpa kepelbagaian penilaian. Menulis ialah persoalan yang berasingan. Bilik model yang diberi persona menulis kad yang pelbagai, tetapi model yang berbeza menulis secara berbeza, dan satu model menulis secara berbeza setiap kali ia diminta, jadi kad yang pelbagai semata-mata tidak menunjukkan bahawa persona itu memberi kesan. Ujiannya sama seperti yang digunakan di sini untuk menilai: model yang sama menulis punca dengan dan tanpa persona, dan punca berbeza yang dihasilkan oleh setiap satu dikira.
Bilik manusia lain halnya. Seseorang membawa apa yang telah dilihatnya, bukan gambaran tentang seseorang yang mungkin pernah melihatnya. Kajian ini tidak menyangkal hal itu; ia menunjukkan bahawa model yang diberitahu ia seorang penyewa tidak pernah hidup sebagai penyewa. Apabila tujuannya ialah untuk mengetahui perkara yang dipertikaikan oleh orang, hanya manusia yang dapat memberikannya. Dalam bilik sebegitu, model lebih berguna sebagai penanya daripada penjawab: soalan tentang sesuatu kad, satu demi satu dan tanpa pandangannya sendiri (apa yang akan anda lihat jika ini benar? apa yang berlaku di antaranya?), membantu penulisnya menjelaskan punca itu tanpa meletakkan kata-kata model ke dalam mulutnya.
Batasan
Satu soalan, perumahan; 120 kaitan; empat atau lima persona bagi setiap model, setiap satu menjawab sekali. Kesan yang lebih kecil daripada yang dapat dikesan oleh reka bentuk ini tidak akan kelihatan. Persona ditulis sebagai huraian peranan; cara yang lebih kuat untuk menerapkannya, seperti meminta model menaakul mengikut watak sebelum menjawab, mungkin menggerakkannya lebih jauh, bersama risiko karikatur (Cheng et al., 2023). Kebermaklumatan mengukur persetujuan dengan panel, bukan kebenaran, dan model yang digunakan sebagai penilai musyawarah kurang bersetuju dengan manusia berbanding yang diharapkan (Zhu et al., 2025): panel yang bersetuju dengan dirinya sendiri masih boleh salah ke arah yang sama. Perbezaan antara model yang mampu hanya muncul dengan kesemua 870 kaitan; dengan 120 ia tidak kelihatan, jadi perbezaan yang lebih kecil masih mungkin terlepas, dan soalan yang lebih dipertikaikan daripada perumahan mungkin memisahkan model dengan lebih jauh.
Rujukan
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.