CATATAN · PANEL MODEL
Beri tahu sebuah model siapa dirinya. Penilaian sebab-akibatnya nyaris tidak berubah.
October 2026
Ruang berisi model bahasa di True Causes memberi setiap model sebuah persona: perawat yang menyewa rumah, pensiunan pemilik rumah, pengembang kecil. Gagasannya, orang yang berbeda melihat penyebab yang berbeda, dan panel model yang memerankan mereka pun demikian. Apakah model yang diberi tahu siapa dirinya menjawab seperti orang itu adalah pertanyaan yang sudah dikenal (Argyle et al., 2023); kami mengujinya pada penilaian sebab-akibat.
Untuk menilai, ternyata tidak. Pada 21 model dan 14 persona, persona yang diberikan kepada sebuah model tidak mengubah kaitan sebab-akibat mana yang diterimanya sejauh yang dapat kami ukur. Model mana yang dipakai mengubahnya sangat banyak.
Studinya
Kami mengambil 120 kaitan dari sebuah ruang catatan publik tentang keterjangkauan perumahan, dipilih sedemikian rupa sehingga kaitan yang disahkan, ditolak, dan tidak dapat dituntaskan oleh ruang itu terwakili sama banyak. Masing-masing dari 21 model menjawab setiap kaitan, sekali sebagai dirinya sendiri dan empat atau lima kali sebagai persona yang berbeda: dua belas persona perumahan (penyewa dan pemilik, seorang pemilik kontrakan, seorang perencana kota, seorang pengembang, seorang pengorganisasi penyewa, seorang buruh bangunan, dan lainnya), dan dua kembaran, orang yang sama kecuali satu fakta, menyewa alih-alih memiliki. Setiap persona diperankan oleh tujuh model. Itu berarti 119 kursi dan 14,220 jawaban, setiap kursi menjawab setiap kaitan, sehingga tidak ada jawaban yang bergantung pada jawaban lain.
Apa yang menentukan jawaban
Kaitan itu sendiri menjelaskan sekitar separuh dari seluruh variasi (52%): model-model sebagian besar sepakat tentang kaitan mana yang masuk akal. Pembacaan model itu sendiri atas kaitan tertentu menjelaskan seperempat lainnya (24%), persona apa pun yang diperankannya. Kecenderungan umum sebuah model untuk menjawab ya menambah 3%.
Persona tidak menambah apa pun. Porsinya dalam variasi kaitan mana yang mendapat jawaban ya adalah 0.000; porsinya dalam kecenderungan umum ke arah ya, 0.002. Uji yang mencoba mengenali persona dari jawaban sebuah kursi, oleh model yang tidak pernah memerankannya, tidak lebih baik daripada kebetulan (6.1% berbanding 7.1%). Dan kursi-kursi itu tidak bergerak ke arah yang akan diperkirakan dari ciri-ciri personanya: korelasinya nol. Ketika sebuah persona memang mengubah jawaban, pada antara 1% dan 15% kaitan tergantung modelnya, perubahan itu acak.
Ini sejalan dengan temuan pihak lain. Variabel persona hanya menjelaskan sedikit varians dalam tugas anotasi (Hu & Collier, 2024), dan peran yang disebut dalam prompt sistem tidak secara konsisten mengubah jawaban sebuah model (Zheng et al., 2024). Bagi model, pertanyaan sebab-akibat terbaca sebagai pertanyaan tentang dunia, bukan tentang orang yang bertanya.
Apa yang diubah persona: siapa yang menjawab
Persona membuat model lebih sering mengatakan “tidak bisa mengatakan”, 26% berbanding 19% sebagai dirinya sendiri, dan tidak merata. Persona yang muda, berpenghasilan rendah, menyewa, condong ke kiri, dan bukan dari AS lebih sering abstain, hingga 14 poin; persona yang lebih tua, condong ke kanan, pemilik kontrakan, berpenghasilan tinggi, dan pemilik rumah lebih jarang abstain, hingga 13 poin. Model-model itu memerankan persona berstatus lebih rendah sebagai kurang yakin akan apa yang mereka ketahui. Prompt persona diketahui membawa stereotipe semacam itu ke dalam penalaran (Gupta et al., 2024). Sebagian model jauh lebih sering menolak ketika diberi persona: Gemini 3.5 Flash mengatakan “tidak bisa mengatakan” untuk 59% kaitan sebagai persona dan untuk tidak satu pun sebagai dirinya sendiri.
Model mana yang menilai dengan baik
Grafik-grafik ini menempatkan setiap model menurut seberapa sering ia menjawab ya (mendatar) dan seberapa informatif jawabannya (tegak). Informedness diperkirakan tanpa mengetahui jawaban yang benar, dari cara model-model itu saling sepakat (Dawid & Skene, 1979): 1 adalah penilai yang sepenuhnya konsisten, 0 adalah jawaban yang tidak membawa sinyal. Ukuran ini mengukur kesepakatan dengan apa yang ditemukan panel secara keseluruhan, bukan kebenaran, sehingga model kuat yang tidak sepakat dengan model-model yang lebih lemah bisa mendapat skor lebih rendah daripada yang layak diterimanya.
Sebagian besar model membeda-bedakan: mereka menjawab ya untuk antara seperempat dan dua pertiga kaitan, dan jawaban mereka membawa sinyal. Claude Sonnet 5.5 dan DeepSeek V4 Flash paling sepakat dengan panel. Model yang lebih kecil seperti Gemma 3 4B dan Command R7B membawa sinyal lebih sedikit. Schematron, model yang dibuat untuk mengekstrak data alih-alih menilai klaim, mengatakan “tidak bisa mengatakan” untuk hampir semuanya, dan apa yang dijawabnya nyaris tidak membawa sinyal.
Apakah model punya pandangan sendiri?
Jika persona tidak membentuk jawaban, mungkin model-model itu sendiri memegang teori yang berbeda tentang masalahnya, yang satu menyalahkan regulasi, yang lain spekulasi. Seperempat variasi berasal dari model yang membaca kaitan yang sama secara berbeda, jadi kami mencari arah dari perbedaan itu: sebuah model statistik yang menempatkan setiap model dan setiap kaitan pada beberapa dimensi, berdasarkan jawaban model-model itu sebagai dirinya sendiri. Sebuah dimensi hanya dihitung jika stabil, yaitu jika menyesuaikannya secara terpisah pada dua paruh kaitan menempatkan model-model di posisi yang hampir sama.
Satu dimensi stabil, dan itu bukan sebuah teori. Di satu ujung ada kaitan yang nyaris tidak masuk akal, seperti “apartemen mewah yang dibeli investor asing” yang mengarah ke “Amerika bertambah 600,000 hingga 1.2 juta imigran per tahun”, yang diterima oleh model-model yang lebih lemah. Di ujung lain ada satu mekanisme yang koheren, suara warga dan kepentingan pihak yang sudah mapan yang menjaga pasokan tetap terbatas, yang diterima oleh semua model yang lebih kuat. Dimensi ini adalah seberapa baik sebuah model menilai: model-model yang kuat berada berdekatan, dan setiap model yang lemah menyimpang dari mereka dengan caranya sendiri.
Di antara sebelas model yang lebih kuat, yang disesuaikan pada 120 kaitan studi ini, tidak ada yang stabil. Kaitannya terlalu sedikit. Ketika disesuaikan pada seluruh 870 kaitan dari ruang itu, yang dijawab oleh sebelas model yang sama sebagai dirinya sendiri, sebuah perbedaan muncul, dan perbedaan itu stabil: disesuaikan secara terpisah pada dua paruh kaitan, model-model itu jatuh di posisi yang nyaris sama (0.89).
Di satu ujung, model menerima kaitan dari kepentingan orang ke keputusan politik: kepentingan pemilik rumah atas harga yang naik yang mengarah ke perubahan pemerintah yang menghambat pasokan, suara warga yang mengarah ke Proposition 13. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex, dan DeepSeek berada di sana. Di ujung lain, model menerima kaitan dari hambatan ke mekanisme pasokan: regulasi, kepentingan pihak yang sudah mapan, dewan yang menolak flat murah, dan hak milik, masing-masing mengarah ke “lebih banyak unit rumah menurunkan harga”. Mistral Small, Ministral 8B, Laguna, dan Qwen berada di sana. Secara kasar, satu sisi menjelaskan perumahan lewat siapa yang diuntungkan secara politik, sisi lain lewat apa yang menghambat pasokan. Pembacaan itu adalah tafsiran kami, dari kaitan-kaitan di setiap ujung. Dimensi kedua menempatkan kedua model GPT-OSS di satu ujung, tetapi kaitan-kaitannya tidak berbagi tema yang dapat kami namai.
Variasinya sejalan. Di antara sebelas model yang lebih kuat, kaitan itu sendiri menjelaskan 68% darinya, berbanding 52% dengan seluruh 21 model, dan pembacaan khusus model turun dari 24% menjadi 8%: sekitar dua pertiga dari apa yang tampak sebagai pembacaan yang berbeda berasal dari model-model yang lebih lemah. Sisanya lebih kecil, tetapi itulah perbedaan konsisten di atas.
Apa artinya bagi True Causes
Panel model menawarkan penilaian, dengan rentang pandangan yang sempit. Persona tidak menambah perspektif. Model yang mumpuni sepakat pada sebagian besar kaitan, dan berbeda secara konsisten pada sisanya, di sepanjang garis antara penjelasan politik dan penjelasan pasokan. Itu sebuah rentang, tetapi sempit, ditentukan oleh cara model-model itu dilatih: bukan rentang pandangan yang akan dibawa orang-orang dengan pengalaman berbeda. Riset tentang model yang merangkum musyawarah menunjuk ke arah yang sama: rangkuman itu kurang mewakili posisi minoritas, pada 18 model (Zhu et al., 2025), dan pernyataan yang ditulis untuk mencari konsensus dapat meraih persetujuan lebih karena nadanya daripada isinya (Tsai et al., 2024). Di True Causes, model tidak berbicara atas nama sebuah ruang. Model menulis atau menilai kaitan tunggal, setiap penilaian dihitung, dan suara yang terbelah tetap ada di peta sebagai suara yang terbelah.
Memilih panel pertama-tama soal mutu, baru kemudian keseimbangan. Perbedaan terbesar antarmodel adalah seberapa baik mereka menilai, jadi sebuah panel sebaiknya terdiri atas model yang mumpuni, dengan model yang lemah tidak diikutkan. Di antara model yang mumpuni, keluarga-keluarga model condong ke arah yang berbeda, jadi sebuah panel sebaiknya mengambil dari beberapa keluarga, dan tidak ada satu keluarga pun yang jumlahnya melebihi gabungan yang lain.
Model sebaiknya disaring sebelum diberi kursi. Model yang menjawab ya untuk segalanya, tidak untuk segalanya, atau “tidak bisa mengatakan” untuk segalanya menambah derau pada setiap pasangan yang dinilainya. Kalibrasi singkat pada kaitan yang sudah diketahui akan menemukannya.
Persona sebaiknya tidak dipakai untuk menilai. Persona menambah abstain dan stereotipe status, dan tidak menambah keragaman penilaian. Menulis adalah soal yang terpisah. Ruang berisi model dengan persona menulis kartu yang beragam, tetapi model yang berbeda menulis secara berbeda, dan satu model menulis secara berbeda setiap kali diminta, sehingga kartu yang beragam saja tidak menunjukkan bahwa persona berpengaruh. Ujiannya sama dengan yang dipakai di sini untuk menilai: model yang sama menulis penyebab dengan dan tanpa persona, lalu penyebab berbeda yang dihasilkan masing-masing dihitung.
Ruang berisi manusia itu berbeda. Seseorang membawa apa yang pernah dilihatnya, bukan gambaran tentang seseorang yang mungkin pernah melihatnya. Studi ini tidak mengatakan apa pun yang menentang hal itu; studi ini mengatakan bahwa model yang diberi tahu bahwa ia penyewa belum pernah hidup sebagai penyewa. Jika tujuannya adalah mengetahui apa yang diperselisihkan orang, hanya manusia yang dapat menyediakannya. Di ruang seperti itu, model lebih berguna untuk bertanya daripada menjawab: pertanyaan tentang sebuah kartu, satu per satu dan tanpa pandangan sendiri (apa yang akan Anda lihat jika ini benar? apa yang terjadi di antaranya?), membantu penulisnya memperjelas penyebabnya tanpa memasukkan kata-kata model ke mulutnya.
Keterbatasan
Satu pertanyaan, perumahan; 120 kaitan; empat atau lima persona per model, masing-masing menjawab sekali. Efek yang lebih kecil daripada yang dapat dilihat rancangan ini tidak akan tampak. Persona ditulis sebagai deskripsi peran; cara yang lebih kuat untuk memunculkannya, seperti meminta model bernalar sesuai perannya sebelum menjawab, mungkin menggesernya lebih jauh, bersama risiko karikatur (Cheng et al., 2023). Informedness mengukur kesepakatan dengan panel, bukan kebenaran, dan model yang dipakai sebagai penilai musyawarah sepakat dengan manusia tidak sebaik yang mungkin diharapkan (Zhu et al., 2025): panel yang sepakat dengan dirinya sendiri tetap bisa keliru ke arah yang sama. Perbedaan antara model-model yang mumpuni baru tampak dengan seluruh 870 kaitan; dengan 120 kaitan perbedaan itu tidak terlihat, sehingga perbedaan yang lebih kecil masih bisa luput, dan pertanyaan yang lebih diperdebatkan daripada perumahan mungkin memecah model-model lebih jauh.
Referensi
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.