GHI CHÚ · HỘI ĐỒNG MÔ HÌNH
Hãy nói cho mô hình biết nó là ai. Các phán xét nhân quả của nó hầu như không đổi.
Tháng 10 năm 2026
Các phòng gồm những mô hình ngôn ngữ trên True Causes giao cho mỗi mô hình một vai (persona): một y tá đi thuê nhà, một người về hưu có nhà riêng, một nhà phát triển bất động sản nhỏ. Ý tưởng là những người khác nhau nhìn thấy những nguyên nhân khác nhau, và một hội đồng mô hình đóng vai họ cũng vậy. Liệu một mô hình được cho biết nó là ai có trả lời như người đó không là một câu hỏi đã được biết đến (Argyle et al., 2023); chúng tôi kiểm tra nó trên các phán xét nhân quả.
Với việc phán xét thì không. Qua 21 mô hình và 14 vai, vai mà một mô hình được giao không làm thay đổi những liên kết nhân quả nó chấp nhận ở bất kỳ mức nào chúng tôi đo được. Còn việc đó là mô hình nào thì thay đổi rất nhiều.
Nghiên cứu
Chúng tôi lấy 120 liên kết từ một phòng có hồ sơ công khai về khả năng chi trả nhà ở, được chọn sao cho các liên kết mà phòng đã xác nhận, đã bác bỏ và không thể ngã ngũ có số lượng ngang nhau. Mỗi mô hình trong 21 mô hình trả lời mọi liên kết, một lần với tư cách chính nó và bốn hoặc năm lần với một vai khác: mười hai vai liên quan đến nhà ở (người thuê và người sở hữu, một chủ cho thuê, một nhà quy hoạch, một nhà phát triển, một người tổ chức người thuê nhà, một công nhân xây dựng và những vai khác), và hai vai sinh đôi, là cùng một người trừ một chi tiết: đi thuê thay vì sở hữu nhà. Mỗi vai được bảy mô hình đóng. Tổng cộng là 119 ghế và 14,220 câu trả lời, mỗi ghế trả lời mọi liên kết, nên không câu trả lời nào phụ thuộc vào câu trả lời khác.
Điều gì quyết định các câu trả lời
Bản thân liên kết giải thích khoảng một nửa toàn bộ sự biến thiên (52%): các mô hình phần lớn đồng ý về những liên kết nào là hợp lý. Cách riêng của mô hình khi đọc những liên kết cụ thể giải thích thêm một phần tư (24%), dù nó đóng vai nào. Xu hướng chung của một mô hình là trả lời có chiếm thêm 3%.
Vai không thêm được gì. Phần của nó trong sự biến thiên về việc liên kết nào được trả lời có là 0.000; phần của nó trong xu hướng chung nghiêng về có là 0.002. Một phép thử cố nhận ra vai từ các câu trả lời của một ghế, bằng những mô hình chưa từng thấy vai đó, không làm tốt hơn mức ngẫu nhiên (6.1% so với 7.1%). Và các ghế không dịch chuyển theo hướng mà đặc điểm của vai dự đoán: hệ số tương quan bằng không. Khi một vai có làm thay đổi một câu trả lời, ở khoảng 1% đến 15% số liên kết tùy mô hình, nó thay đổi một cách ngẫu nhiên.
Điều này khớp với những gì người khác đã tìm thấy. Các biến về vai giải thích được rất ít phương sai trong các tác vụ gán nhãn (Hu & Collier, 2024), và vai trò được nêu trong lời nhắc hệ thống không làm thay đổi câu trả lời của mô hình một cách nhất quán (Zheng et al., 2024). Với một mô hình, câu hỏi nhân quả được đọc như một câu hỏi về thế giới, chứ không phải về người đang hỏi.
Điều mà vai đã thay đổi: ai trả lời
Vai khiến các mô hình nói “không thể nói” thường xuyên hơn, 26% số lần so với 19% khi là chính mình, và không đồng đều. Các vai trẻ, thu nhập thấp, đi thuê nhà, thiên tả và không phải người Mỹ từ chối trả lời nhiều hơn, đến 14 điểm; các vai lớn tuổi, thiên hữu, chủ cho thuê, thu nhập cao và sở hữu nhà từ chối ít hơn, đến 13 điểm. Các mô hình đóng những vai có địa vị thấp hơn như những người kém chắc chắn hơn về điều mình biết. Lời nhắc giao vai đã được biết là mang những định kiến như vậy vào việc suy luận (Gupta et al., 2024). Một số mô hình từ chối nhiều hơn hẳn khi có vai: Gemini 3.5 Flash nói “không thể nói” với 59% số liên kết khi đóng vai và không lần nào khi là chính nó.
Mô hình nào phán xét tốt
Các biểu đồ đặt mỗi mô hình theo tần suất nó trả lời có (trục ngang) và mức độ thông tin trong câu trả lời của nó (trục dọc). Độ thông tin (informedness) được ước lượng mà không cần biết đáp án đúng, từ cách các mô hình đồng ý với nhau (Dawid & Skene, 1979): 1 là một người phán xét hoàn toàn nhất quán, 0 là câu trả lời không mang tín hiệu nào. Nó đo mức đồng ý với những gì cả hội đồng tìm ra, không phải tính đúng đắn, nên một mô hình mạnh bất đồng với các mô hình yếu hơn có thể bị chấm thấp hơn mức xứng đáng.
Phần lớn các mô hình có phân biệt: chúng trả lời có với từ một phần tư đến hai phần ba số liên kết, và câu trả lời của chúng mang tín hiệu. Claude Sonnet 5.5 và DeepSeek V4 Flash đồng ý với hội đồng nhiều nhất. Các mô hình nhỏ hơn như Gemma 3 4B và Command R7B mang ít tín hiệu hơn. Schematron, một mô hình được xây dựng để trích xuất dữ liệu chứ không phải để phán xét nhận định, nói “không thể nói” với hầu như mọi thứ, và những gì nó có trả lời gần như không mang tín hiệu.
Các mô hình có quan điểm riêng không?
Nếu vai không định hình câu trả lời, có lẽ chính các mô hình có những lý thuyết khác nhau về vấn đề, một mô hình đổ lỗi cho quy định, mô hình khác cho đầu cơ. Một phần tư sự biến thiên là do các mô hình đọc cùng một liên kết theo cách khác nhau, nên chúng tôi tìm các hướng của sự khác biệt đó: một mô hình thống kê đặt mỗi mô hình và mỗi liên kết lên vài chiều, từ câu trả lời của các mô hình khi là chính mình. Một chiều chỉ được tính nếu nó ổn định, tức là nếu ước lượng nó riêng rẽ trên hai nửa số liên kết đặt các mô hình ở gần như cùng vị trí.
Có một chiều ổn định, và nó không phải là một lý thuyết. Ở một đầu là những liên kết hầu như vô nghĩa, chẳng hạn “căn hộ cao cấp được nhà đầu tư nước ngoài mua” dẫn đến “nước Mỹ có thêm 600,000 đến 1.2 triệu người nhập cư mỗi năm”, mà các mô hình yếu hơn chấp nhận. Ở đầu kia là một cơ chế mạch lạc, lá phiếu của cư dân và lợi ích của những người đã có chỗ đứng giữ cho nguồn cung bị hạn chế, mà các mô hình mạnh hơn đều chấp nhận. Chiều này là mức độ một mô hình phán xét tốt đến đâu: các mô hình mạnh nằm gần nhau, và mỗi mô hình yếu lệch khỏi chúng theo cách riêng.
Trong số mười một mô hình mạnh hơn, khi ước lượng trên 120 liên kết của nghiên cứu, không có gì ổn định. Số liên kết đó quá ít. Khi ước lượng trên toàn bộ 870 liên kết của phòng, được chính mười một mô hình đó trả lời với tư cách chính mình, một khác biệt xuất hiện, và nó ổn định: ước lượng riêng rẽ trên hai nửa số liên kết, các mô hình rơi vào gần như cùng vị trí (0.89).
Ở một đầu, các mô hình chấp nhận những liên kết từ lợi ích của con người đến các quyết định chính trị: lợi ích của chủ nhà trong việc giá tăng dẫn đến những thay đổi chống tăng nguồn cung của chính phủ, lá phiếu của cư dân dẫn đến Proposition 13. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex và DeepSeek nằm ở đó. Ở đầu kia, các mô hình chấp nhận những liên kết từ các rào cản vào cơ chế cung: quy định, lợi ích của những người đã có chỗ đứng, hội đồng địa phương từ chối căn hộ giá rẻ và quyền sở hữu, mỗi thứ dẫn đến “nhiều nhà ở hơn làm giảm giá”. Mistral Small, Ministral 8B, Laguna và Qwen nằm ở đó. Nói đại khái, một bên giải thích nhà ở qua việc ai được lợi về chính trị, bên kia qua điều gì chặn nguồn cung. Cách đọc đó là của chúng tôi, từ các liên kết ở mỗi đầu. Chiều thứ hai đặt cả hai mô hình GPT-OSS ở một đầu, nhưng các liên kết của nó không có chủ đề chung nào mà chúng tôi gọi tên được.
Sự biến thiên cũng cho thấy như vậy. Trong số mười một mô hình mạnh hơn, bản thân liên kết giải thích 68% sự biến thiên, so với 52% khi có cả 21 mô hình, và các cách đọc riêng của từng mô hình giảm từ 24% xuống 8%: khoảng hai phần ba những gì trông như cách đọc khác nhau đến từ các mô hình yếu hơn. Phần còn lại nhỏ hơn, nhưng đó là sự khác biệt nhất quán nói ở trên.
Điều này có ý nghĩa gì với True Causes
Một hội đồng mô hình mang lại khả năng phán xét, với một dải quan điểm hẹp. Vai không thêm góc nhìn nào. Các mô hình có năng lực đồng ý ở phần lớn liên kết, và khác nhau một cách nhất quán ở phần còn lại, dọc theo một đường giữa cách giải thích chính trị và cách giải thích về nguồn cung. Đó là một dải, nhưng là một dải hẹp, do cách các mô hình được huấn luyện quyết định: không phải dải quan điểm mà những người có trải nghiệm khác nhau sẽ mang lại. Nghiên cứu về các mô hình tóm tắt các cuộc thảo luận cũng chỉ về cùng hướng: các bản tóm tắt thể hiện không đủ các quan điểm thiểu số, trên 18 mô hình (Zhu et al., 2025), và các tuyên bố được viết để tìm đồng thuận có thể giành được sự đồng ý nhờ giọng điệu hơn là nội dung (Tsai et al., 2024). Trên True Causes, một mô hình không nói thay cho một phòng. Nó viết hoặc phán xét từng liên kết riêng lẻ, mọi phán xét đều được đếm, và một hội đồng chia rẽ vẫn nằm trên bản đồ dưới dạng chia rẽ.
Chọn hội đồng là chuyện chất lượng trước, rồi mới đến cân bằng. Khác biệt lớn nhất giữa các mô hình là chúng phán xét tốt đến đâu, nên một hội đồng nên gồm các mô hình có năng lực, loại bỏ các mô hình yếu. Trong số các mô hình có năng lực, các họ mô hình nghiêng về những hướng khác nhau, nên một hội đồng nên lấy từ nhiều họ, và không họ nào nên đông hơn phần còn lại.
Các mô hình nên được sàng lọc trước khi được xếp ghế. Một mô hình trả lời có với mọi thứ, không với mọi thứ hoặc “không thể nói” với mọi thứ sẽ thêm nhiễu vào mọi cặp thẻ nó phán xét. Một bước hiệu chuẩn ngắn trên các liên kết đã biết sẽ tìm ra chúng.
Không nên dùng vai cho việc phán xét. Vai thêm các lần từ chối trả lời và một định kiến về địa vị, mà không thêm sự đa dạng nào trong phán xét. Việc viết là một câu hỏi riêng. Một phòng gồm các mô hình có vai viết ra những thẻ đa dạng, nhưng các mô hình khác nhau viết khác nhau, và một mô hình viết khác đi mỗi lần được hỏi, nên chỉ riêng việc thẻ đa dạng không cho thấy vai đã có tác dụng gì. Phép thử là phép thử đã dùng ở đây cho việc phán xét: cùng các mô hình viết ra nguyên nhân khi có và khi không có vai, và đếm số nguyên nhân khác biệt mà mỗi cách tạo ra.
Phòng gồm con người thì khác. Một người mang theo những gì họ đã thấy, chứ không phải một mô tả về ai đó có thể đã thấy điều đó. Nghiên cứu này không nói gì chống lại điều đó; nó nói rằng một mô hình được cho biết nó là người thuê nhà thì chưa từng sống như một người thuê nhà. Khi mục đích là tìm ra mọi người bất đồng về điều gì, chỉ con người mới cung cấp được điều đó. Trong những phòng ấy, một mô hình hữu ích khi đặt câu hỏi hơn là khi trả lời: một câu hỏi về một thẻ, mỗi lần một câu và không có quan điểm riêng (bạn sẽ thấy gì nếu điều này đúng? điều gì xảy ra ở giữa?), giúp tác giả làm rõ nguyên nhân mà không đặt lời của mô hình vào miệng họ.
Giới hạn
Một câu hỏi, về nhà ở; 120 liên kết; bốn hoặc năm vai cho mỗi mô hình, mỗi vai trả lời một lần. Những tác động nhỏ hơn mức thiết kế này có thể thấy sẽ không hiện ra. Các vai được viết dưới dạng mô tả vai trò; những cách tạo vai mạnh hơn, chẳng hạn yêu cầu mô hình suy luận trong vai trước khi trả lời, có thể khiến nó dịch chuyển nhiều hơn, kèm theo rủi ro biếm họa (Cheng et al., 2023). Độ thông tin đo mức đồng ý với hội đồng, không phải sự thật, và các mô hình được dùng làm người phán xét thảo luận đồng ý với con người kém hơn mong đợi (Zhu et al., 2025): một hội đồng đồng ý với chính nó vẫn có thể sai theo cùng một hướng. Khác biệt giữa các mô hình có năng lực chỉ xuất hiện với toàn bộ 870 liên kết; với 120 thì không thấy được, nên những khác biệt nhỏ hơn vẫn có thể bị bỏ sót, và một câu hỏi gây tranh cãi hơn nhà ở có thể chia rẽ các mô hình nhiều hơn.
Tài liệu tham khảo
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. Trong Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.