NOTLAR · MODEL PANELLERİ
Bir modele kim olduğunu söyleyin. Nedensel yargıları neredeyse hiç değişmez.
Ekim 2026
True Causes’taki dil modeli odaları her modele bir persona verir: kirada oturan bir hemşire, ev sahibi bir emekli, küçük bir müteahhit. Fikir şu: farklı insanlar farklı nedenler görür; onları canlandıran bir model paneli de görür. Kim olduğu söylenen bir modelin o kişi gibi yanıt verip vermediği bilinen bir sorudur (Argyle et al., 2023); biz bunu nedensel yargılar üzerinde test ettik.
Yargılama söz konusu olduğunda vermiyor. 21 model ve 14 persona boyunca, bir modele verilen persona, onun hangi nedensel bağları kabul ettiğini ölçebildiğimiz hiçbir ölçüde değiştirmedi. Hangi model olduğu ise çok şey değiştirdi.
Çalışma
Konut edinilebilirliği üzerine kamuya açık kayıtlı bir odadan 120 bağ aldık; odanın onayladığı, reddettiği ve karara bağlayamadığı bağlar eşit temsil edilecek biçimde seçildi. 21 modelin her biri her bağı bir kez kendisi olarak, dört ya da beş kez de farklı bir persona olarak yanıtladı: on iki konut personası (kiracılar ve ev sahipleri, bir mülk sahibi, bir şehir plancısı, bir müteahhit, bir kiracı örgütleyicisi, bir inşaat işçisi ve diğerleri) ve iki ikiz, yani tek bir olgu dışında aynı kişi: ev sahibi olmak yerine kirada oturmak. Her persona yedi model tarafından canlandırıldı. Bu, 119 koltuk ve 14,220 yanıt demektir; her koltuk her bağı yanıtladı, böylece hiçbir yanıt bir başkasına bağlı olmadı.
Yanıtları ne belirledi
Bağın kendisi tüm varyasyonun yaklaşık yarısını açıklıyor (%52): modeller hangi bağların akla yatkın olduğunda büyük ölçüde anlaşıyor. Modelin belirli bağları kendine özgü okuması bir dörtte birini daha açıklıyor (%24), hangi personayı canlandırırsa canlandırsın. Bir modelin genel olarak evet deme eğilimi %3 ekliyor.
Persona hiçbir şey eklemedi. Hangi bağların evet aldığındaki varyasyondan payı 0.000’dı; evete doğru genel bir eğilimdeki payı 0.002. Bir koltuğun yanıtlarından personayı, o personada görülmemiş modeller üzerinden tanımaya çalışan bir test şans düzeyinden iyi sonuç vermedi (%7.1’e karşı %6.1). Koltuklar personalarının özelliklerinin öngöreceği yönde de hareket etmedi: korelasyon sıfırdı. Bir persona bir yanıtı değiştirdiğinde, modele bağlı olarak bağların %1 ile %15’i arasında, onu rastgele değiştirdi.
Bu, başkalarının bulgularıyla örtüşüyor. Persona değişkenleri etiketleme görevlerindeki varyansın azını açıklar (Hu & Collier, 2024) ve bir sistem isteminde adı geçen rol, bir modelin yanıtlarını tutarlı biçimde değiştirmez (Zheng et al., 2024). Nedensel bir soru, bir modele soran kişiyle ilgili değil, dünyayla ilgili bir soru olarak görünür.
Personaların değiştirdiği şey: kimin yanıt verdiği
Personalar modellerin daha sık “bilemem” demesine yol açtı; kendileri olarak %19’a karşı zamanın %26’sında, üstelik eşit dağılmadan. Genç, düşük gelirli, kirada oturan, sola yakın ve ABD dışından personalar 14 puana kadar daha fazla çekimser kaldı; daha yaşlı, sağa yakın, mülk sahibi, yüksek gelirli ve ev sahibi personalar 13 puana kadar daha az. Modeller daha düşük statülü personaları bildiklerinden daha az emin kişiler olarak canlandırdı. Persona istemlerinin bu tür kalıp yargıları akıl yürütmeye taşıdığı biliniyor (Gupta et al., 2024). Bazı modeller bir personayla çok daha fazla reddetti: Gemini 3.5 Flash persona olarak bağların %59’una “bilemem” dedi, kendisi olarak hiçbirine.
Hangi modeller iyi yargılıyor
Grafikler her modeli ne sıklıkla evet dediğine (yatay) ve yanıtlarının ne kadar bilgilendirici olduğuna (dikey) göre yerleştirir. Bilgililik (informedness) doğru yanıtlar bilinmeden, modellerin birbirleriyle nasıl anlaştığından tahmin edilir (Dawid & Skene, 1979): 1 tamamen tutarlı bir yargıç, 0 hiçbir sinyal taşımayan bir yanıttır. Doğruluğu değil, panelin bütün olarak bulduğuyla uyumu ölçer; dolayısıyla daha zayıf modellerle aynı fikirde olmayan güçlü bir model, hak ettiğinden düşük puan alabilir.
Modellerin çoğu ayırt ediyor: bağların dörtte biri ile üçte ikisi arasına evet diyorlar ve yanıtları sinyal taşıyor. Claude Sonnet 5.5 ve DeepSeek V4 Flash panelle en çok anlaşanlar. Gemma 3 4B ve Command R7B gibi daha küçük modeller daha az sinyal taşıyor. İddiaları yargılamak için değil, veri çıkarmak için yapılmış bir model olan Schematron neredeyse her şeye “bilemem” dedi ve yanıtladıkları neredeyse hiç sinyal taşımıyor.
Modellerin kendi görüşleri var mı?
Personalar yanıtları biçimlendirmiyorsa, belki modellerin kendileri sorun hakkında farklı kuramlara sahiptir: biri düzenlemeyi suçlar, bir diğeri spekülasyonu. Varyasyonun dörtte biri, modellerin aynı bağı farklı okumasından geliyordu; bu yüzden bu farkın yönlerini aradık: modellerin kendileri olarak verdikleri yanıtlardan her modeli ve her bağı birkaç boyut üzerine yerleştiren bir model. Bir boyut ancak kararlıysa sayılır, yani bağların iki yarısı üzerinde ayrı ayrı kestirildiğinde modelleri büyük ölçüde aynı yerlere koyuyorsa.
Bir boyut kararlıydı ve bu bir kuram değildi. Bir ucunda, zayıf modellerin kabul ettiği, neredeyse hiç anlam taşımayan bağlar vardı; örneğin “yabancı yatırımcıların satın aldığı lüks daireler”in “Amerika yılda 600,000 ile 1.2 milyon arasında göçmen ekliyor”a yol açması. Öbür ucunda tutarlı tek bir mekanizma vardı: sakinlerin oyları ve mevcut sahiplerin çıkarları arzı sınırlı tutuyor; güçlü modellerin hepsi bunu kabul etti. Bu boyut, bir modelin ne kadar iyi yargıladığıdır: güçlü modeller birbirine yakın durur ve her zayıf model onlardan kendi yolunda ayrılır.
On bir güçlü model arasında, çalışmanın 120 bağı üzerinde kestirildiğinde hiçbir şey kararlı değildi. Bağ sayısı çok azdı. Odanın 870 bağının tamamı üzerinde, aynı on bir modelin kendileri olarak verdiği yanıtlarla kestirildiğinde bir fark ortaya çıktı ve bu fark kararlı: bağların iki yarısı üzerinde ayrı ayrı kestirildiğinde modeller neredeyse aynı yerlere düşüyor (0.89).
Bir uçta modeller, insanların çıkarlarından siyasi kararlara giden bağları kabul ediyor: ev sahiplerinin artan fiyatlardaki çıkarının bir hükümetin arz karşıtı değişikliklerine yol açması, sakinlerin oylarının Proposition 13’e yol açması. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex ve DeepSeek orada duruyor. Öbür uçta modeller, engellerden arz mekanizmasına giden bağları kabul ediyor: düzenleme, mevcut sahiplerin çıkarları, düşük maliyetli daireleri reddeden belediye meclisleri ve mülkiyet hakları; her biri “daha fazla konut birimi fiyatları düşürür”e yol açıyor. Mistral Small, Ministral 8B, Laguna ve Qwen orada duruyor. Kabaca, bir taraf konutu siyasi olarak kimin kazandığıyla, öbürü arzı neyin engellediğiyle açıklıyor. Bu okuma, her iki uçtaki bağlardan yola çıkan bizim okumamız. İkinci boyut iki GPT-OSS modelini bir uca koyuyor, ama bağlarının adlandırabileceğimiz ortak bir teması yok.
Varyasyon da bununla örtüşüyor. On bir güçlü model arasında bağın kendisi varyasyonun %68’ini açıklıyor, 21 modelin tamamıyla %52’ye karşı; modele özgü okumalar ise %24’ten %8’e düşüyor: farklı okumalar gibi görünenlerin yaklaşık üçte ikisi zayıf modellerden geliyordu. Geri kalanı daha küçük, ama yukarıdaki tutarlı fark o.
Bunun True Causes için anlamı
Bir model paneli, dar bir görüş yelpazesiyle yargı sunar. Personalar yeni bakış açıları eklemez. Yetkin modeller bağların çoğunda anlaşır, geri kalanında ise siyasi ve arz temelli açıklamalar arasındaki bir çizgi boyunca tutarlı biçimde ayrışır. Bu bir yelpazedir, ama dar bir yelpaze; modellerin nasıl eğitildiğiyle belirlenir: farklı deneyimlere sahip insanların getireceği görüş yelpazesi değildir. Müzakereleri özetleyen modeller üzerine yapılan araştırmalar da aynı yönü gösteriyor: özetler, 18 model boyunca azınlık konumlarını eksik temsil ediyor (Zhu et al., 2025) ve uzlaşma bulmak için yazılmış metinler, içerikleriyle olduğundan çok tonlarıyla onay kazanabiliyor (Tsai et al., 2024). True Causes’ta bir model bir oda adına konuşmaz. Tek tek bağlar yazar ya da yargılar, her yargı sayılır ve bir bölünme haritada bölünme olarak kalır.
Bir panel seçmek önce kaliteyle, sonra dengeyle ilgilidir. Modeller arasındaki en büyük fark ne kadar iyi yargıladıklarıdır; bu yüzden bir panel, zayıf modeller dışarıda bırakılarak yetkin modellerden oluşmalıdır. Yetkin modeller arasında aileler farklı yönlere eğilir; bu yüzden bir panel birkaç aileden yararlanmalı ve hiçbir aile diğerlerinden sayıca fazla olmamalıdır.
Modeller yer almadan önce elenmelidir. Her şeye evet, her şeye hayır ya da her şeye “bilemem” diyen bir model, yargıladığı her çifte gürültü ekler. Bilinen bağlar üzerinde kısa bir kalibrasyon onları bulur.
Personalar yargılama için kullanılmamalıdır. Çekimserlik ve bir statü kalıp yargısı eklerler, yargı çeşitliliği ise eklemezler. Yazmak ayrı bir sorudur. Personalı modellerden oluşan bir oda çeşitli kartlar yazar, ama farklı modeller farklı yazar ve tek bir model de her sorulduğunda farklı yazar; bu yüzden çeşitli kartlar tek başına personaların bir şey yaptığını göstermez. Test, burada yargılama için kullanılanla aynıdır: aynı modeller nedenleri personalı ve personasız yazar ve her birinin ürettiği farklı nedenler sayılır.
İnsanlardan oluşan odalar farklıdır. Bir insan, onu görmüş olabilecek birinin tarifini değil, kendi gördüğünü getirir. Bu çalışma buna karşı hiçbir şey söylemiyor; söylediği, kendisine kiracı olduğu söylenen bir modelin kiracı olarak yaşamamış olduğudur. Amaç insanların neyde anlaşamadığını bulmaksa, bunu yalnızca insanlar sağlar. O odalarda bir model, yanıtlamaktan çok soru sorarken işe yarar: bir kart hakkında, her seferinde bir tane ve kendi görüşü olmadan sorulan bir soru (bu doğru olsaydı ne görürdünüz? arada ne oluyor?), modelin sözlerini yazarın ağzına koymadan, yazarın nedeni açık hâle getirmesine yardım eder.
Sınırlar
Tek bir soru, konut; 120 bağ; model başına dört ya da beş persona, her biri bir kez yanıt veriyor. Bu tasarımın görebileceğinden küçük etkiler görünmez. Personalar rol tarifleri olarak yazıldı; bir modelden yanıt vermeden önce karakter içinde akıl yürütmesini istemek gibi daha güçlü yöntemler onu daha da kaydırabilir, karikatür riskiyle birlikte (Cheng et al., 2023). Bilgililik doğruluğu değil, panelle uyumu ölçer ve müzakerenin yargıcı olarak kullanılan modeller insanlarla umulabileceğinden daha az anlaşır (Zhu et al., 2025): kendisiyle anlaşan bir panel yine de aynı yönde yanılıyor olabilir. Yetkin modeller arasındaki fark yalnızca 870 bağın tamamıyla ortaya çıktı; 120 bağla görünmezdi; bu yüzden daha küçük farklar hâlâ görülmeden kalabilir ve konuttan daha tartışmalı bir soru modelleri daha da ayırabilir.
Kaynaklar
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.