નોંધો · મોડેલ પેનલો

મોડેલને તે કોણ છે એવું કહો. તેના કારણ-સંબંધી નિર્ણયો ભાગ્યે જ બદલાય છે.

ઑક્ટોબર 2026

True Causes પર ભાષા મોડેલોના રૂમ દરેક મોડેલને એક પાત્ર આપે છે: ભાડે રહેતી નર્સ, નિવૃત્ત મકાનમાલિક, નાનો ડેવલપર. વિચાર એ છે કે જુદા લોકોને જુદાં કારણો દેખાય છે, અને તેમનું પાત્ર ભજવતાં મોડેલોની પેનલને પણ દેખાશે. પોતે કોણ છે એવું કહેવાયેલું મોડેલ એ વ્યક્તિની જેમ જવાબ આપે છે કે નહીં એ જાણીતો સવાલ છે (Argyle et al., 2023); અમે તેને કારણ-સંબંધી નિર્ણયો પર ચકાસ્યો.

પરખવાની બાબતમાં, એવું થતું નથી. 21 મોડેલો અને 14 પાત્રોમાં, મોડેલને અપાયેલા પાત્રથી તેણે કઈ કારણ-કડીઓ સ્વીકારી તેમાં અમે માપી શકીએ એવો કોઈ ફેર પડ્યો નહીં. કયું મોડેલ હતું તેનાથી ઘણો ફેર પડ્યો.

અભ્યાસ

અમે આવાસની પોસાણક્ષમતા પરના એક જાહેર-રેકોર્ડ રૂમ માંથી 120 કડીઓ લીધી, એવી રીતે પસંદ કરેલી કે રૂમે પ્રમાણિત કરેલી, નકારેલી અને નક્કી ન કરી શકેલી કડીઓ સરખા પ્રમાણમાં હોય. 21 માંથી દરેક મોડેલે દરેક કડીનો જવાબ આપ્યો, એક વાર પોતે તરીકે અને ચાર કે પાંચ વાર જુદા પાત્ર તરીકે: આવાસનાં બાર પાત્રો (ભાડૂઆતો અને માલિકો, એક મકાનમાલિક, એક આયોજક, એક ડેવલપર, ભાડૂઆતોના એક આયોજક, એક બાંધકામ મજૂર અને બીજાં), અને બે જોડિયાં, એક જ વ્યક્તિ, ફક્ત એક હકીકતમાં ફેર, માલિકીને બદલે ભાડે રહેવું. દરેક પાત્ર સાત મોડેલોએ ભજવ્યું. એટલે 119 બેઠકો અને 14,220 જવાબો, દરેક બેઠક દરેક કડીનો જવાબ આપતી, તેથી કોઈ જવાબ બીજા પર આધારિત નહોતો.

જવાબો શેનાથી નક્કી થયા

કડી પોતે બધા વૈવિધ્યનો લગભગ અડધો ભાગ (52%) સમજાવે છે: કઈ કડીઓ વાજબી છે તે વિશે મોડેલો મોટે ભાગે સહમત છે. ચોક્કસ કડીઓનું મોડેલનું પોતાનું વાચન બીજો એક ચતુર્થાંશ (24%) સમજાવે છે, ભલે તે ગમે તે પાત્ર ભજવે. મોડેલની હા કહેવાની સામાન્ય વૃત્તિ 3% ઉમેરે છે.

પાત્રે કશું ઉમેર્યું નહીં. કઈ કડીઓને હા મળી તેના વૈવિધ્યમાં તેનો હિસ્સો 0.000 હતો; હા તરફના સામાન્ય ઝોકમાં તેનો હિસ્સો, 0.002. બેઠકના જવાબો પરથી, જે મોડેલોમાં તે જોવાયું નહોતું તેમના વડે, પાત્ર ઓળખવાનો પ્રયાસ કરતી કસોટી સંયોગ કરતાં વધુ સારી ન નીવડી (7.1% સામે 6.1%). અને બેઠકો તેમના પાત્રનાં લક્ષણો જે દિશા સૂચવે તે દિશામાં ખસી નહીં: સહસંબંધ શૂન્ય હતો. જ્યારે પાત્રથી કોઈ જવાબ બદલાયો, મોડેલ પ્રમાણે 1% થી 15% કડીઓ પર, ત્યારે તે યાદૃચ્છિક રીતે બદલાયો.

આ બીજાઓનાં તારણો સાથે મેળ ખાય છે. ટીકાકરણનાં કાર્યોમાં પાત્રના ચલ વૈવિધ્યનો નાનો ભાગ જ સમજાવે છે (Hu & Collier, 2024), અને સિસ્ટમ પ્રૉમ્પ્ટમાં જણાવેલી ભૂમિકા મોડેલના જવાબોને સતત બદલતી નથી (Zheng et al., 2024). કારણ-સંબંધી સવાલ મોડેલને દુનિયા વિશેના સવાલ તરીકે વંચાય છે, પૂછનાર વ્યક્તિ વિશેના નહીં.

પાત્રોએ શું બદલ્યું: કોણ જવાબ આપે છે

પાત્રોથી મોડેલો વધુ વાર “કહી શકાય નહીં” કહેતાં થયાં, પોતે તરીકેના 19% સામે 26% સમય, અને સરખી રીતે નહીં. યુવાન, ઓછી આવકવાળાં, ભાડે રહેતાં, ડાબેરી ઝોકવાળાં અને બિન-અમેરિકી પાત્રોએ વધુ વાર જવાબ ટાળ્યો, 14 અંક સુધી; વૃદ્ધ, જમણેરી ઝોકવાળાં, મકાનમાલિક, ઊંચી આવકવાળાં અને માલિક પાત્રોએ ઓછી વાર, 13 અંક સુધી. મોડેલોએ નીચા દરજ્જાનાં પાત્રોને પોતાના જ્ઞાન વિશે ઓછાં ચોક્કસ તરીકે ભજવ્યાં. પાત્ર-પ્રૉમ્પ્ટ આવા રૂઢિગત ખ્યાલો તર્કમાં લઈ જતાં હોવાનું જાણીતું છે (Gupta et al., 2024). કેટલાંક મોડેલોએ પાત્ર સાથે ઘણી વધુ વાર ઇનકાર કર્યો: Gemini 3.5 Flash એ પાત્ર તરીકે 59% કડીઓને “કહી શકાય નહીં” કહ્યું અને પોતે તરીકે એકેયને નહીં.

કયાં મોડેલો સારી રીતે પરખે છે

ચાર્ટ દરેક મોડેલને તે કેટલી વાર હા કહે છે (આડું) અને તેના જવાબો કેટલા માહિતીપ્રદ છે (ઊભું) તે પ્રમાણે મૂકે છે. માહિતીપ્રદતાનો અંદાજ સાચા જવાબો જાણ્યા વિના, મોડેલો એકબીજા સાથે કેવી રીતે સહમત થાય છે તેના પરથી કઢાય છે (Dawid & Skene, 1979): 1 એટલે સંપૂર્ણ સુસંગત નિર્ણાયક, 0 એટલે કોઈ સંકેત વગરનો જવાબ. તે આખી પેનલને જે મળે તેની સાથેની સહમતી માપે છે, સાચાપણું નહીં, તેથી નબળાં મોડેલોથી અસહમત મજબૂત મોડેલને લાયકાત કરતાં ઓછો સ્કોર મળી શકે.

મોટા ભાગનાં મોડેલો ભેદ પારખે છે: તે ચોથા ભાગથી બે તૃતીયાંશ જેટલી કડીઓને હા કહે છે, અને તેમના જવાબોમાં સંકેત છે. Claude Sonnet 5.5 અને DeepSeek V4 Flash પેનલ સાથે સૌથી વધુ સહમત છે. Gemma 3 4B અને Command R7B જેવાં નાનાં મોડેલોમાં ઓછો સંકેત છે. Schematron, દાવા પરખવા નહીં પણ ડેટા કાઢવા માટે બનેલું મોડેલ, લગભગ દરેકને “કહી શકાય નહીં” કહ્યું, અને તેણે જે જવાબ આપ્યા તેમાં નહીંવત્ સંકેત છે.

શું મોડેલોના પોતાના મત છે?

જો પાત્રો જવાબોને આકાર ન આપતાં હોય, તો કદાચ મોડેલો પોતે સમસ્યાના જુદા સિદ્ધાંતો ધરાવે છે, એક નિયમનને દોષ દે, બીજું સટ્ટાને. વૈવિધ્યનો ચોથો ભાગ મોડેલો એ જ કડીને જુદી રીતે વાંચે તેનો હતો, તેથી અમે એ ફેરની દિશાઓ શોધી: એક મોડેલ જે દરેક મોડેલ અને દરેક કડીને થોડાં પરિમાણો પર મૂકે છે, મોડેલોના પોતે તરીકેના જવાબો પરથી. પરિમાણ ત્યારે જ ગણાય જ્યારે તે સ્થિર હોય, એટલે કે, કડીઓના બે અડધા ભાગ પર અલગથી ગોઠવતાં તે મોડેલોને લગભગ એ જ જગ્યાએ મૂકે.

એક પરિમાણ સ્થિર હતું, અને તે કોઈ સિદ્ધાંત નહોતું. એક છેડે એવી કડીઓ હતી જેનો ભાગ્યે જ અર્થ બેસે, જેમ કે “વિદેશી રોકાણકારોએ ખરીદેલા વૈભવી ફ્લૅટ” થી “અમેરિકા દર વર્ષે 6 લાખથી 12 લાખ વસાહતીઓ ઉમેરે છે”, જે નબળાં મોડેલોએ સ્વીકારી. બીજા છેડે એક સુસંગત યંત્રરચના હતી, રહેવાસીઓના મત અને પહેલેથી બેઠેલાઓનાં હિતો પુરવઠો મર્યાદિત રાખે છે, જે બધાં મજબૂત મોડેલોએ સ્વીકારી. આ પરિમાણ એ છે કે મોડેલ કેટલું સારું પરખે છે: મજબૂત મોડેલો એકબીજાની નજીક છે, અને દરેક નબળું મોડેલ પોતાની રીતે તેમનાથી દૂર જાય છે.

અગિયાર મજબૂત મોડેલોમાં, અભ્યાસની 120 કડીઓ પર ગોઠવતાં, કશું સ્થિર નહોતું. એ બહુ ઓછી કડીઓ હતી. રૂમની બધી 870 કડીઓ પર ગોઠવતાં, જેના જવાબ એ જ અગિયાર મોડેલોએ પોતે તરીકે આપ્યા, એક ફેર દેખાયો, અને તે સ્થિર છે: કડીઓના બે અડધા ભાગ પર અલગથી ગોઠવતાં, મોડેલો લગભગ એ જ જગ્યાએ આવે છે (0.89).

એક છેડે, મોડેલો લોકોનાં હિતોથી રાજકીય નિર્ણયો સુધીની કડીઓ સ્વીકારે છે: વધતી કિંમતોમાં મકાનમાલિકોનો હિસ્સો સરકારના પુરવઠા-વિરોધી ફેરફારો તરફ, રહેવાસીઓના મત Proposition 13 તરફ. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex અને DeepSeek ત્યાં છે. બીજા છેડે, મોડેલો અવરોધોથી પુરવઠાની યંત્રરચના સુધીની કડીઓ સ્વીકારે છે: નિયમન, પહેલેથી બેઠેલાઓનાં હિતો, ઓછી કિંમતના ફ્લૅટ નકારતી પાલિકાઓ અને મિલકત-અધિકારો, દરેક “વધુ આવાસ એકમો કિંમતો ઘટાડે છે” તરફ. Mistral Small, Ministral 8B, Laguna અને Qwen ત્યાં છે. આશરે, એક બાજુ આવાસને રાજકીય રીતે કોને ફાયદો થાય છે તેનાથી સમજાવે છે, બીજી પુરવઠો શું રોકે છે તેનાથી. એ વાચન અમારું છે, દરેક છેડાની કડીઓ પરથી. બીજું પરિમાણ બંને GPT-OSS મોડેલોને એક છેડે મૂકે છે, પણ તેની કડીઓમાં એવો કોઈ સમાન વિષય નથી જેનું અમે નામ આપી શકીએ.

વૈવિધ્ય સહમત થાય છે. અગિયાર મજબૂત મોડેલોમાં, કડી પોતે તેનો 68% સમજાવે છે, બધાં 21 મોડેલો સાથેના 52% સામે, અને મોડેલ-વિશિષ્ટ વાચન 24% થી ઘટીને 8% થાય છે: જે જુદાં વાચન લાગતાં હતાં તેમાંથી લગભગ બે તૃતીયાંશ નબળાં મોડેલોમાંથી આવતાં હતાં. બાકીનું નાનું છે, પણ તે ઉપરનો સુસંગત ફેર છે.

True Causes માટે આનો અર્થ શું

મોડેલોની પેનલ નિર્ણયશક્તિ આપે છે, મતોની સાંકડી શ્રેણી સાથે. પાત્રો કોઈ દૃષ્ટિકોણ ઉમેરતાં નથી. સક્ષમ મોડેલો મોટા ભાગની કડીઓ પર સહમત થાય છે, અને બાકીની પર સતત જુદાં પડે છે, રાજકીય અને પુરવઠા-આધારિત સમજૂતીઓ વચ્ચેની એક રેખા પર. એ એક શ્રેણી છે, પણ સાંકડી, મોડેલો કેવી રીતે તાલીમ પામ્યાં તેનાથી નક્કી થયેલી: જુદો અનુભવ ધરાવતા લોકો જે મતોની શ્રેણી લાવે તે નહીં. વિચાર-વિમર્શનો સારાંશ આપતાં મોડેલો પરનું સંશોધન એ જ દિશા બતાવે છે: સારાંશમાં લઘુમતીનાં સ્થાનોને ઓછું પ્રતિનિધિત્વ મળે છે, 18 મોડેલોમાં (Zhu et al., 2025), અને સર્વસંમતિ શોધવા લખાયેલાં વિધાનો તેમના વિષયવસ્તુ કરતાં તેમના સૂરથી વધુ સહમતી મેળવી શકે (Tsai et al., 2024). True Causes પર મોડેલ રૂમ વતી બોલતું નથી. તે એક-એક કડી લખે કે પરખે છે, દરેક નિર્ણય ગણાય છે, અને વહેંચાયેલો મત નકશા પર વહેંચાયેલા તરીકે રહે છે.

પેનલ પસંદ કરવામાં પહેલાં ગુણવત્તા, પછી સંતુલન. મોડેલો વચ્ચેનો સૌથી મોટો ફેર એ છે કે તે કેટલું સારું પરખે છે, તેથી પેનલમાં સક્ષમ મોડેલો હોવાં જોઈએ, નબળાંને બહાર રાખીને. સક્ષમ મોડેલોમાં, પરિવારો જુદી દિશામાં ઝૂકે છે, તેથી પેનલ ઘણા પરિવારોમાંથી લેવી જોઈએ, અને કોઈ એક પરિવાર બાકીના બધાથી વધુ ન હોવો જોઈએ.

મોડેલોને બેસાડતાં પહેલાં ચકાસવાં જોઈએ. જે મોડેલ દરેકને હા, દરેકને ના કે દરેકને “કહી શકાય નહીં” કહે તે પોતે પરખે તે દરેક જોડીમાં ઘોંઘાટ ઉમેરે છે. જાણીતી કડીઓ પરનું ટૂંકું માપાંકન તેમને પકડી પાડે છે.

પરખવા માટે પાત્રો ન વાપરવાં જોઈએ. તે જવાબ ટાળવાનું અને દરજ્જાનો રૂઢિગત ખ્યાલ ઉમેરે છે, અને નિર્ણયમાં કોઈ વૈવિધ્ય નહીં. લખવું અલગ સવાલ છે. પાત્રોવાળાં મોડેલોનો રૂમ વૈવિધ્યસભર કાર્ડ લખે છે, પણ જુદાં મોડેલો જુદું લખે છે, અને એક જ મોડેલ દર વખતે પુછાય ત્યારે જુદું લખે છે, તેથી ફક્ત વૈવિધ્યસભર કાર્ડથી સાબિત થતું નથી કે પાત્રોએ કશું કર્યું. કસોટી એ જ છે જે અહીં પરખવા માટે વપરાઈ: એ જ મોડેલો પાત્ર સાથે અને પાત્ર વિના કારણો લખે છે, અને દરેક જે અલગ કારણો ઉત્પન્ન કરે તે ગણાય છે.

લોકોના રૂમ જુદા છે. વ્યક્તિ પોતે જે જોયું છે તે લાવે છે, તે જોઈ શકે એવા કોઈનું વર્ણન નહીં. આ અભ્યાસ એની વિરુદ્ધ કશું કહેતો નથી; તે કહે છે કે ભાડૂઆત છે એવું કહેવાયેલું મોડેલ ભાડૂઆત તરીકે જીવ્યું નથી. જ્યાં મુદ્દો એ શોધવાનો હોય કે લોકો શેના પર અસહમત છે, ત્યાં ફક્ત લોકો જ તે આપી શકે. એ રૂમમાં મોડેલ જવાબ આપવા કરતાં પૂછવામાં વધુ ઉપયોગી છે: કાર્ડ વિશેનો સવાલ, એક વારે એક અને પોતાના કોઈ મત વિના (આ સાચું હોય તો તમને શું દેખાય? વચ્ચે શું થાય છે?), તેના લેખકને મોડેલના શબ્દો તેના મોંમાં મૂક્યા વિના કારણ સ્પષ્ટ કરવામાં મદદ કરે છે.

મર્યાદાઓ

એક સવાલ, આવાસ; 120 કડીઓ; મોડેલ દીઠ ચાર કે પાંચ પાત્રો, દરેક એક વાર જવાબ આપતું. આ રચના જોઈ શકે તેનાથી નાની અસરો દેખાય નહીં. પાત્રો ભૂમિકાનાં વર્ણનો તરીકે લખાયાં હતાં; તેમને ઉપજાવવાની વધુ મજબૂત રીતો, જેમ કે જવાબ આપતાં પહેલાં મોડેલને પાત્રમાં રહીને તર્ક કરવા કહેવું, તેને વધુ ખસેડી શકે, સાથે ઠઠ્ઠાચિત્રના જોખમ સાથે (Cheng et al., 2023). માહિતીપ્રદતા પેનલ સાથેની સહમતી માપે છે, સત્ય નહીં, અને વિચાર-વિમર્શનાં નિર્ણાયક તરીકે વપરાતાં મોડેલો લોકો સાથે ધારીએ તેટલાં સહમત થતાં નથી (Zhu et al., 2025): પોતાની સાથે સહમત પેનલ પણ એક જ દિશામાં ખોટી હોઈ શકે. સક્ષમ મોડેલો વચ્ચેનો ફેર ફક્ત બધી 870 કડીઓ સાથે દેખાયો; 120 સાથે તે અદૃશ્ય હતો, તેથી નાના ફેર હજી ન દેખાતા હોય, અને આવાસ કરતાં વધુ વિવાદિત સવાલ મોડેલોને વધુ વહેંચી શકે.

સંદર્ભો

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

એક સવાલ હાથ પર લો → · વધુ નોંધો