കുറിപ്പുകൾ · മോഡൽ പാനലുകൾ

ഒരു മോഡലിനോട് അത് ആരാണെന്ന് പറയുക. അതിന്റെ കാര്യകാരണ വിധികൾ കഷ്ടിച്ചേ മാറൂ.

2026 ഒക്ടോബർ

True Causes-ലെ ഭാഷാ മോഡലുകളുടെ മുറികൾ ഓരോ മോഡലിനും ഒരു വ്യക്തിരൂപം നൽകുന്നു: വാടകയ്ക്ക് താമസിക്കുന്ന ഒരു നഴ്സ്, വിരമിച്ച ഒരു വീട്ടുടമ, ഒരു ചെറുകിട ഡെവലപ്പർ. വ്യത്യസ്ത ആളുകൾ വ്യത്യസ്ത കാരണങ്ങൾ കാണുന്നു, അവരെ അവതരിപ്പിക്കുന്ന മോഡലുകളുടെ ഒരു പാനലും അങ്ങനെ കാണും എന്നതാണ് ആശയം. താൻ ആരാണെന്ന് പറഞ്ഞുകൊടുത്ത ഒരു മോഡൽ ആ വ്യക്തിയെപ്പോലെ ഉത്തരം നൽകുമോ എന്നത് അറിയപ്പെടുന്ന ഒരു ചോദ്യമാണ് (Argyle et al., 2023); കാര്യകാരണ വിധികളിൽ ഞങ്ങൾ അത് പരീക്ഷിച്ചു.

വിധിയുടെ കാര്യത്തിൽ, ഇല്ല. 21 മോഡലുകളിലും 14 വ്യക്തിരൂപങ്ങളിലുമായി, ഒരു മോഡലിന് നൽകിയ വ്യക്തിരൂപം അത് ഏതൊക്കെ കാര്യകാരണ ബന്ധങ്ങൾ അംഗീകരിച്ചു എന്നതിനെ ഞങ്ങൾക്ക് അളക്കാവുന്ന ഒരു തരത്തിലും മാറ്റിയില്ല. ഏത് മോഡലാണ് എന്നത് വളരെയധികം മാറ്റമുണ്ടാക്കി.

പഠനം

പാർപ്പിടം താങ്ങാനാകുന്നതിനെക്കുറിച്ചുള്ള ഒരു പൊതുരേഖാ മുറിയിൽ നിന്ന് ഞങ്ങൾ 120 ബന്ധങ്ങൾ എടുത്തു; മുറി സാക്ഷ്യപ്പെടുത്തിയതും നിരസിച്ചതും തീർപ്പാക്കാനാവാത്തതുമായ ബന്ധങ്ങൾക്ക് തുല്യ പ്രാതിനിധ്യം കിട്ടുന്ന വിധത്തിൽ തിരഞ്ഞെടുത്തത്. 21 മോഡലുകളിൽ ഓരോന്നും ഓരോ ബന്ധത്തിനും ഉത്തരം നൽകി: ഒരിക്കൽ സ്വന്തം നിലയിലും, നാലോ അഞ്ചോ തവണ വ്യത്യസ്ത വ്യക്തിരൂപങ്ങളായും — പന്ത്രണ്ട് പാർപ്പിട വ്യക്തിരൂപങ്ങൾ (വാടകക്കാരും ഉടമകളും, ഒരു ഭൂവുടമ, ഒരു ആസൂത്രകൻ, ഒരു ഡെവലപ്പർ, ഒരു വാടകക്കാരുടെ സംഘാടകൻ, ഒരു നിർമാണ തൊഴിലാളി തുടങ്ങിയവർ), ഒപ്പം രണ്ട് ഇരട്ടകൾ — ഒരൊറ്റ വസ്തുതയിൽ മാത്രം വ്യത്യാസമുള്ള അതേ വ്യക്തി, സ്വന്തം വീടിനു പകരം വാടകവീട്. ഓരോ വ്യക്തിരൂപവും ഏഴ് മോഡലുകൾ അവതരിപ്പിച്ചു. അത് 119 സീറ്റുകളും 14,220 ഉത്തരങ്ങളുമാണ്; ഓരോ സീറ്റും ഓരോ ബന്ധത്തിനും ഉത്തരം നൽകി, അതിനാൽ ഒരു ഉത്തരവും മറ്റൊന്നിനെ ആശ്രയിച്ചില്ല.

ഉത്തരങ്ങളെ നിർണയിച്ചത്

മൊത്തം വ്യതിയാനത്തിന്റെ ഏകദേശം പകുതിയും (52%) ബന്ധം തന്നെ വിശദീകരിക്കുന്നു: ഏതൊക്കെ ബന്ധങ്ങൾ വിശ്വസനീയമാണെന്നതിൽ മോഡലുകൾ ഏറെയും യോജിക്കുന്നു. പ്രത്യേക ബന്ധങ്ങളെക്കുറിച്ചുള്ള മോഡലിന്റെ സ്വന്തം വായന മറ്റൊരു നാലിലൊന്ന് (24%) വിശദീകരിക്കുന്നു, അത് ഏത് വ്യക്തിരൂപം അവതരിപ്പിച്ചാലും. ഉവ്വ് എന്ന് പറയാനുള്ള ഒരു മോഡലിന്റെ പൊതുപ്രവണത 3% കൂട്ടുന്നു.

വ്യക്തിരൂപം ഒന്നും കൂട്ടിയില്ല. ഏതൊക്കെ ബന്ധങ്ങൾക്ക് ഉവ്വ് കിട്ടി എന്നതിലെ വ്യതിയാനത്തിൽ അതിന്റെ പങ്ക് 0.000 ആയിരുന്നു; ഉവ്വിലേക്കുള്ള പൊതുചായ്‌വിൽ 0.002. ഒരു സീറ്റിന്റെ ഉത്തരങ്ങളിൽ നിന്ന്, ആ വ്യക്തിരൂപം കണ്ടിട്ടില്ലാത്ത മോഡലുകൾ വഴി, വ്യക്തിരൂപം തിരിച്ചറിയാൻ ശ്രമിക്കുന്ന ഒരു പരിശോധന യാദൃച്ഛികതയേക്കാൾ മെച്ചപ്പെട്ടില്ല (7.1%-നെതിരെ 6.1%). വ്യക്തിരൂപത്തിന്റെ സവിശേഷതകൾ പ്രവചിക്കുന്ന ദിശയിൽ സീറ്റുകൾ നീങ്ങിയതുമില്ല: സഹബന്ധം പൂജ്യമായിരുന്നു. ഒരു വ്യക്തിരൂപം ഒരു ഉത്തരം മാറ്റിയപ്പോൾ — മോഡലനുസരിച്ച് ബന്ധങ്ങളുടെ 1% മുതൽ 15% വരെയിൽ — അത് ക്രമരഹിതമായാണ് മാറ്റിയത്.

മറ്റുള്ളവർ കണ്ടെത്തിയതുമായി ഇത് ഒത്തുപോകുന്നു. അനോട്ടേഷൻ ജോലികളിലെ വ്യതിയാനത്തിന്റെ ചെറിയൊരു ഭാഗം മാത്രമേ വ്യക്തിരൂപ ചരങ്ങൾ വിശദീകരിക്കുന്നുള്ളൂ (Hu & Collier, 2024); ഒരു സിസ്റ്റം പ്രോംപ്റ്റിൽ പറയുന്ന റോൾ ഒരു മോഡലിന്റെ ഉത്തരങ്ങളെ സ്ഥിരമായി മാറ്റുന്നില്ല (Zheng et al., 2024). ഒരു കാര്യകാരണ ചോദ്യം ഒരു മോഡലിന് ലോകത്തെക്കുറിച്ചുള്ള ചോദ്യമായാണ് തോന്നുന്നത്, ചോദിക്കുന്നയാളെക്കുറിച്ചല്ല.

വ്യക്തിരൂപങ്ങൾ മാറ്റിയത്: ആര് ഉത്തരം നൽകുന്നു

വ്യക്തിരൂപങ്ങൾ മോഡലുകളെക്കൊണ്ട് കൂടുതൽ തവണ “പറയാനാവില്ല” എന്ന് പറയിച്ചു — സ്വന്തം നിലയിൽ 19%-നെതിരെ 26% — അതും തുല്യമായല്ല. ചെറുപ്പക്കാർ, കുറഞ്ഞ വരുമാനക്കാർ, വാടകക്കാർ, ഇടതുചായ്‌വുള്ളവർ, അമേരിക്കക്കാരല്ലാത്തവർ എന്നീ വ്യക്തിരൂപങ്ങൾ 14 പോയിന്റ് വരെ കൂടുതൽ വിട്ടുനിന്നു; പ്രായമുള്ളവർ, വലതുചായ്‌വുള്ളവർ, ഭൂവുടമകൾ, ഉയർന്ന വരുമാനക്കാർ, ഉടമകൾ എന്നീ വ്യക്തിരൂപങ്ങൾ 13 പോയിന്റ് വരെ കുറച്ചും. താഴ്ന്ന പദവിയുള്ള വ്യക്തിരൂപങ്ങളെ തങ്ങൾക്കറിയാവുന്നതിൽ ഉറപ്പ് കുറഞ്ഞവരായാണ് മോഡലുകൾ അവതരിപ്പിച്ചത്. വ്യക്തിരൂപ പ്രോംപ്റ്റുകൾ ഇത്തരം വാർപ്പുമാതൃകകൾ യുക്തിയിലേക്ക് കൊണ്ടുവരുമെന്ന് അറിയാം (Gupta et al., 2024). ചില മോഡലുകൾ വ്യക്തിരൂപത്തോടെ വളരെയധികം വിസമ്മതിച്ചു: Gemini 3.5 Flash വ്യക്തിരൂപമായി 59% ബന്ധങ്ങളോടും “പറയാനാവില്ല” എന്ന് പറഞ്ഞു, സ്വന്തം നിലയിൽ ഒന്നിനോടുമില്ല.

ഏത് മോഡലുകൾ നന്നായി വിധിക്കുന്നു

ചാർട്ടുകൾ ഓരോ മോഡലിനെയും അത് എത്ര തവണ ഉവ്വ് എന്ന് പറയുന്നു (തിരശ്ചീനമായി), അതിന്റെ ഉത്തരങ്ങൾ എത്ര വിവരം നൽകുന്നു (ലംബമായി) എന്നതനുസരിച്ച് സ്ഥാനപ്പെടുത്തുന്നു. ശരിയുത്തരങ്ങൾ അറിയാതെ, മോഡലുകൾ പരസ്പരം എങ്ങനെ യോജിക്കുന്നു എന്നതിൽ നിന്നാണ് വിവരമൂല്യം കണക്കാക്കുന്നത് (Dawid & Skene, 1979): 1 പൂർണ സ്ഥിരതയുള്ള വിധികർത്താവാണ്, 0 ഒരു സൂചനയും നൽകാത്ത ഉത്തരം. ഇത് അളക്കുന്നത് പാനൽ മൊത്തത്തിൽ കണ്ടെത്തുന്നതുമായുള്ള യോജിപ്പാണ്, ശരിയല്ല; അതിനാൽ ദുർബലമായവയോട് വിയോജിക്കുന്ന ശക്തമായ ഒരു മോഡലിന് അർഹിക്കുന്നതിലും കുറഞ്ഞ സ്കോർ കിട്ടാം.

മിക്ക മോഡലുകളും വേർതിരിച്ചറിയുന്നു: ബന്ധങ്ങളുടെ നാലിലൊന്നിനും മൂന്നിൽ രണ്ടിനും ഇടയിൽ അവ ഉവ്വ് എന്ന് പറയുന്നു, അവയുടെ ഉത്തരങ്ങൾ സൂചന നൽകുന്നു. Claude Sonnet 5.5-ഉം DeepSeek V4 Flash-ഉം ആണ് പാനലുമായി ഏറ്റവുമധികം യോജിക്കുന്നത്. Gemma 3 4B, Command R7B പോലുള്ള ചെറിയ മോഡലുകൾ കുറഞ്ഞ സൂചന നൽകുന്നു. അവകാശവാദങ്ങൾ വിധിക്കാനല്ല, ഡാറ്റ വേർതിരിച്ചെടുക്കാൻ നിർമിച്ച Schematron ഏതാണ്ട് എല്ലാറ്റിനോടും “പറയാനാവില്ല” എന്ന് പറഞ്ഞു; അത് ഉത്തരം നൽകിയവ ഏതാണ്ട് ഒരു സൂചനയും നൽകുന്നില്ല.

മോഡലുകൾക്ക് സ്വന്തം കാഴ്ചപ്പാടുകളുണ്ടോ?

വ്യക്തിരൂപങ്ങൾ ഉത്തരങ്ങളെ രൂപപ്പെടുത്തുന്നില്ലെങ്കിൽ, ഒരുപക്ഷേ മോഡലുകൾ തന്നെ പ്രശ്നത്തെക്കുറിച്ച് വ്യത്യസ്ത സിദ്ധാന്തങ്ങൾ വച്ചുപുലർത്തുന്നുണ്ടാകാം — ഒന്ന് നിയന്ത്രണങ്ങളെ കുറ്റപ്പെടുത്തുന്നു, മറ്റൊന്ന് ഊഹക്കച്ചവടത്തെ. വ്യതിയാനത്തിന്റെ നാലിലൊന്ന് മോഡലുകൾ ഒരേ ബന്ധം വ്യത്യസ്തമായി വായിച്ചതായിരുന്നു; അതിനാൽ ആ വ്യത്യാസത്തിന്റെ ദിശകൾ ഞങ്ങൾ തിരഞ്ഞു: മോഡലുകളുടെ സ്വന്തം നിലയിലുള്ള ഉത്തരങ്ങളിൽ നിന്ന് ഓരോ മോഡലിനെയും ഓരോ ബന്ധത്തെയും ഏതാനും മാനങ്ങളിൽ സ്ഥാനപ്പെടുത്തുന്ന ഒരു മാതൃക. ഒരു മാനം കണക്കിലെടുക്കുന്നത് അത് സ്ഥിരതയുള്ളതാണെങ്കിൽ മാത്രമാണ്, അതായത് ബന്ധങ്ങളുടെ രണ്ട് പകുതികളിൽ വെവ്വേറെ കണക്കാക്കുമ്പോൾ മോഡലുകൾ ഏറെക്കുറെ ഒരേ സ്ഥാനങ്ങളിൽ എത്തുന്നുവെങ്കിൽ.

ഒരു മാനത്തിന് സ്ഥിരതയുണ്ടായിരുന്നു, അത് ഒരു സിദ്ധാന്തമായിരുന്നില്ല. ഒരറ്റത്ത് കഷ്ടിച്ച് അർഥമുള്ള ബന്ധങ്ങളായിരുന്നു — “വിദേശ നിക്ഷേപകർ വാങ്ങുന്ന ആഡംബര അപ്പാർട്ട്മെന്റുകൾ” “അമേരിക്ക വർഷം 600,000 മുതൽ 1.2 ദശലക്ഷം വരെ കുടിയേറ്റക്കാരെ ചേർക്കുന്നു” എന്നതിലേക്ക് നയിക്കുന്നത് പോലെ — ദുർബലമായ മോഡലുകൾ അവ അംഗീകരിച്ചു. മറ്റേ അറ്റത്ത് യുക്തിസഹമായ ഒരു സംവിധാനമായിരുന്നു: താമസക്കാരുടെ വോട്ടുകളും നിലവിലുള്ളവരുടെ താൽപ്പര്യങ്ങളും വിതരണം പരിമിതമായി നിർത്തുന്നത് — ശക്തമായ മോഡലുകളെല്ലാം അത് അംഗീകരിച്ചു. ഒരു മോഡൽ എത്ര നന്നായി വിധിക്കുന്നു എന്നതാണ് ആ മാനം: ശക്തമായ മോഡലുകൾ അടുത്തടുത്ത് നിൽക്കുന്നു, ഓരോ ദുർബല മോഡലും സ്വന്തം വഴിയിൽ അവയിൽ നിന്ന് അകലുന്നു.

ശക്തമായ പതിനൊന്ന് മോഡലുകൾക്കിടയിൽ, പഠനത്തിലെ 120 ബന്ധങ്ങളിൽ കണക്കാക്കിയപ്പോൾ, ഒന്നിനും സ്ഥിരതയുണ്ടായിരുന്നില്ല. ബന്ധങ്ങൾ വളരെ കുറവായിരുന്നു. അതേ പതിനൊന്ന് മോഡലുകൾ സ്വന്തം നിലയിൽ ഉത്തരം നൽകിയ, മുറിയിലെ എല്ലാ 870 ബന്ധങ്ങളിലും കണക്കാക്കിയപ്പോൾ, ഒരു വ്യത്യാസം പ്രത്യക്ഷപ്പെട്ടു, അതിന് സ്ഥിരതയുണ്ട്: ബന്ധങ്ങളുടെ രണ്ട് പകുതികളിൽ വെവ്വേറെ കണക്കാക്കുമ്പോൾ മോഡലുകൾ ഏതാണ്ട് ഒരേ സ്ഥാനങ്ങളിൽ എത്തുന്നു (0.89).

ഒരറ്റത്ത്, ആളുകളുടെ താൽപ്പര്യങ്ങളിൽ നിന്ന് രാഷ്ട്രീയ തീരുമാനങ്ങളിലേക്കുള്ള ബന്ധങ്ങൾ മോഡലുകൾ അംഗീകരിക്കുന്നു: വില ഉയരുന്നതിലുള്ള വീട്ടുടമകളുടെ താൽപ്പര്യം ഒരു സർക്കാരിന്റെ വിതരണവിരുദ്ധ മാറ്റങ്ങളിലേക്ക് നയിക്കുന്നത്, താമസക്കാരുടെ വോട്ടുകൾ Proposition 13-ലേക്ക് നയിക്കുന്നത്. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex, DeepSeek എന്നിവ അവിടെ നിൽക്കുന്നു. മറ്റേ അറ്റത്ത്, തടസ്സങ്ങളിൽ നിന്ന് വിതരണ സംവിധാനത്തിലേക്കുള്ള ബന്ധങ്ങൾ മോഡലുകൾ അംഗീകരിക്കുന്നു: നിയന്ത്രണങ്ങൾ, നിലവിലുള്ളവരുടെ താൽപ്പര്യങ്ങൾ, കുറഞ്ഞ ചെലവിലുള്ള ഫ്ലാറ്റുകൾ നിരസിക്കുന്ന കൗൺസിലുകൾ, സ്വത്തവകാശങ്ങൾ — ഓരോന്നും “കൂടുതൽ പാർപ്പിട യൂണിറ്റുകൾ വില കുറയ്ക്കുന്നു” എന്നതിലേക്ക് നയിക്കുന്നു. Mistral Small, Ministral 8B, Laguna, Qwen എന്നിവ അവിടെ നിൽക്കുന്നു. ഏകദേശം പറഞ്ഞാൽ, ഒരു പക്ഷം പാർപ്പിടത്തെ രാഷ്ട്രീയമായി ആര് നേട്ടമുണ്ടാക്കുന്നു എന്നതിലൂടെയും മറ്റേ പക്ഷം വിതരണത്തെ എന്ത് തടയുന്നു എന്നതിലൂടെയും വിശദീകരിക്കുന്നു. ആ വായന ഞങ്ങളുടേതാണ്, ഓരോ അറ്റത്തുമുള്ള ബന്ധങ്ങളിൽ നിന്ന്. രണ്ടാം മാനം രണ്ട് GPT-OSS മോഡലുകളെയും ഒരറ്റത്ത് വയ്ക്കുന്നു, പക്ഷേ അതിന്റെ ബന്ധങ്ങൾക്ക് ഞങ്ങൾക്ക് പേരിടാവുന്ന ഒരു പൊതുവിഷയവുമില്ല.

വ്യതിയാനവും ഇതിനോട് യോജിക്കുന്നു. ശക്തമായ പതിനൊന്ന് മോഡലുകൾക്കിടയിൽ, അതിന്റെ 68% ബന്ധം തന്നെ വിശദീകരിക്കുന്നു — എല്ലാ 21 മോഡലുകളുമുള്ളപ്പോൾ 52% — മോഡൽ-നിർദിഷ്ട വായനകൾ 24%-ൽ നിന്ന് 8%-ലേക്ക് താഴുന്നു: വ്യത്യസ്ത വായനകളായി തോന്നിയതിന്റെ ഏകദേശം മൂന്നിൽ രണ്ടും ദുർബലമായ മോഡലുകളിൽ നിന്നായിരുന്നു. ബാക്കിയുള്ളത് ചെറുതാണ്, പക്ഷേ മുകളിൽ പറഞ്ഞ സ്ഥിരതയുള്ള വ്യത്യാസം അതാണ്.

True Causes-ന് ഇതിന്റെ അർഥം

മോഡലുകളുടെ ഒരു പാനൽ വിധിശേഷി നൽകുന്നു, ഇടുങ്ങിയ ഒരു കാഴ്ചപ്പാട് ശ്രേണിയോടെ. വ്യക്തിരൂപങ്ങൾ കാഴ്ചപ്പാടുകളൊന്നും കൂട്ടുന്നില്ല. ശേഷിയുള്ള മോഡലുകൾ മിക്ക ബന്ധങ്ങളിലും യോജിക്കുന്നു, ബാക്കിയുള്ളവയിൽ രാഷ്ട്രീയവും വിതരണപരവുമായ വിശദീകരണങ്ങൾക്കിടയിലുള്ള ഒരു രേഖയിൽ സ്ഥിരതയോടെ വ്യത്യാസപ്പെടുന്നു. അതൊരു ശ്രേണിയാണ്, പക്ഷേ ഇടുങ്ങിയത്, മോഡലുകളെ പരിശീലിപ്പിച്ച രീതി നിശ്ചയിച്ചത്: വ്യത്യസ്ത അനുഭവമുള്ള ആളുകൾ കൊണ്ടുവരുന്ന കാഴ്ചപ്പാടുകളുടെ ശ്രേണിയല്ല. കൂടിയാലോചനകൾ സംഗ്രഹിക്കുന്ന മോഡലുകളെക്കുറിച്ചുള്ള ഗവേഷണവും ഇതേ ദിശയിലാണ്: 18 മോഡലുകളിലായി, സംഗ്രഹങ്ങൾ ന്യൂനപക്ഷ നിലപാടുകൾക്ക് കുറഞ്ഞ പ്രാതിനിധ്യം നൽകുന്നു (Zhu et al., 2025); സമവായം കണ്ടെത്താൻ എഴുതിയ പ്രസ്താവനകൾക്ക് ഉള്ളടക്കത്തേക്കാൾ സ്വരം കൊണ്ട് യോജിപ്പ് നേടാനാകും (Tsai et al., 2024). True Causes-ൽ ഒരു മോഡൽ ഒരു മുറിക്കുവേണ്ടി സംസാരിക്കുന്നില്ല. അത് ഒറ്റ ബന്ധങ്ങൾ എഴുതുകയോ വിധിക്കുകയോ ചെയ്യുന്നു; ഓരോ വിധിയും എണ്ണുന്നു; ഭിന്നത മാപ്പിൽ ഭിന്നതയായിത്തന്നെ നിൽക്കുന്നു.

ഒരു പാനൽ തിരഞ്ഞെടുക്കുന്നതിൽ ആദ്യം ഗുണനിലവാരം, പിന്നെ സന്തുലനം. മോഡലുകൾ തമ്മിലുള്ള ഏറ്റവും വലിയ വ്യത്യാസം അവ എത്ര നന്നായി വിധിക്കുന്നു എന്നതാണ്; അതിനാൽ ഒരു പാനൽ ശേഷിയുള്ള മോഡലുകളായിരിക്കണം, ദുർബലമായവ ഒഴിവാക്കി. ശേഷിയുള്ള മോഡലുകൾക്കിടയിൽ കുടുംബങ്ങൾ വ്യത്യസ്ത ദിശകളിലേക്ക് ചായുന്നു; അതിനാൽ ഒരു പാനൽ പല കുടുംബങ്ങളിൽ നിന്ന് എടുക്കണം, ഒരു കുടുംബവും ബാക്കിയുള്ളവയെ എണ്ണത്തിൽ മറികടക്കരുത്.

സീറ്റ് നൽകുന്നതിനുമുമ്പ് മോഡലുകളെ പരിശോധിക്കണം. എല്ലാറ്റിനോടും ഉവ്വ്, എല്ലാറ്റിനോടും ഇല്ല, അല്ലെങ്കിൽ എല്ലാറ്റിനോടും “പറയാനാവില്ല” എന്ന് പറയുന്ന മോഡൽ അത് വിധിക്കുന്ന ഓരോ ജോടിയിലും ശബ്ദം കൂട്ടുന്നു. അറിയാവുന്ന ബന്ധങ്ങളിലുള്ള ഒരു ചെറിയ ക്രമീകരണ പരിശോധന അവയെ കണ്ടെത്തുന്നു.

വിധിക്കാൻ വ്യക്തിരൂപങ്ങൾ ഉപയോഗിക്കരുത്. അവ വിട്ടുനിൽക്കലുകളും ഒരു പദവി വാർപ്പുമാതൃകയും കൂട്ടുന്നു, വിധിയിൽ ഒരു വൈവിധ്യവും കൂട്ടുന്നില്ല. എഴുത്ത് വേറൊരു ചോദ്യമാണ്. വ്യക്തിരൂപങ്ങളുള്ള മോഡലുകളുടെ ഒരു മുറി വൈവിധ്യമുള്ള കാർഡുകൾ എഴുതുന്നു; പക്ഷേ വ്യത്യസ്ത മോഡലുകൾ വ്യത്യസ്തമായി എഴുതുന്നു, ഒരേ മോഡൽ ഓരോ തവണ ചോദിക്കുമ്പോഴും വ്യത്യസ്തമായി എഴുതുന്നു; അതിനാൽ വൈവിധ്യമുള്ള കാർഡുകൾ മാത്രം വ്യക്തിരൂപങ്ങൾ എന്തെങ്കിലും ചെയ്തു എന്ന് കാണിക്കുന്നില്ല. പരിശോധന ഇവിടെ വിധിക്ക് ഉപയോഗിച്ചതുതന്നെ: അതേ മോഡലുകൾ വ്യക്തിരൂപത്തോടെയും അല്ലാതെയും കാരണങ്ങൾ എഴുതുന്നു, ഓരോന്നും ഉണ്ടാക്കുന്ന വ്യത്യസ്ത കാരണങ്ങൾ എണ്ണുന്നു.

ആളുകളുടെ മുറികൾ വ്യത്യസ്തമാണ്. ഒരു വ്യക്തി കൊണ്ടുവരുന്നത് താൻ കണ്ടതാണ്, അത് കണ്ടിരിക്കാവുന്ന ഒരാളുടെ വിവരണമല്ല. ഈ പഠനം അതിനെതിരെ ഒന്നും പറയുന്നില്ല; താൻ ഒരു വാടകക്കാരനാണെന്ന് പറഞ്ഞുകൊടുത്ത മോഡൽ ഒരു വാടകക്കാരനായി ജീവിച്ചിട്ടില്ല എന്നാണ് പറയുന്നത്. ആളുകൾ എന്തിൽ വിയോജിക്കുന്നു എന്ന് കണ്ടെത്തുകയാണ് ലക്ഷ്യമെങ്കിൽ, ആളുകൾക്ക് മാത്രമേ അത് നൽകാനാകൂ. അത്തരം മുറികളിൽ ഒരു മോഡൽ ഉത്തരം നൽകുന്നതിനേക്കാൾ ചോദിക്കുന്നതിലാണ് കൂടുതൽ ഉപകാരപ്പെടുന്നത്: ഒരു കാർഡിനെക്കുറിച്ചുള്ള ഒരു ചോദ്യം, ഒരു സമയം ഒന്ന്, സ്വന്തം നിലപാടില്ലാതെ (ഇത് സത്യമായിരുന്നെങ്കിൽ നിങ്ങൾ എന്ത് കാണും? ഇടയ്ക്ക് എന്ത് സംഭവിക്കുന്നു?), മോഡലിന്റെ വാക്കുകൾ എഴുത്തുകാരന്റെ വായിൽ വയ്ക്കാതെ കാരണം വ്യക്തമാക്കാൻ അയാളെ സഹായിക്കുന്നു.

പരിമിതികൾ

ഒരു ചോദ്യം, പാർപ്പിടം; 120 ബന്ധങ്ങൾ; ഒരു മോഡലിന് നാലോ അഞ്ചോ വ്യക്തിരൂപങ്ങൾ, ഓരോന്നും ഒരിക്കൽ ഉത്തരം നൽകി. ഈ രൂപകൽപ്പനയ്ക്ക് കാണാവുന്നതിലും ചെറിയ ഫലങ്ങൾ പ്രത്യക്ഷപ്പെടില്ല. വ്യക്തിരൂപങ്ങൾ റോൾ വിവരണങ്ങളായാണ് എഴുതിയത്; ഉത്തരം നൽകുന്നതിനുമുമ്പ് കഥാപാത്രമായി യുക്തിവിചാരം ചെയ്യാൻ ആവശ്യപ്പെടുന്നത് പോലെ അവയെ ഉണർത്താനുള്ള ശക്തമായ വഴികൾ മോഡലിനെ കൂടുതൽ നീക്കിയേക്കാം, ഒപ്പം കാരിക്കേച്ചറിന്റെ അപകടസാധ്യതയും (Cheng et al., 2023). വിവരമൂല്യം അളക്കുന്നത് പാനലുമായുള്ള യോജിപ്പാണ്, സത്യമല്ല; കൂടിയാലോചനയുടെ വിധികർത്താക്കളായി ഉപയോഗിക്കുന്ന മോഡലുകൾ പ്രതീക്ഷിക്കാവുന്നതിലും കുറച്ചേ ആളുകളോട് യോജിക്കുന്നുള്ളൂ (Zhu et al., 2025): തന്നോടുതന്നെ യോജിക്കുന്ന ഒരു പാനലിന് ഒരേ ദിശയിൽ തെറ്റാം. ശേഷിയുള്ള മോഡലുകൾ തമ്മിലുള്ള വ്യത്യാസം എല്ലാ 870 ബന്ധങ്ങളിലും മാത്രമാണ് പ്രത്യക്ഷപ്പെട്ടത്; 120-ൽ അത് അദൃശ്യമായിരുന്നു; അതിനാൽ ചെറിയ വ്യത്യാസങ്ങൾ ഇപ്പോഴും കാണാതെ പോയേക്കാം; പാർപ്പിടത്തേക്കാൾ തർക്കമുള്ള ഒരു ചോദ്യം മോഡലുകളെ കൂടുതൽ ഭിന്നിപ്പിച്ചേക്കാം.

അവലംബങ്ങൾ

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

ഒരു ചോദ്യം ഏറ്റെടുക്കുക → · കൂടുതൽ കുറിപ്പുകൾ