మోడల్‌కు అది ఎవరో చెప్పండి. దాని కారణ తీర్పులు దాదాపు మారవు.

పరిశోధన మనుషులతో కాకుండా భాషా మోడల్‌లతో మేం చేసిన అధ్యయనం.

నోట్స్ · మోడల్ ప్యానెల్‌లు

మోడల్‌కు అది ఎవరో చెప్పండి. దాని కారణ తీర్పులు దాదాపు మారవు.

అక్టోబర్ 2026

True Causesలో భాషా మోడల్‌ల రూమ్‌లు ప్రతి మోడల్‌కు ఒక పాత్ర ఇస్తాయి: అద్దెకు ఉండే నర్స్, రిటైరైన ఇంటి యజమాని, చిన్న డెవలపర్. వేర్వేరు మనుషులు వేర్వేరు కారణాలు చూస్తారు, వారిని పోషించే మోడల్‌ల ప్యానెల్ కూడా చూస్తుంది అన్నది ఆలోచన. తాను ఎవరో చెప్పిన మోడల్ ఆ వ్యక్తిలా సమాధానం ఇస్తుందా అన్నది తెలిసిన ప్రశ్నే (Argyle et al., 2023); మేం దాన్ని కారణ తీర్పులపై పరీక్షించాం.

అంచనా వేయడంలో, ఇవ్వదు. 21 మోడల్‌లు, 14 పాత్రలలో, మోడల్‌కు ఇచ్చిన పాత్ర అది ఏ కారణ లింకులను అంగీకరించిందో మేం కొలవగలిగేంతగా ఏమీ మార్చలేదు. అది ఏ మోడల్ అన్నది చాలా మార్చింది.

అధ్యయనం

గృహ వసతి అందుబాటుపై ఒక పబ్లిక్-రికార్డ్ రూమ్ నుండి 120 లింకులు తీసుకున్నాం, రూమ్ ధృవీకరించిన, తిరస్కరించిన, తేల్చలేకపోయిన లింకులు సమానంగా ఉండేలా ఎంచుకుని. 21 మోడల్‌లలో ప్రతిదీ ప్రతి లింక్‌కు సమాధానం ఇచ్చింది, ఒకసారి తనలాగే, నాలుగైదు సార్లు వేర్వేరు పాత్రగా: పన్నెండు గృహ వసతి పాత్రలు (అద్దెదారులు, యజమానులు, ఒక భూస్వామి, ఒక ప్లానర్, ఒక డెవలపర్, అద్దెదారుల ఆర్గనైజర్, నిర్మాణ కూలీ, ఇతరులు), రెండు కవలలు, ఒకే వాస్తవం తప్ప అదే వ్యక్తి, సొంత ఇంటికి బదులు అద్దెకు. ప్రతి పాత్రను ఏడు మోడల్‌లు పోషించాయి. అంటే 119 సీట్లు, 14,220 సమాధానాలు, ప్రతి సీటు ప్రతి లింక్‌కు సమాధానం ఇచ్చింది, కాబట్టి ఏ సమాధానమూ మరొకదానిపై ఆధారపడలేదు.

సమాధానాలను ఏది నిర్ణయించింది

మొత్తం వైవిధ్యంలో సుమారు సగాన్ని (52%) లింక్ స్వయంగా వివరిస్తుంది: ఏ లింకులు నమ్మదగినవో మోడల్‌లు చాలావరకు ఏకీభవిస్తాయి. ప్రత్యేక లింకులపై మోడల్ సొంత అవగాహన మరో నాలుగో వంతును (24%) వివరిస్తుంది, అది ఏ పాత్ర పోషించినా. అవును అనే మోడల్ సాధారణ ధోరణి 3% చేరుస్తుంది.

పాత్ర ఏమీ చేర్చలేదు. ఏ లింకులకు అవును వచ్చిందనే వైవిధ్యంలో దాని వాటా 0.000; అవును వైపు సాధారణ మొగ్గులో దాని వాటా, 0.002. ఒక సీటు సమాధానాల నుండి, అది చూడని మోడల్‌లలో, పాత్రను గుర్తించడానికి ప్రయత్నించే పరీక్ష యాదృచ్ఛికం కంటే మెరుగ్గా చేయలేదు (7.1%కి వ్యతిరేకంగా 6.1%). సీట్లు తమ పాత్ర లక్షణాలు ఊహించే దిశలో కదలలేదు: సహసంబంధం సున్నా. పాత్ర ఒక సమాధానాన్ని మార్చినప్పుడు, మోడల్‌ను బట్టి 1% నుండి 15% లింకులపై, అది యాదృచ్ఛికంగా మార్చింది.

ఇతరులు కనుగొన్నదానికి ఇది సరిపోతుంది. ఉల్లేఖన పనులలో పాత్ర చరరాశులు వైవిధ్యంలో కొంచెమే వివరిస్తాయి (Hu & Collier, 2024), సిస్టమ్ ప్రాంప్ట్‌లో పేర్కొన్న పాత్ర మోడల్ సమాధానాలను స్థిరంగా మార్చదు (Zheng et al., 2024). కారణ ప్రశ్న మోడల్‌కు ప్రపంచం గురించిన ప్రశ్నగా చదవబడుతుంది, అడుగుతున్న వ్యక్తి గురించి కాదు.

పాత్రలు మార్చినది: ఎవరు సమాధానం ఇస్తారు

పాత్రలు మోడల్‌లను “చెప్పలేను” అని తరచుగా అనేలా చేశాయి, తనలాగే ఉన్నప్పుడు 19%కి వ్యతిరేకంగా 26% సార్లు, అదీ సమానంగా కాదు. యువ, తక్కువ ఆదాయ, అద్దెకు ఉండే, వామపక్ష మొగ్గు, అమెరికా కాని పాత్రలు 14 పాయింట్ల వరకు ఎక్కువగా తటస్థంగా ఉన్నాయి; పెద్ద వయసు, మితవాద మొగ్గు, భూస్వామి, అధిక ఆదాయ, యజమాని పాత్రలు 13 పాయింట్ల వరకు తక్కువగా. మోడల్‌లు తక్కువ హోదా పాత్రలను తమకు తెలిసినదానిపై తక్కువ నమ్మకం ఉన్నవారిగా పోషించాయి. పాత్ర ప్రాంప్ట్‌లు అలాంటి మూస భావనలను తర్కంలోకి తీసుకెళ్తాయని తెలుసు (Gupta et al., 2024). కొన్ని మోడల్‌లు పాత్రతో చాలా ఎక్కువగా నిరాకరించాయి: Gemini 3.5 Flash పాత్రగా 59% లింకులకు “చెప్పలేను” అంది, తనలాగే ఒక్కదానికీ అనలేదు.

ఏ మోడల్‌లు బాగా అంచనా వేస్తాయి

చార్టులు ప్రతి మోడల్‌ను అది ఎంత తరచుగా అవును అంటుందో (అడ్డంగా), దాని సమాధానాలు ఎంత సమాచారపూర్వకమైనవో (నిలువుగా) దాన్ని బట్టి ఉంచుతాయి. సమాచారపూర్వకతను సరైన సమాధానాలు తెలియకుండానే, మోడల్‌లు ఒకదానితో ఒకటి ఎలా ఏకీభవిస్తాయో దాని నుండి అంచనా వేస్తారు (Dawid & Skene, 1979): 1 పూర్తిగా స్థిరమైన న్యాయనిర్ణేత, 0 ఏ సంకేతమూ లేని సమాధానం. ఇది మొత్తం ప్యానెల్ కనుగొనేదానితో ఏకీభావాన్ని కొలుస్తుంది, సరైనదనాన్ని కాదు, కాబట్టి బలహీనమైనవాటితో విభేదించే బలమైన మోడల్ తనకు రావాల్సిన దానికంటే తక్కువ స్కోర్ పొందవచ్చు.

Informedness against yes-share for 21 models answering as themselves. Claude Sonnet 5.5 and DeepSeek V4 Flash score highest, near 0.9; most models sit between 0.45 and 0.85 with yes-shares of 25 to 60 percent; Schematron v2 Small sits near zero. — ప్రతి మోడల్ తనలాగే, పాత్ర లేకుండా.

The same chart with each model's persona seats pooled. The positions are much the same: the same models at the top, Schematron at the bottom. — అవే మోడల్‌లు, వాటి పాత్ర సీట్లన్నీ కలిపి. పాత్రలు తీర్పులను మార్చి ఉంటే, రెండు చార్టులు భిన్నంగా ఉండేవి; అవి దాదాపు భిన్నంగా లేవు.

చాలా మోడల్‌లు వివక్ష చూపుతాయి: అవి నాలుగో వంతు నుండి మూడింట రెండు వంతుల లింకులకు అవును అంటాయి, వాటి సమాధానాల్లో సంకేతం ఉంటుంది. Claude Sonnet 5.5, DeepSeek V4 Flash ప్యానెల్‌తో అత్యధికంగా ఏకీభవిస్తాయి. Gemma 3 4B, Command R7B వంటి చిన్న మోడల్‌లలో తక్కువ. వాదనలను అంచనా వేయడానికి కాకుండా డేటా తీయడానికి నిర్మించిన Schematron దాదాపు అన్నిటికీ “చెప్పలేను” అంది, అది సమాధానం ఇచ్చినవాటిలో దాదాపు సంకేతం లేదు.

మోడల్‌లకు సొంత అభిప్రాయాలు ఉన్నాయా?

పాత్రలు సమాధానాలను రూపొందించకపోతే, బహుశా మోడల్‌లకే సమస్య గురించి వేర్వేరు సిద్ధాంతాలు ఉండవచ్చు, ఒకటి నియంత్రణను, మరొకటి ఊహాజనిత వ్యాపారాన్ని నిందిస్తూ. వైవిధ్యంలో నాలుగో వంతు మోడల్‌లు అదే లింక్‌ను వేర్వేరుగా చదవడం, కాబట్టి ఆ తేడా దిశల కోసం వెతికాం: మోడల్‌లు తనలాగే ఇచ్చిన సమాధానాల నుండి, ప్రతి మోడల్‌ను, ప్రతి లింక్‌ను కొన్ని కోణాలపై ఉంచే నమూనా. ఒక కోణం స్థిరంగా ఉంటేనే లెక్కకు వస్తుంది, అంటే లింకుల రెండు సగాలపై విడిగా అమర్చినప్పుడు మోడల్‌లను దాదాపు అవే స్థానాల్లో ఉంచితే.

Models placed on two dimensions from their own answers. Along the stable first dimension, the stronger models (Claude Sonnet 5.5, DeepSeek, GPT-OSS, Qwen3, Gemini, Ling, Laguna, Mistral Small) cluster tightly on the right; weaker models (Command R7B, Gemma 3 4B, Granite, Llama 3.1 8B, Mistral Nemo) are scattered on the left. The vertical dimension is unstable. — అన్ని మోడల్‌లు. అడ్డ కోణం మాత్రమే స్థిరం (0.71); నిలువు కోణం (0.16) శబ్దం.

ఒక కోణం స్థిరంగా ఉంది, అది సిద్ధాంతం కాదు. ఒక చివర అర్థం లేని లింకులు ఉన్నాయి, “విదేశీ పెట్టుబడిదారులు కొన్న విలాసవంతమైన అపార్ట్‌మెంట్లు” “అమెరికాకు ఏటా 6 నుండి 12 లక్షల వలసదారులు చేరుతారు”కి దారితీస్తాయి వంటివి, బలహీన మోడల్‌లు వాటిని అంగీకరించాయి. మరో చివర ఒకే సుసంగత యంత్రాంగం ఉంది, నివాసుల ఓట్లు, ఇప్పటికే ఉన్నవారి ప్రయోజనాలు సరఫరాను పరిమితంగా ఉంచడం, బలమైన మోడల్‌లన్నీ దాన్ని అంగీకరించాయి. ఈ కోణం మోడల్ ఎంత బాగా అంచనా వేస్తుందన్నది: బలమైన మోడల్‌లు దగ్గరగా ఉంటాయి, ప్రతి బలహీన మోడల్ తనదైన రీతిలో వాటి నుండి దూరమవుతుంది.

పదకొండు బలమైన మోడల్‌లలో, అధ్యయనంలోని 120 లింకులపై అమర్చినప్పుడు, ఏదీ స్థిరంగా లేదు. అవి చాలా తక్కువ లింకులు. రూమ్‌లోని మొత్తం 870 లింకులపై, అవే పదకొండు మోడల్‌లు తనలాగే సమాధానం ఇచ్చినప్పుడు, ఒక తేడా కనిపించింది, అది స్థిరమైనది: లింకుల రెండు సగాలపై విడిగా అమర్చినప్పుడు, మోడల్‌లు దాదాపు అవే స్థానాల్లో పడతాయి (0.89).

The eleven stronger models placed on two dimensions from their answers on 870 links. Along the stable first dimension, Gemini 3.5 Flash, Claude Sonnet 5.5, Nex and DeepSeek sit at one end, and Mistral Small, Ministral 8B, Laguna and Qwen at the other. The second dimension is fairly stable, with the two GPT-OSS models low. — మొత్తం 870 లింకులపై పదకొండు బలమైన మోడల్‌లు. అడ్డ కోణం స్థిరం (0.89), నిలువుది చాలావరకు స్థిరం (0.59).

ఒక చివర, మోడల్‌లు ప్రజల ప్రయోజనాల నుండి రాజకీయ నిర్ణయాలకు లింకులను అంగీకరిస్తాయి: ధరలు పెరగడంలో ఇంటి యజమానుల వాటా ప్రభుత్వ సరఫరా వ్యతిరేక మార్పులకు దారితీయడం, నివాసుల ఓట్లు Proposition 13కి దారితీయడం. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex, DeepSeek అక్కడ ఉంటాయి. మరో చివర, మోడల్‌లు అడ్డంకుల నుండి సరఫరా యంత్రాంగంలోకి లింకులను అంగీకరిస్తాయి: నియంత్రణ, ఇప్పటికే ఉన్నవారి ప్రయోజనాలు, తక్కువ ధర ఫ్లాట్లను తిరస్కరించే కౌన్సిళ్లు, ఆస్తి హక్కులు, ఒక్కొక్కటి “ఎక్కువ ఇళ్లు ధరలను తగ్గిస్తాయి”కి దారితీస్తూ. Mistral Small, Ministral 8B, Laguna, Qwen అక్కడ ఉంటాయి. స్థూలంగా, ఒక వైపు గృహ వసతిని రాజకీయంగా ఎవరు లాభపడతారో దాని ద్వారా వివరిస్తుంది, మరో వైపు సరఫరాను ఏది అడ్డుకుంటుందో దాని ద్వారా. ఆ అవగాహన మాది, ప్రతి చివరి లింకుల నుండి. రెండో కోణం రెండు GPT-OSS మోడల్‌లను ఒక చివర పెడుతుంది, కానీ దాని లింకులు మేం పేరు పెట్టగలిగే ఉమ్మడి అంశాన్ని పంచుకోవు.

వైవిధ్యం ఏకీభవిస్తుంది. పదకొండు బలమైన మోడల్‌లలో, లింక్ స్వయంగా దాన్ని 68% వివరిస్తుంది, మొత్తం 21 మోడల్‌లతో 52%కి వ్యతిరేకంగా, మోడల్-ప్రత్యేక అవగాహనలు 24% నుండి 8%కి పడిపోతాయి: వేర్వేరు అవగాహనలుగా కనిపించిన దానిలో సుమారు మూడింట రెండు వంతులు బలహీన మోడల్‌ల నుండే వచ్చాయి. మిగతాది చిన్నది, కానీ అది పైన చెప్పిన స్థిరమైన తేడా.

True Causesకు దీని అర్థం

మోడల్‌ల ప్యానెల్ తీర్పును అందిస్తుంది, ఇరుకైన అభిప్రాయాల పరిధితో. పాత్రలు ఏ దృష్టికోణాలనూ చేర్చవు. సమర్థవంతమైన మోడల్‌లు చాలా లింకులపై ఏకీభవిస్తాయి, మిగతావాటిపై స్థిరంగా విభేదిస్తాయి, రాజకీయ, సరఫరా వివరణల మధ్య ఒక రేఖ వెంట. అది ఒక పరిధి, కానీ ఇరుకైనది, మోడల్‌లకు శిక్షణ ఇచ్చిన విధానం నిర్ణయించేది: వేర్వేరు అనుభవం ఉన్న మనుషులు తీసుకొచ్చే అభిప్రాయాల పరిధి కాదు. చర్చలను సంక్షిప్తీకరించే మోడల్‌లపై పరిశోధన అదే దిశను చూపిస్తుంది: 18 మోడల్‌లలో, సారాంశాలు మైనారిటీ వైఖరులకు తక్కువ ప్రాతినిధ్యం ఇస్తాయి (Zhu et al., 2025), ఏకాభిప్రాయం కోసం రాసిన వాక్యాలు తమ విషయం కంటే తమ స్వరంతో ఎక్కువగా ఆమోదం పొందవచ్చు (Tsai et al., 2024). True Causesలో మోడల్ ఒక రూమ్ తరఫున మాట్లాడదు. అది ఒక్కో లింక్‌ను రాస్తుంది లేదా అంచనా వేస్తుంది, ప్రతి తీర్పు లెక్కించబడుతుంది, చీలిక మ్యాప్ మీద చీలికగానే ఉంటుంది.

ప్యానెల్ ఎంపికలో ముందు నాణ్యత, తర్వాత సమతుల్యత. మోడల్‌ల మధ్య అతి పెద్ద తేడా అవి ఎంత బాగా అంచనా వేస్తాయన్నది, కాబట్టి ప్యానెల్ సమర్థవంతమైన మోడల్‌లతో ఉండాలి, బలహీనమైనవాటిని వదిలేసి. సమర్థవంతమైన మోడల్‌లలో, కుటుంబాలు వేర్వేరు దిశల్లో మొగ్గుతాయి, కాబట్టి ప్యానెల్ చాలా కుటుంబాల నుండి తీసుకోవాలి, ఏ ఒక్క కుటుంబమూ మిగతావాటి కంటే ఎక్కువ కాకూడదు.

సీటు ఇచ్చే ముందు మోడల్‌లను పరీక్షించాలి. అన్నిటికీ అవును, అన్నిటికీ కాదు, లేదా అన్నిటికీ “చెప్పలేను” అనే మోడల్ అది అంచనా వేసే ప్రతి జతకు శబ్దం చేరుస్తుంది. తెలిసిన లింకులపై చిన్న క్రమాంకనం వాటిని కనుగొంటుంది.

అంచనా వేయడానికి పాత్రలను వాడకూడదు. అవి తటస్థ ఓట్లను, ఒక హోదా మూస భావనను చేరుస్తాయి, తీర్పులో ఏ వైవిధ్యమూ చేర్చవు. రాయడం వేరే ప్రశ్న. పాత్రలున్న మోడల్‌ల రూమ్ వైవిధ్యమైన కార్డులు రాస్తుంది, కానీ వేర్వేరు మోడల్‌లు వేర్వేరుగా రాస్తాయి, ఒకే మోడల్ అడిగిన ప్రతిసారీ వేర్వేరుగా రాస్తుంది, కాబట్టి వైవిధ్యమైన కార్డులు మాత్రమే పాత్రలు ఏదైనా చేశాయని చూపవు. పరీక్ష అంచనా కోసం ఇక్కడ వాడినదే: అవే మోడల్‌లు పాత్రతో, పాత్ర లేకుండా కారణాలు రాస్తాయి, ప్రతిదీ ఉత్పత్తి చేసే విభిన్న కారణాలను లెక్కిస్తారు.

మనుషుల రూమ్‌లు వేరు. ఒక వ్యక్తి తాను చూసినదాన్ని తీసుకొస్తారు, దాన్ని చూసి ఉండగలిగే వ్యక్తి వర్ణనను కాదు. ఈ అధ్యయనం దానికి వ్యతిరేకంగా ఏమీ చెప్పదు; అద్దెదారు అని చెప్పిన మోడల్ అద్దెదారుగా జీవించలేదని చెబుతుంది. ప్రజలు దేనిపై విభేదిస్తారో కనుగొనడమే ఉద్దేశమైన చోట, దాన్ని మనుషులు మాత్రమే అందిస్తారు. ఆ రూమ్‌లలో మోడల్ సమాధానం ఇవ్వడం కంటే అడగడంలో ఎక్కువ ఉపయోగపడుతుంది: ఒక కార్డ్ గురించి ఒక ప్రశ్న, ఒకసారికి ఒకటి, సొంత అభిప్రాయం లేకుండా (ఇది నిజమైతే మీకు ఏం కనిపిస్తుంది? మధ్యలో ఏం జరుగుతుంది?), మోడల్ మాటలను రచయిత నోట్లో పెట్టకుండానే, కారణాన్ని స్పష్టం చేయడంలో వారికి సహాయపడుతుంది.

పరిమితులు

ఒక ప్రశ్న, గృహ వసతి; 120 లింకులు; ఒక్కో మోడల్‌కు నాలుగైదు పాత్రలు, ఒక్కొక్కటి ఒకసారి సమాధానం ఇస్తూ. ఈ రూపకల్పన చూడగలిగే దానికంటే చిన్న ప్రభావాలు కనిపించవు. పాత్రలను పాత్ర వర్ణనలుగా రాశారు; సమాధానం ఇచ్చే ముందు పాత్రలో తర్కించమని మోడల్‌ను అడగడం వంటి బలమైన విధానాలు దాన్ని ఇంకా కదిలించవచ్చు, వ్యంగ్య చిత్రణ ప్రమాదంతో పాటు (Cheng et al., 2023). సమాచారపూర్వకత ప్యానెల్‌తో ఏకీభావాన్ని కొలుస్తుంది, సత్యాన్ని కాదు, చర్చల న్యాయనిర్ణేతలుగా వాడిన మోడల్‌లు ఆశించినంతగా మనుషులతో ఏకీభవించవు (Zhu et al., 2025): తనతో తాను ఏకీభవించే ప్యానెల్ ఒకే దిశలో తప్పు కావచ్చు. సమర్థవంతమైన మోడల్‌ల మధ్య తేడా మొత్తం 870 లింకులతోనే కనిపించింది; 120తో అది కనిపించలేదు, కాబట్టి చిన్న తేడాలు ఇంకా కనిపించకపోవచ్చు, గృహ వసతి కంటే ఎక్కువ వివాదాస్పదమైన ప్రశ్న మోడల్‌లను ఇంకా ఎక్కువగా విభజించవచ్చు.

సూచనలు

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

ఒక ప్రశ్నను చేపట్టండి → · మరిన్ని నోట్స్