ለአንድ ሞዴል ማን እንደሆነ ይንገሩት። የምክንያት ፍርዶቹ ብዙም አይለወጡም።

ምርምር ከሰዎች ጋር ሳይሆን ከቋንቋ ሞዴሎች ጋር ያካሄድነው ጥናት.

ማስታወሻዎች · የሞዴል ፓነሎች

ለአንድ ሞዴል ማን እንደሆነ ይንገሩት። የምክንያት ፍርዶቹ ብዙም አይለወጡም።

ኦክቶበር 2026

በTrue Causes ላይ ያሉ የቋንቋ ሞዴሎች ክፍሎች ለእያንዳንዱ ሞዴል ገጸ ባሕርይ ይሰጣሉ፦ የሚከራይ ነርስ፣ ጡረታ የወጣ የቤት ባለቤት፣ ትንሽ አልሚ። ሐሳቡ የተለያዩ ሰዎች የተለያዩ መንስኤዎችን ያያሉ፤ እነሱን የሚጫወቱ ሞዴሎች ፓነልም እንዲሁ ያያል የሚል ነው። ማን እንደሆነ የተነገረው ሞዴል እንደዚያ ሰው ይመልስ እንደሆነ የታወቀ ጥያቄ ነው (Argyle et al., 2023)፤ እኛ በምክንያት ፍርዶች ላይ ፈተነው።

ለፍርድ አይመልስም። በ21 ሞዴሎችና በ14 ገጸ ባሕርያት ላይ፣ አንድ ሞዴል የተሰጠው ገጸ ባሕርይ የተቀበላቸውን የምክንያት ትስስሮች በምንም ልንለካው በምንችለው መጠን አልለወጠም። የትኛው ሞዴል መሆኑ ግን በጣም ብዙ ለውጧል።

ጥናቱ

ስለ መኖሪያ ቤት ተመጣጣኝነት ከሆነ የሕዝብ መዝገብ ክፍል 120 ትስስሮችን ወሰድን፤ ክፍሉ ያረጋገጣቸው፣ ውድቅ ያደረጋቸውና ሊወስናቸው ያልቻላቸው ትስስሮች በእኩል እንዲወከሉ ተመርጠው። ከ21 ሞዴሎች እያንዳንዱ እያንዳንዱን ትስስር መልሷል፤ አንድ ጊዜ እንደ ራሱ፣ አራት ወይም አምስት ጊዜ ደግሞ እንደ ሌላ ገጸ ባሕርይ፦ አሥራ ሁለት የመኖሪያ ቤት ገጸ ባሕርያት (ተከራዮችና ባለቤቶች፣ አከራይ፣ ዕቅድ አውጪ፣ አልሚ፣ የተከራዮች አደራጅ፣ የግንባታ ሠራተኛና ሌሎች)፣ እና ሁለት መንትዮች፣ ከአንድ እውነታ በቀር ያው ሰው፣ ከመያዝ ይልቅ የሚከራይ። እያንዳንዱ ገጸ ባሕርይ በሰባት ሞዴሎች ተጫውቷል። ይህ 119 ቦታዎችና 14,220 መልሶች ነው፤ እያንዳንዱ ቦታ እያንዳንዱን ትስስር መልሷል፤ ስለዚህ ማንም መልስ በሌላው ላይ አልተመሠረተም።

መልሶቹን የወሰነው

ትስስሩ ራሱ ከጠቅላላው ልዩነት ግማሽ ያህሉን (52%) ያብራራል፦ ሞዴሎች የትኞቹ ትስስሮች አሳማኝ እንደሆኑ በአብዛኛው ይስማማሉ። ሞዴሉ የተወሰኑ ትስስሮችን የሚያነብበት የራሱ መንገድ ሌላ ሩብ (24%) ያብራራል፣ የትኛውንም ገጸ ባሕርይ ቢጫወት። አንድ ሞዴል አዎ የማለት አጠቃላይ ዝንባሌው 3% ይጨምራል።

ገጸ ባሕርዩ ምንም አልጨመረም። የትኞቹ ትስስሮች አዎ እንዳገኙ በሚለው ልዩነት ውስጥ ያለው ድርሻ 0.000 ነበር፤ ወደ አዎ ባለው አጠቃላይ ዝንባሌ ውስጥ ያለው ድርሻ 0.002። ገጸ ባሕርዩን ከአንድ ቦታ መልሶች፣ ባልታየባቸው ሞዴሎች ለመለየት የሚሞክር ፈተና ከአጋጣሚ የተሻለ አልሠራም (6.1% ከ7.1% ጋር)። ቦታዎችም የገጸ ባሕርያቸው ባሕርያት በሚተነብዩት አቅጣጫ አልተንቀሳቀሱም፦ ተዛምዶው ዜሮ ነበር። ገጸ ባሕርይ መልስን ሲለውጥ፣ እንደ ሞዴሉ ከትስስሮቹ ከ1% እስከ 15% ላይ፣ በዘፈቀደ ለውጦታል።

ይህ ሌሎች ካገኙት ጋር ይስማማል። የገጸ ባሕርይ ተለዋዋጮች በማብራሪያ ሥራዎች ውስጥ ያለውን ልዩነት ብዙም አያብራሩም (Hu & Collier, 2024)፤ በስርዓት መመሪያ ውስጥ የተሰየመው ሚናም የሞዴልን መልሶች በወጥነት አይለውጥም (Zheng et al., 2024)። የምክንያት ጥያቄ ለሞዴል የሚነበበው ስለሚጠይቀው ሰው ሳይሆን ስለ ዓለም እንደሆነ ጥያቄ ነው።

ገጸ ባሕርያት የለወጡት፦ ማን እንደሚመልስ

ገጸ ባሕርያት ሞዴሎችን «ማለት አልችልም» እንዲሉ በብዛት አደረጓቸው፤ እንደ ራሳቸው 19% ሲሆን 26%፣ ያውም እኩል አይደለም። ወጣት፣ ዝቅተኛ ገቢ ያላቸው፣ ተከራይ፣ ወደ ግራ ያዘነበሉና የአሜሪካ ያልሆኑ ገጸ ባሕርያት እስከ 14 ነጥብ በብዛት ተቆጥበዋል፤ አረጋውያን፣ ወደ ቀኝ ያዘነበሉ፣ አከራይ፣ ከፍተኛ ገቢ ያላቸውና ባለቤት ገጸ ባሕርያት እስከ 13 ነጥብ ያነሰ ተቆጥበዋል። ሞዴሎቹ ዝቅተኛ ደረጃ ያላቸውን ገጸ ባሕርያት በሚያውቁት ነገር ብዙም እርግጠኛ እንዳልሆኑ አድርገው ተጫውተዋል። የገጸ ባሕርይ መመሪያዎች እንዲህ ያሉ የተዛቡ አመለካከቶችን ወደ አመክንዮ እንደሚያስገቡ ይታወቃል (Gupta et al., 2024)። አንዳንድ ሞዴሎች በገጸ ባሕርይ በጣም በብዛት እምቢ ብለዋል፦ Gemini 3.5 Flash እንደ ገጸ ባሕርይ ከትስስሮቹ 59% ላይ «ማለት አልችልም» ብሏል፤ እንደ ራሱ ግን በአንዱም ላይ አላለም።

የትኞቹ ሞዴሎች በደንብ ይፈርዳሉ

ሰንጠረዦቹ እያንዳንዱን ሞዴል ምን ያህል ጊዜ አዎ እንደሚል (በአግድም) እና መልሶቹ ምን ያህል መረጃ ሰጪ እንደሆኑ (በቁመት) ያስቀምጣሉ። መረጃ ሰጪነት የሚገመተው ትክክለኛ መልሶችን ሳያውቁ፣ ሞዴሎቹ እርስ በርሳቸው እንዴት እንደሚስማሙ በማየት ነው (Dawid & Skene, 1979)፦ 1 ፍጹም ወጥ የሆነ ፈራጅ ነው፤ 0 ምንም ምልክት የማይይዝ መልስ ነው። የሚለካው ከፓነሉ ጠቅላላ ግኝት ጋር ያለውን ስምምነት ነው እንጂ ትክክለኛነትን አይደለም፤ ስለዚህ ከደካሞቹ ጋር የማይስማማ ጠንካራ ሞዴል ከሚገባው ያነሰ ነጥብ ሊያገኝ ይችላል።

እንደ ራሳቸው ለሚመልሱ 21 ሞዴሎች መረጃ ሰጪነት ከአዎ ድርሻ ጋር። Claude Sonnet 5.5 እና DeepSeek V4 Flash ከፍተኛውን፣ 0.9 ገደማ ያገኛሉ፤ አብዛኞቹ ሞዴሎች ከ25 እስከ 60 በመቶ የአዎ ድርሻ ይዘው ከ0.45 እስከ 0.85 መካከል ይገኛሉ፤ Schematron v2 Small ዜሮ አካባቢ ነው። — እያንዳንዱ ሞዴል እንደ ራሱ፣ ያለ ገጸ ባሕርይ።

ያው ሰንጠረዥ፣ የእያንዳንዱ ሞዴል የገጸ ባሕርይ ቦታዎች ተጠቃልለው። ቦታዎቹ ብዙም አልተለወጡም፦ ያው ሞዴሎች ከላይ፣ Schematron ከታች። — ያው ሞዴሎች፣ የገጸ ባሕርይ ቦታዎቻቸው ሁሉ ተጠቃልለው። ገጸ ባሕርያት ፍርዶችን ቢለውጡ ሁለቱ ሰንጠረዦች ይለያዩ ነበር፤ እምብዛም አይለያዩም።

አብዛኞቹ ሞዴሎች ይለያሉ፦ ከትስስሮቹ ከሩብ እስከ ሁለት ሦስተኛ ለሚሆኑት አዎ ይላሉ፤ መልሶቻቸውም ምልክት ይይዛሉ። Claude Sonnet 5.5 እና DeepSeek V4 Flash ከፓነሉ ጋር በብዛት ይስማማሉ። እንደ Gemma 3 4B እና Command R7B ያሉ ትናንሽ ሞዴሎች ያነሰ ይይዛሉ። ሙግቶችን ለመፍረድ ሳይሆን መረጃ ለማውጣት የተገነባው Schematron ለሁሉም ነገር ማለት ይቻላል «ማለት አልችልም» ብሏል፤ የመለሰውም ምንም ምልክት ማለት ይቻላል አይይዝም።

ሞዴሎች የራሳቸው አመለካከት አላቸው?

ገጸ ባሕርያት መልሶቹን ካልቀረጹ፣ ምናልባት ሞዴሎቹ ራሳቸው ስለ ችግሩ የተለያዩ ንድፈ ሐሳቦችን ይይዙ ይሆናል፤ አንዱ ደንብን፣ ሌላው ግምታዊ ንግድን ተጠያቂ የሚያደርግ። ከልዩነቱ አንድ ሩብ ሞዴሎች ያንኑ ትስስር በተለያየ መንገድ ማንበባቸው ነበር፤ ስለዚህ የዚያን ልዩነት አቅጣጫዎች ፈለግን፦ ከሞዴሎቹ እንደ ራሳቸው ከሰጧቸው መልሶች፣ እያንዳንዱን ሞዴልና እያንዳንዱን ትስስር በጥቂት ልኬቶች ላይ የሚያስቀምጥ ሞዴል። አንድ ልኬት የሚቆጠረው የተረጋጋ ከሆነ ብቻ ነው፤ ማለትም በሁለት የትስስሮቹ ግማሾች ላይ ለየብቻ ሲገጠም ሞዴሎቹን በብዛት በተመሳሳይ ቦታዎች ካስቀመጠ።

ሞዴሎች ከራሳቸው መልሶች በሁለት ልኬቶች ላይ ተቀምጠዋል። በተረጋጋው የመጀመሪያ ልኬት ላይ ጠንካሮቹ ሞዴሎች (Claude Sonnet 5.5፣ DeepSeek፣ GPT-OSS፣ Qwen3፣ Gemini፣ Ling፣ Laguna፣ Mistral Small) በቀኝ በኩል በቅርበት ይሰበሰባሉ፤ ደካሞቹ ሞዴሎች (Command R7B፣ Gemma 3 4B፣ Granite፣ Llama 3.1 8B፣ Mistral Nemo) በግራ በኩል ተበትነዋል። የቁመቱ ልኬት የተረጋጋ አይደለም። — ሁሉም ሞዴሎች። የተረጋጋው የአግድሙ ልኬት ብቻ ነው (0.71)፤ የቁመቱ (0.16) ጫጫታ ነው።

አንድ ልኬት የተረጋጋ ነበር፤ እሱም ንድፈ ሐሳብ አልነበረም። በአንድ ጫፍ ትርጉም እምብዛም የማይሰጡ ትስስሮች ነበሩ፤ ለምሳሌ «በውጭ ባለሀብቶች የተገዙ የቅንጦት አፓርትመንቶች» ወደ «አሜሪካ በዓመት ከ600,000 እስከ 1.2 ሚሊዮን ስደተኞችን ትጨምራለች» የሚመራ፤ ደካሞቹ ሞዴሎች ይህን ተቀብለዋል። በሌላው ጫፍ አንድ ወጥ የሆነ አሠራር ነበር፦ የነዋሪዎች ድምፅና የነባሮቹ ጥቅም አቅርቦትን የተገደበ ማድረጋቸው፤ ጠንካሮቹ ሞዴሎች ሁሉ ይህን ተቀብለዋል። ልኬቱ አንድ ሞዴል ምን ያህል በደንብ እንደሚፈርድ ነው፦ ጠንካሮቹ ሞዴሎች በቅርበት ይቀመጣሉ፤ እያንዳንዱ ደካማ ሞዴልም በራሱ መንገድ ከነሱ ይርቃል።

ከአሥራ አንዱ ጠንካራ ሞዴሎች መካከል፣ በጥናቱ 120 ትስስሮች ላይ ሲገጠም፣ ምንም የተረጋጋ ነገር አልነበረም። ትስስሮቹ በጣም ጥቂት ነበሩ። በክፍሉ 870 ትስስሮች ሁሉ ላይ፣ በያው አሥራ አንድ ሞዴሎች እንደ ራሳቸው ተመልሰው ሲገጠም ልዩነት ታየ፤ የተረጋጋም ነው፦ በሁለት የትስስሮቹ ግማሾች ላይ ለየብቻ ሲገጠም ሞዴሎቹ ከሞላ ጎደል በተመሳሳይ ቦታዎች ያርፋሉ (0.89)።

አሥራ አንዱ ጠንካራ ሞዴሎች በ870 ትስስሮች ላይ ከሰጧቸው መልሶች በሁለት ልኬቶች ላይ ተቀምጠዋል። በተረጋጋው የመጀመሪያ ልኬት ላይ Gemini 3.5 Flash፣ Claude Sonnet 5.5፣ Nex እና DeepSeek በአንድ ጫፍ፣ Mistral Small፣ Ministral 8B፣ Laguna እና Qwen በሌላው ጫፍ ይገኛሉ። ሁለተኛው ልኬት በተወሰነ መጠን የተረጋጋ ነው፤ ሁለቱ የGPT-OSS ሞዴሎች ከታች ናቸው። — አሥራ አንዱ ጠንካራ ሞዴሎች በ870ው ትስስሮች ሁሉ ላይ። የአግድሙ ልኬት የተረጋጋ ነው (0.89)፤ የቁመቱ በተወሰነ መጠን የተረጋጋ ነው (0.59)።

በአንድ ጫፍ ሞዴሎች ከሰዎች ጥቅም ወደ ፖለቲካዊ ውሳኔዎች የሚሄዱ ትስስሮችን ይቀበላሉ፦ የቤት ባለቤቶች በዋጋ መጨመር ያላቸው ጥቅም ወደ መንግሥት ፀረ አቅርቦት ለውጦች የሚመራ፣ የነዋሪዎች ድምፅ ወደ Proposition 13 የሚመራ። Gemini 3.5 Flash፣ Claude Sonnet 5.5፣ Nex እና DeepSeek እዚያ ይገኛሉ። በሌላው ጫፍ ሞዴሎች ከእንቅፋቶች ወደ አቅርቦት አሠራር የሚሄዱ ትስስሮችን ይቀበላሉ፦ ደንብ፣ የነባሮቹ ጥቅም፣ ዝቅተኛ ዋጋ ያላቸውን አፓርትመንቶች የሚከለክሉ ምክር ቤቶችና የንብረት መብቶች፣ እያንዳንዳቸው ወደ «ብዙ የመኖሪያ ቤቶች ዋጋን ይቀንሳሉ» የሚመሩ። Mistral Small፣ Ministral 8B፣ Laguna እና Qwen እዚያ ይገኛሉ። በግምት አንዱ ወገን መኖሪያ ቤትን በፖለቲካ ማን እንደሚያተርፍ ያብራራል፤ ሌላው አቅርቦትን በሚያግደው። ይህ ንባብ የእኛ ነው፣ ከእያንዳንዱ ጫፍ ትስስሮች የተወሰደ። ሁለተኛው ልኬት ሁለቱንም የGPT-OSS ሞዴሎች በአንድ ጫፍ ያስቀምጣል፤ ትስስሮቹ ግን ልንሰይመው የምንችለው የጋራ ጭብጥ የላቸውም።

ልዩነቱ ይስማማል። ከአሥራ አንዱ ጠንካራ ሞዴሎች መካከል ትስስሩ ራሱ 68% ያብራራል፤ ከ21ዱ ሞዴሎች ጋር 52% ነበር፤ የሞዴሉ የራሱ ንባቦች ከ24% ወደ 8% ይወርዳሉ፦ የተለያዩ ንባቦች የመሰለው ሁለት ሦስተኛ ያህሉ ከደካሞቹ ሞዴሎች የመጣ ነበር። የቀረው ያነሰ ነው፤ ግን ከላይ ያለው ወጥ ልዩነት ነው።

ይህ ለTrue Causes ምን ማለት ነው

የሞዴሎች ፓነል ፍርድን ያቀርባል፣ ጠባብ የአመለካከቶች ክልል ይዞ። ገጸ ባሕርያት ምንም አመለካከት አይጨምሩም። ብቁ ሞዴሎች በአብዛኞቹ ትስስሮች ይስማማሉ፤ በቀሪዎቹም ላይ በፖለቲካዊና በአቅርቦት ማብራሪያዎች መካከል ባለ መስመር ወጥ በሆነ መንገድ ይለያያሉ። ያ ክልል ነው፤ ግን ጠባብ ነው፤ ሞዴሎቹ በሠለጠኑበት መንገድ የተወሰነ፦ የተለያየ ልምድ ያላቸው ሰዎች የሚያመጡት የአመለካከቶች ክልል አይደለም። ምክክሮችን የሚያጠቃልሉ ሞዴሎችን የሚመለከት ምርምርም ወደዚያው ያመለክታል፦ ማጠቃለያዎቹ የአናሳዎችን አቋም ዝቅ አድርገው ይወክላሉ፣ በ18 ሞዴሎች ላይ (Zhu et al., 2025)፤ መግባባትን ለማግኘት የተጻፉ አባባሎችም ከይዘታቸው ይልቅ በቃናቸው ስምምነትን ሊያገኙ ይችላሉ (Tsai et al., 2024)። በTrue Causes ላይ ሞዴል ክፍልን ወክሎ አይናገርም። ነጠላ ትስስሮችን ይጽፋል ወይም ይፈርዳል፤ እያንዳንዱ ፍርድ ይቆጠራል፤ መከፋፈልም ካርታው ላይ እንደ መከፋፈል ይቆያል።

ፓነል መምረጥ በመጀመሪያ ጥራት፣ ከዚያ ሚዛን ነው። በሞዴሎች መካከል ያለው ትልቁ ልዩነት ምን ያህል በደንብ እንደሚፈርዱ ነው፤ ስለዚህ ፓነል ብቁ ሞዴሎች መሆን አለበት፤ ደካሞቹም መተው አለባቸው። ከብቁ ሞዴሎች መካከል ቤተሰቦቹ ወደ ተለያዩ አቅጣጫዎች ያዘነብላሉ፤ ስለዚህ ፓነል ከበርካቶቹ መውሰድ አለበት፤ ማንም ቤተሰብ ከሌሎቹ መብለጥ የለበትም።

ሞዴሎች ቦታ ከመያዛቸው በፊት መፈተሽ አለባቸው። ለሁሉም አዎ፣ ለሁሉም አይ ወይም ለሁሉም «ማለት አልችልም» የሚል ሞዴል በሚፈርድበት እያንዳንዱ ጥንድ ላይ ጫጫታ ይጨምራል። በሚታወቁ ትስስሮች ላይ አጭር ማስተካከያ እነሱን ያገኛቸዋል።

ገጸ ባሕርያት ለፍርድ ጥቅም ላይ መዋል የለባቸውም። መቆጠብንና የደረጃ የተዛባ አመለካከትን ይጨምራሉ፤ የፍርድ ብዝሃነትን ግን አይጨምሩም። መጻፍ የተለየ ጥያቄ ነው። ገጸ ባሕርያት ያሏቸው ሞዴሎች ክፍል የተለያዩ ካርዶችን ይጽፋል፤ ግን የተለያዩ ሞዴሎች በተለያየ መንገድ ይጽፋሉ፤ አንድ ሞዴልም በተጠየቀ ቁጥር በተለያየ መንገድ ይጽፋል፤ ስለዚህ የተለያዩ ካርዶች ብቻ ገጸ ባሕርያቱ አንድ ነገር እንዳደረጉ አያሳዩም። ፈተናው እዚህ ለፍርድ የተጠቀምንበት ነው፦ ያው ሞዴሎች ከገጸ ባሕርይ ጋርና ያለ ገጸ ባሕርይ መንስኤዎችን ይጽፋሉ፤ እያንዳንዱ የሚያወጣቸው የተለዩ መንስኤዎችም ይቆጠራሉ።

የሰዎች ክፍሎች የተለዩ ናቸው። ሰው የሚያመጣው ያየውን ነው እንጂ ሊያይ የሚችልን ሰው መግለጫ አይደለም። ይህ ጥናት በዚህ ላይ ምንም አይልም፤ ተከራይ እንደሆነ የተነገረው ሞዴል እንደ ተከራይ እንዳልኖረ ይናገራል። ዓላማው ሰዎች በምን እንደማይስማሙ ማወቅ በሆነበት ቦታ ያንን የሚያቀርቡት ሰዎች ብቻ ናቸው። በእነዚያ ክፍሎች ውስጥ ሞዴል ከመመለስ ይልቅ መጠየቅ ይጠቅማል፦ ስለ አንድ ካርድ የሚቀርብ ጥያቄ፣ አንድ በአንድ፣ የራሱ አመለካከት ሳይኖረው (ይህ እውነት ቢሆን ምን ያያሉ? በመካከል ምን ይሆናል?)፣ ጸሐፊው የሞዴሉን ቃላት በአፉ ሳያስገባ መንስኤውን ግልጽ እንዲያደርግ ያግዘዋል።

ገደቦች

አንድ ጥያቄ፣ መኖሪያ ቤት፤ 120 ትስስሮች፤ በአንድ ሞዴል አራት ወይም አምስት ገጸ ባሕርያት፣ እያንዳንዳቸው አንድ ጊዜ የመለሱ። ይህ ንድፍ ሊያየው ከሚችለው ያነሱ ውጤቶች አይታዩም። ገጸ ባሕርያት የተጻፉት እንደ የሚና መግለጫዎች ነው፤ እነሱን የሚያስነሡ ጠንካራ መንገዶች፣ ለምሳሌ አንድ ሞዴል ከመመለሱ በፊት በገጸ ባሕርዩ እንዲያስብ መጠየቅ፣ የበለጠ ሊያንቀሳቅሱት ይችላሉ፣ ከካሪካቸር አደጋ ጋር (Cheng et al., 2023)። መረጃ ሰጪነት ከፓነሉ ጋር ያለውን ስምምነት ይለካል እንጂ እውነትን አይደለም፤ የምክክር ፈራጆች ሆነው የሚያገለግሉ ሞዴሎችም ከሰዎች ጋር ከሚጠበቀው ያነሰ ይስማማሉ (Zhu et al., 2025)፦ ከራሱ ጋር የሚስማማ ፓነል አሁንም በአንድ አቅጣጫ ሊሳሳት ይችላል። በብቁ ሞዴሎች መካከል ያለው ልዩነት የታየው በ870ው ትስስሮች ብቻ ነው፤ በ120 የማይታይ ነበር፤ ስለዚህ ያነሱ ልዩነቶች አሁንም ሳይታዩ ሊቀሩ ይችላሉ፤ ከመኖሪያ ቤት የበለጠ አከራካሪ የሆነ ጥያቄም ሞዴሎችን የበለጠ ሊከፋፍል ይችላል።

ማጣቀሻዎች

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

ጥያቄ ይያዙ → · ተጨማሪ ማስታወሻዎች