កំណត់ចំណាំ · ក្រុមវិនិច្ឆ័យម៉ូដែល
ខែតុលា ឆ្នាំ 2026
បន្ទប់ម៉ូដែលភាសានៅលើ True Causes ផ្ដល់តួអង្គមួយដល់ម៉ូដែលនីមួយៗ៖ គិលានុបដ្ឋាយិកាម្នាក់ដែលជួលផ្ទះ ម្ចាស់ផ្ទះចូលនិវត្តន៍ម្នាក់ អ្នកអភិវឌ្ឍន៍តូចម្នាក់។ គំនិតគឺថា មនុស្សខុសគ្នាមើលឃើញមូលហេតុខុសគ្នា ហើយក្រុមវិនិច្ឆ័យម៉ូដែលដែលដើរតួជាពួកគេក៏នឹងដូច្នោះដែរ។ ថាតើម៉ូដែលដែលត្រូវបានប្រាប់ថាវាជានរណា ឆ្លើយដូចមនុស្សនោះឬទេ គឺជាសំណួរដែលគេស្គាល់រួចហើយ (Argyle et al., 2023) យើងបានសាកល្បងវាលើការវិនិច្ឆ័យមូលហេតុ។
វាមិនដូច្នោះទេ សម្រាប់ការវិនិច្ឆ័យ។ ឆ្លងកាត់ម៉ូដែល 21 និងតួអង្គ 14 តួអង្គដែលម៉ូដែលមួយត្រូវបានផ្ដល់ឱ្យ បានផ្លាស់ប្ដូរការភ្ជាប់មូលហេតុដែលវាទទួលយក ក្នុងកម្រិតដែលយើងមិនអាចវាស់បាន។ ម៉ូដែលមួយណា បានផ្លាស់ប្ដូរច្រើនណាស់។
យើងបានយកការភ្ជាប់ 120 ពីបន្ទប់កំណត់ត្រាសាធារណៈ មួយលើលទ្ធភាពទិញលំនៅដ្ឋាន ដែលជ្រើសឱ្យការភ្ជាប់ដែលបន្ទប់បានបញ្ជាក់ បានបដិសេធ និងមិនអាចសម្រេចបាន មានតំណាងស្មើគ្នា។ ម៉ូដែលនីមួយៗក្នុងចំណោម 21 បានឆ្លើយគ្រប់ការភ្ជាប់ ម្ដងជាខ្លួនវាផ្ទាល់ និងបួន ឬប្រាំដងជាតួអង្គខុសគ្នា៖ តួអង្គលំនៅដ្ឋានដប់ពីរ (អ្នកជួល និងម្ចាស់ផ្ទះ ម្ចាស់ផ្ទះជួល អ្នករៀបចំផែនការ អ្នកអភិវឌ្ឍន៍ អ្នករៀបចំអ្នកជួល កម្មករសំណង់ និងផ្សេងទៀត) និងតួអង្គភ្លោះ ពីរ ដែលជាមនុស្សដដែល លើកលែងតែការពិតមួយ គឺជួលជំនួសឱ្យការមានផ្ទះផ្ទាល់ខ្លួន។ តួអង្គនីមួយៗត្រូវបានលេងដោយម៉ូដែលប្រាំពីរ។ នោះគឺកៅអី 119 និងចម្លើយ 14,220 ដែលកៅអីនីមួយៗឆ្លើយគ្រប់ការភ្ជាប់ ដូច្នេះគ្មានចម្លើយណាពឹងផ្អែកលើចម្លើយមួយទៀតទេ។
ការភ្ជាប់ខ្លួនឯង ពន្យល់ប្រហែលពាក់កណ្ដាលនៃបម្រែបម្រួលទាំងអស់ (52%)៖ ម៉ូដែលភាគច្រើនយល់ស្របគ្នាថាការភ្ជាប់ណាដែលគួរឱ្យជឿ។ការអានផ្ទាល់ខ្លួនរបស់ម៉ូដែលលើការភ្ជាប់ជាក់លាក់ ពន្យល់មួយភាគបួនទៀត (24%) មិនថាវាលេងតួអង្គអ្វីទេ។ ទំនោរទូទៅរបស់ម៉ូដែលមួយក្នុងការនិយាយថាមែន បន្ថែម 3%។
តួអង្គមិនបានបន្ថែមអ្វីទេ។ ចំណែករបស់វាក្នុងបម្រែបម្រួលនៃការភ្ជាប់ណាដែលទទួលបាន «មែន» គឺ 0.000 ចំណែករបស់វាក្នុងទំនោរទូទៅទៅរក «មែន» គឺ 0.002។ ការសាកល្បងដែលព្យាយាមកំណត់តួអង្គពីចម្លើយរបស់កៅអីមួយ ដោយម៉ូដែលដែលវាមិនត្រូវបានឃើញ មិនបានធ្វើល្អជាងចៃដន្យទេ (6.1% ទល់នឹង 7.1%)។ ហើយកៅអីមិនបានផ្លាស់ទីក្នុងទិសដៅដែលលក្ខណៈរបស់តួអង្គនឹងព្យាករទេ៖ សហសម្ព័ន្ធគឺសូន្យ។ នៅពេលតួអង្គមួយបានផ្លាស់ប្ដូរចម្លើយ លើចន្លោះពី 1% ដល់ 15% នៃការភ្ជាប់ អាស្រ័យលើម៉ូដែល វាបានផ្លាស់ប្ដូរដោយចៃដន្យ។
ការនេះស្របនឹងអ្វីដែលអ្នកដទៃបានរកឃើញ។ អថេរតួអង្គពន្យល់បានតិចតួចនៃបម្រែបម្រួលក្នុងកិច្ចការដាក់ស្លាក (Hu & Collier, 2024) ហើយតួនាទីដែលដាក់ឈ្មោះក្នុងប្រអប់បញ្ចូលប្រព័ន្ធ មិនផ្លាស់ប្ដូរចម្លើយរបស់ម៉ូដែលជាប់លាប់ទេ (Zheng et al., 2024)។ សំណួរអំពីមូលហេតុ ត្រូវបានម៉ូដែលអានជាសំណួរអំពីពិភពលោក មិនមែនអំពីមនុស្សដែលកំពុងសួរទេ។
តួអង្គធ្វើឱ្យម៉ូដែលនិយាយថា «មិនអាចនិយាយបាន» ញឹកញាប់ជាង 26% នៃពេល ទល់នឹង 19% ជាខ្លួនវាផ្ទាល់ ហើយមិនស្មើគ្នាទេ។ តួអង្គក្មេង ចំណូលទាប ជួលផ្ទះ ទំនោរឆ្វេង និងមិនមែនអាមេរិក បានអនុបវាទច្រើនជាង រហូតដល់ 14 ពិន្ទុ តួអង្គចាស់ ទំនោរស្ដាំ ម្ចាស់ផ្ទះជួល ចំណូលខ្ពស់ និងម្ចាស់ផ្ទះ បានអនុបវាទតិចជាង រហូតដល់ 13 ពិន្ទុ។ ម៉ូដែលបានលេងតួអង្គដែលមានឋានៈទាបជាង ថាមិនសូវប្រាកដពីអ្វីដែលខ្លួនដឹង។ ប្រអប់បញ្ចូលតួអង្គត្រូវបានគេដឹងថានាំគំនិតគំរូបែបនេះចូលទៅក្នុងការវែកញែក (Gupta et al., 2024)។ ម៉ូដែលខ្លះបានបដិសេធច្រើនជាងឆ្ងាយជាមួយតួអង្គ៖ Gemini 3.5 Flash បាននិយាយថា «មិនអាចនិយាយបាន» ចំពោះ 59% នៃការភ្ជាប់ជាតួអង្គ ហើយមិនដែលនិយាយសោះជាខ្លួនវាផ្ទាល់។
តារាងដាក់ម៉ូដែលនីមួយៗ តាមញឹកញាប់ដែលវានិយាយថាមែន (ផ្ដេក) និងកម្រិតព័ត៌មាននៃចម្លើយរបស់វា (បញ្ឈរ)។ កម្រិតព័ត៌មានត្រូវបានប៉ាន់ស្មាន ដោយមិនដឹងចម្លើយត្រឹមត្រូវ ពីរបៀបដែលម៉ូដែលយល់ស្របគ្នាទៅវិញទៅមក (Dawid & Skene, 1979)៖ 1 គឺជាអ្នកវិនិច្ឆ័យដែលជាប់លាប់ឥតខ្ចោះ 0 គឺជាចម្លើយដែលគ្មានសញ្ញាអ្វីសោះ។ វាវាស់ការយល់ស្របជាមួយអ្វីដែលក្រុមវិនិច្ឆ័យទាំងមូលរកឃើញ មិនមែនភាពត្រឹមត្រូវទេ ដូច្នេះម៉ូដែលខ្លាំងមួយដែលមិនយល់ស្របជាមួយម៉ូដែលខ្សោយ អាចទទួលពិន្ទុទាបជាងអ្វីដែលវាសមនឹងទទួល។
ម៉ូដែលភាគច្រើនបែងចែកបាន៖ វានិយាយថាមែនចំពោះចន្លោះពីមួយភាគបួន ដល់ពីរភាគបីនៃការភ្ជាប់ ហើយចម្លើយរបស់វាមានសញ្ញា។ Claude Sonnet 5.5 និង DeepSeek V4 Flash យល់ស្របជាមួយក្រុមវិនិច្ឆ័យច្រើនបំផុត។ ម៉ូដែលតូចៗដូចជា Gemma 3 4B និង Command R7B មានសញ្ញាតិចជាង។ Schematron ដែលជាម៉ូដែលបង្កើតឡើងសម្រាប់ទាញយកទិន្នន័យ ជាជាងវិនិច្ឆ័យការអះអាង បាននិយាយថា «មិនអាចនិយាយបាន» ចំពោះស្ទើរតែអ្វីៗទាំងអស់ ហើយអ្វីដែលវាបានឆ្លើយ ស្ទើរតែគ្មានសញ្ញាសោះ។
បើតួអង្គមិនកំណត់រូបរាងចម្លើយទេ ប្រហែលជាម៉ូដែលខ្លួនឯងមានទ្រឹស្ដីខុសគ្នាអំពីបញ្ហា មួយបន្ទោសបទប្បញ្ញត្តិ មួយទៀតបន្ទោសការស្មានប្រាក់ចំណេញ។ មួយភាគបួននៃបម្រែបម្រួល គឺម៉ូដែលអានការភ្ជាប់ដដែលខុសគ្នា ដូច្នេះយើងបានស្វែងរកទិសដៅនៃភាពខុសគ្នានោះ៖ គំរូមួយដែលដាក់ម៉ូដែលនីមួយៗ និងការភ្ជាប់នីមួយៗលើវិមាត្រពីរបី ពីចម្លើយរបស់ម៉ូដែលជាខ្លួនវាផ្ទាល់។ វិមាត្រមួយរាប់ លុះត្រាតែវាស្ថិតស្ថេរ មានន័យថា បើការគណនាវាដាច់ពីគ្នាលើពាក់កណ្ដាលទាំងពីរនៃការភ្ជាប់ ដាក់ម៉ូដែលនៅកន្លែងស្ទើរតែដូចគ្នា។
វិមាត្រមួយស្ថិតស្ថេរ ហើយវាមិនមែនជាទ្រឹស្ដីទេ។ នៅចុងម្ខាង គឺការភ្ជាប់ដែលស្ទើរតែគ្មានន័យ ដូចជា «អាផាតមិនប្រណីតដែលទិញដោយវិនិយោគិនបរទេស» នាំទៅរក «អាមេរិកបន្ថែមជនអន្តោប្រវេសន៍ 600,000 ដល់ 1.2 លាននាក់ក្នុងមួយឆ្នាំ» ដែលម៉ូដែលខ្សោយបានទទួលយក។ នៅចុងម្ខាងទៀត គឺយន្តការដែលស៊ីសង្វាក់គ្នាមួយ សំឡេងរបស់អ្នកស្រុក និងផលប្រយោជន៍របស់អ្នកមានស្រាប់ ដែលរក្សាការផ្គត់ផ្គង់ឱ្យមានកំណត់ ដែលម៉ូដែលខ្លាំងទាំងអស់បានទទួលយក។ វិមាត្រនេះ គឺកម្រិតដែលម៉ូដែលមួយវិនិច្ឆ័យបានល្អ៖ ម៉ូដែលខ្លាំងស្ថិតនៅជិតគ្នា ហើយម៉ូដែលខ្សោយនីមួយៗងាកចេញពីពួកវាតាមរបៀបរបស់ខ្លួន។
ក្នុងចំណោមម៉ូដែលខ្លាំងដប់មួយ ដែលគណនាលើការភ្ជាប់ 120 នៃការសិក្សា គ្មានអ្វីស្ថិតស្ថេរទេ។ នោះជាការភ្ជាប់តិចពេក។ គណនាលើការភ្ជាប់ទាំង 870 នៃបន្ទប់ ដែលឆ្លើយដោយម៉ូដែលដប់មួយដដែលជាខ្លួនវាផ្ទាល់ ភាពខុសគ្នាមួយបានលេចឡើង ហើយវាស្ថិតស្ថេរ៖ គណនាដាច់ពីគ្នាលើពាក់កណ្ដាលទាំងពីរនៃការភ្ជាប់ ម៉ូដែលធ្លាក់នៅកន្លែងស្ទើរតែដូចគ្នា (0.89)។
នៅចុងម្ខាង ម៉ូដែលទទួលយកការភ្ជាប់ពីផលប្រយោជន៍របស់មនុស្ស ទៅការសម្រេចចិត្តនយោបាយ៖ ផលប្រយោជន៍របស់ម្ចាស់ផ្ទះក្នុងតម្លៃដែលកើនឡើង នាំទៅរកការផ្លាស់ប្ដូរប្រឆាំងនឹងការផ្គត់ផ្គង់របស់រដ្ឋាភិបាល សំឡេងរបស់អ្នកស្រុក នាំទៅរក Proposition 13។ Gemini 3.5 Flash, Claude Sonnet 5.5, Nex និង DeepSeek ស្ថិតនៅទីនោះ។ នៅចុងម្ខាងទៀត ម៉ូដែលទទួលយកការភ្ជាប់ពីរបាំង ចូលទៅក្នុងយន្តការផ្គត់ផ្គង់៖ បទប្បញ្ញត្តិ ផលប្រយោជន៍របស់អ្នកមានស្រាប់ ក្រុមប្រឹក្សាដែលបដិសេធផ្ទះល្វែងតម្លៃទាប និងសិទ្ធិកម្មសិទ្ធិ នីមួយៗនាំទៅរក «ផ្ទះកាន់តែច្រើន កាត់បន្ថយតម្លៃ»។ Mistral Small, Ministral 8B, Laguna និង Qwen ស្ថិតនៅទីនោះ។ និយាយប្រហែលៗ ម្ខាងពន្យល់លំនៅដ្ឋានតាមរយៈអ្នកណាទទួលផលនយោបាយ ម្ខាងទៀតតាមរយៈអ្វីដែលរារាំងការផ្គត់ផ្គង់។ ការអាននោះជារបស់យើង ពីការភ្ជាប់នៅចុងនីមួយៗ។ វិមាត្រទីពីរដាក់ម៉ូដែល GPT-OSS ទាំងពីរនៅចុងម្ខាង ប៉ុន្តែការភ្ជាប់របស់វាគ្មានប្រធានបទរួមណាដែលយើងអាចដាក់ឈ្មោះបានទេ។
បម្រែបម្រួលយល់ស្រប។ ក្នុងចំណោមម៉ូដែលខ្លាំងដប់មួយ ការភ្ជាប់ខ្លួនឯងពន្យល់ 68% នៃវា ទល់នឹង 52% ជាមួយម៉ូដែលទាំង 21 ហើយការអានជាក់លាក់តាមម៉ូដែល ធ្លាក់ពី 24% មក 8%៖ ប្រហែលពីរភាគបីនៃអ្វីដែលមើលទៅដូចជាការអានខុសគ្នា មកពីម៉ូដែលខ្សោយ។ អ្វីដែលនៅសល់តូចជាង ប៉ុន្តែវាជាភាពខុសគ្នាដែលស្ថិតស្ថេរខាងលើ។
ក្រុមវិនិច្ឆ័យម៉ូដែល ផ្ដល់ការវិនិច្ឆ័យ ជាមួយចន្លោះទស្សនៈតូចចង្អៀត។ តួអង្គមិនបន្ថែមទស្សនៈទេ។ ម៉ូដែលដែលមានសមត្ថភាពយល់ស្របលើការភ្ជាប់ភាគច្រើន ហើយខុសគ្នាយ៉ាងស្ថិតស្ថេរលើការភ្ជាប់ដែលនៅសល់ តាមបន្ទាត់មួយរវាងការពន្យល់ផ្នែកនយោបាយ និងផ្នែកផ្គត់ផ្គង់។ នោះជាចន្លោះមួយ ប៉ុន្តែជាចន្លោះតូចចង្អៀត ដែលកំណត់ដោយរបៀបដែលម៉ូដែលត្រូវបានបណ្ដុះបណ្ដាល៖ មិនមែនជាចន្លោះទស្សនៈដែលមនុស្សដែលមានបទពិសោធន៍ខុសគ្នានឹងនាំមកនោះទេ។ ការស្រាវជ្រាវលើម៉ូដែលដែលសង្ខេបការពិភាក្សាពិគ្រោះ ចង្អុលទៅទិសដដែល៖ សេចក្ដីសង្ខេបតំណាងជំហររបស់ជនភាគតិចតិចពេក ឆ្លងកាត់ម៉ូដែល 18 (Zhu et al., 2025) ហើយសេចក្ដីថ្លែងដែលសរសេរដើម្បីរកការឯកភាព អាចទទួលបានការយល់ស្របតាមរយៈសំនៀងរបស់វា ច្រើនជាងខ្លឹមសាររបស់វា (Tsai et al., 2024)។ នៅលើ True Causes ម៉ូដែលមួយមិននិយាយជំនួសបន្ទប់ទេ។ វាសរសេរ ឬវិនិច្ឆ័យការភ្ជាប់ម្ដងមួយ គ្រប់ការវិនិច្ឆ័យត្រូវបានរាប់ ហើយការបែកមតិនៅតែនៅលើផែនទីជាការបែកមតិ។
ការជ្រើសក្រុមវិនិច្ឆ័យ គឺអំពីគុណភាពមុន បន្ទាប់មកតុល្យភាព។ ភាពខុសគ្នាធំបំផុតរវាងម៉ូដែល គឺកម្រិតដែលវាវិនិច្ឆ័យបានល្អ ដូច្នេះក្រុមវិនិច្ឆ័យមួយគួរតែជាម៉ូដែលដែលមានសមត្ថភាព ដោយទុកម៉ូដែលខ្សោយចោល។ ក្នុងចំណោមម៉ូដែលដែលមានសមត្ថភាព គ្រួសារម៉ូដែលផ្សេងៗមានទំនោរខុសគ្នា ដូច្នេះក្រុមវិនិច្ឆ័យមួយគួរតែយកពីគ្រួសារច្រើន ហើយគ្មានគ្រួសារណាមួយគួរមានចំនួនច្រើនជាងគ្រួសារផ្សេងទៀតទេ។
ម៉ូដែលគួរតែត្រូវបានពិនិត្យ មុនពេលទទួលកៅអី។ ម៉ូដែលដែលនិយាយថាមែនចំពោះអ្វីៗទាំងអស់ ទេចំពោះអ្វីៗទាំងអស់ ឬ «មិនអាចនិយាយបាន» ចំពោះអ្វីៗទាំងអស់ បន្ថែមសំឡេងរំខានដល់គ្រប់គូដែលវាវិនិច្ឆ័យ។ ការក្រិតខ្លីមួយលើការភ្ជាប់ដែលដឹងរួច រកឃើញម៉ូដែលទាំងនោះ។
តួអង្គមិនគួរត្រូវបានប្រើសម្រាប់ការវិនិច្ឆ័យទេ។ វាបន្ថែមអនុបវាទ និងគំនិតគំរូអំពីឋានៈ ហើយគ្មានភាពចម្រុះនៃការវិនិច្ឆ័យទេ។ ការសរសេរ គឺជាសំណួរដាច់ដោយឡែក។ បន្ទប់ម៉ូដែលដែលមានតួអង្គ សរសេរកាតចម្រុះ ប៉ុន្តែម៉ូដែលខុសគ្នាសរសេរខុសគ្នា ហើយម៉ូដែលមួយសរសេរខុសគ្នារាល់ពេលដែលវាត្រូវបានសួរ ដូច្នេះកាតចម្រុះតែម្យ៉ាង មិនបង្ហាញថាតួអង្គបានធ្វើអ្វីទេ។ ការសាកល្បង គឺដូចការសាកល្បងដែលបានប្រើនៅទីនេះសម្រាប់ការវិនិច្ឆ័យ៖ ម៉ូដែលដដែលសរសេរមូលហេតុ ដោយមាន និងគ្មានតួអង្គ ហើយមូលហេតុខុសៗគ្នាដែលនីមួយៗបង្កើត ត្រូវបានរាប់។
បន្ទប់មនុស្សគឺខុសគ្នា។ មនុស្សម្នាក់នាំមកនូវអ្វីដែលខ្លួនបានឃើញ មិនមែនការពិពណ៌នាអំពីនរណាម្នាក់ដែលប្រហែលជាបានឃើញវានោះទេ។ ការសិក្សានេះមិននិយាយអ្វីប្រឆាំងនឹងការនោះទេ វានិយាយថា ម៉ូដែលដែលត្រូវបានប្រាប់ថាវាជាអ្នកជួល មិនបានរស់នៅជាអ្នកជួលទេ។ នៅកន្លែងដែលគោលដៅគឺរកឱ្យឃើញថាមនុស្សខ្វែងគំនិតគ្នាលើអ្វី មានតែមនុស្សទេដែលផ្ដល់វាបាន។ នៅក្នុងបន្ទប់ទាំងនោះ ម៉ូដែលមួយមានប្រយោជន៍ជាងក្នុងការសួរ ជាជាងការឆ្លើយ៖ សំណួរមួយអំពីកាតមួយ ម្ដងមួយ ហើយគ្មានទស្សនៈផ្ទាល់ខ្លួន (តើអ្នកនឹងឃើញអ្វី បើការនេះពិត? តើមានអ្វីកើតឡើងនៅចន្លោះ?) ជួយអ្នកសរសេររបស់វា ឱ្យធ្វើឱ្យមូលហេតុច្បាស់ ដោយមិនដាក់ពាក្យរបស់ម៉ូដែលក្នុងមាត់របស់ពួកគេ។
សំណួរមួយ គឺលំនៅដ្ឋាន ការភ្ជាប់ 120 តួអង្គបួន ឬប្រាំក្នុងមួយម៉ូដែល នីមួយៗឆ្លើយតែម្ដង។ ឥទ្ធិពលដែលតូចជាងអ្វីដែលការរចនានេះអាចមើលឃើញ នឹងមិនបង្ហាញទេ។ តួអង្គត្រូវបានសរសេរជាការពិពណ៌នាតួនាទី វិធីខ្លាំងជាងក្នុងការបង្កើតវា ដូចជាការស្នើឱ្យម៉ូដែលវែកញែកក្នុងតួនាទី មុនពេលឆ្លើយ អាចផ្លាស់ទីវាបានច្រើនជាង ជាមួយហានិភ័យនៃការធ្វើឱ្យជ្រុល (Cheng et al., 2023)។ កម្រិតព័ត៌មានវាស់ការយល់ស្របជាមួយក្រុមវិនិច្ឆ័យ មិនមែនការពិតទេ ហើយម៉ូដែលដែលប្រើជាអ្នកវិនិច្ឆ័យការពិភាក្សាពិគ្រោះ យល់ស្របជាមួយមនុស្សតិចជាងអ្វីដែលគេសង្ឃឹម (Zhu et al., 2025)៖ ក្រុមវិនិច្ឆ័យដែលយល់ស្របជាមួយខ្លួនឯង នៅតែអាចខុសក្នុងទិសដៅដដែល។ ភាពខុសគ្នារវាងម៉ូដែលដែលមានសមត្ថភាព លេចឡើងតែជាមួយការភ្ជាប់ទាំង 870 ប៉ុណ្ណោះ ជាមួយ 120 វាមើលមិនឃើញ ដូច្នេះភាពខុសគ្នាតូចៗនៅតែអាចមើលមិនឃើញ ហើយសំណួរដែលមានការជំទាស់ច្រើនជាងលំនៅដ្ឋាន អាចបែងចែកម៉ូដែលបានច្រើនជាងនេះ។
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.