ਨੋਟ · ਮਾਡਲਾਂ ਦੇ ਪੈਨਲ
ਮਾਡਲ ਨੂੰ ਦੱਸੋ ਕਿ ਉਹ ਕੌਣ ਹੈ। ਉਸ ਦੇ ਕਾਰਨ ਸਬੰਧੀ ਫ਼ੈਸਲੇ ਮੁਸ਼ਕਲ ਨਾਲ ਹੀ ਬਦਲਦੇ ਹਨ।
ਅਕਤੂਬਰ 2026
True Causes ’ਤੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦੇ ਕਮਰੇ ਹਰ ਮਾਡਲ ਨੂੰ ਇੱਕ ਪਾਤਰ ਦਿੰਦੇ ਹਨ: ਕਿਰਾਏ ’ਤੇ ਰਹਿਣ ਵਾਲੀ ਨਰਸ, ਸੇਵਾਮੁਕਤ ਮਕਾਨ-ਮਾਲਕ, ਛੋਟਾ ਬਿਲਡਰ। ਵਿਚਾਰ ਇਹ ਹੈ ਕਿ ਵੱਖ-ਵੱਖ ਲੋਕਾਂ ਨੂੰ ਵੱਖ-ਵੱਖ ਕਾਰਨ ਦਿਖਦੇ ਹਨ, ਅਤੇ ਉਨ੍ਹਾਂ ਦੀ ਭੂਮਿਕਾ ਨਿਭਾਉਂਦੇ ਮਾਡਲਾਂ ਦੇ ਪੈਨਲ ਨੂੰ ਵੀ ਦਿਖਣਗੇ। ਕੀ ਜਿਸ ਮਾਡਲ ਨੂੰ ਦੱਸਿਆ ਜਾਵੇ ਕਿ ਉਹ ਕੌਣ ਹੈ, ਉਹ ਉਸ ਵਿਅਕਤੀ ਵਾਂਗ ਜਵਾਬ ਦਿੰਦਾ ਹੈ, ਇਹ ਇੱਕ ਜਾਣਿਆ-ਪਛਾਣਿਆ ਸਵਾਲ ਹੈ (Argyle et al., 2023); ਅਸੀਂ ਇਸ ਨੂੰ ਕਾਰਨ ਸਬੰਧੀ ਫ਼ੈਸਲਿਆਂ ’ਤੇ ਪਰਖਿਆ।
ਪਰਖਣ ਵਿੱਚ ਇਹ ਨਹੀਂ ਹੁੰਦਾ। 21 ਮਾਡਲਾਂ ਅਤੇ 14 ਪਾਤਰਾਂ ਵਿੱਚ, ਮਾਡਲ ਨੂੰ ਦਿੱਤੇ ਪਾਤਰ ਨੇ ਉਸ ਵੱਲੋਂ ਮੰਨੀਆਂ ਕਾਰਨ-ਕੜੀਆਂ ਵਿੱਚ ਕੋਈ ਅਜਿਹੀ ਤਬਦੀਲੀ ਨਹੀਂ ਕੀਤੀ ਜੋ ਅਸੀਂ ਮਾਪ ਸਕਦੇ। ਮਾਡਲ ਕਿਹੜਾ ਸੀ, ਇਸ ਨੇ ਬਹੁਤ ਫ਼ਰਕ ਪਾਇਆ।
ਅਧਿਐਨ
ਅਸੀਂ ਮਕਾਨਾਂ ਦੀ ਕਿਫ਼ਾਇਤ ਬਾਰੇ ਇੱਕ ਜਨਤਕ-ਰਿਕਾਰਡ ਕਮਰੇ ਤੋਂ 120 ਕੜੀਆਂ ਲਈਆਂ, ਇਸ ਤਰ੍ਹਾਂ ਚੁਣੀਆਂ ਕਿ ਕਮਰੇ ਵੱਲੋਂ ਪੁਸ਼ਟ, ਠੁਕਰਾਈਆਂ ਅਤੇ ਅਣਤੈਅ ਕੜੀਆਂ ਬਰਾਬਰ ਹੋਣ। 21 ਮਾਡਲਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਨੇ ਹਰ ਕੜੀ ਦਾ ਜਵਾਬ ਦਿੱਤਾ, ਇੱਕ ਵਾਰ ਆਪਣੇ ਵਜੋਂ ਅਤੇ ਚਾਰ ਜਾਂ ਪੰਜ ਵਾਰ ਵੱਖਰੇ ਪਾਤਰ ਵਜੋਂ: ਮਕਾਨਾਂ ਨਾਲ ਜੁੜੇ ਬਾਰਾਂ ਪਾਤਰ (ਕਿਰਾਏਦਾਰ ਅਤੇ ਮਾਲਕ, ਇੱਕ ਮਕਾਨ-ਮਾਲਕ ਜੋ ਕਿਰਾਏ ’ਤੇ ਦਿੰਦਾ ਹੈ, ਇੱਕ ਯੋਜਨਾਕਾਰ, ਇੱਕ ਬਿਲਡਰ, ਕਿਰਾਏਦਾਰਾਂ ਦਾ ਇੱਕ ਪ੍ਰਬੰਧਕ, ਇੱਕ ਉਸਾਰੀ ਮਜ਼ਦੂਰ ਅਤੇ ਹੋਰ), ਅਤੇ ਦੋ ਜੁੜਵੇਂ, ਉਹੀ ਵਿਅਕਤੀ ਸਿਰਫ਼ ਇੱਕ ਤੱਥ ਦੇ ਫ਼ਰਕ ਨਾਲ, ਮਾਲਕ ਦੀ ਬਜਾਏ ਕਿਰਾਏਦਾਰ। ਹਰ ਪਾਤਰ ਸੱਤ ਮਾਡਲਾਂ ਨੇ ਨਿਭਾਇਆ। ਇਹ 119 ਸੀਟਾਂ ਅਤੇ 14,220 ਜਵਾਬ ਹਨ, ਹਰ ਸੀਟ ਨੇ ਹਰ ਕੜੀ ਦਾ ਜਵਾਬ ਦਿੱਤਾ, ਇਸ ਲਈ ਕੋਈ ਜਵਾਬ ਦੂਜੇ ’ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਸੀ।
ਜਵਾਬ ਕਿਸ ਨੇ ਤੈਅ ਕੀਤੇ
ਖ਼ੁਦ ਕੜੀ ਸਾਰੇ ਫ਼ਰਕ ਦਾ ਲਗਭਗ ਅੱਧਾ ਹਿੱਸਾ (52%) ਸਮਝਾਉਂਦੀ ਹੈ: ਮਾਡਲ ਜ਼ਿਆਦਾਤਰ ਇਸ ’ਤੇ ਸਹਿਮਤ ਹਨ ਕਿ ਕਿਹੜੀਆਂ ਕੜੀਆਂ ਮੰਨਣਯੋਗ ਹਨ। ਖ਼ਾਸ ਕੜੀਆਂ ਬਾਰੇ ਮਾਡਲ ਦੀ ਆਪਣੀ ਸਮਝ ਹੋਰ ਇੱਕ-ਚੌਥਾਈ (24%) ਸਮਝਾਉਂਦੀ ਹੈ, ਭਾਵੇਂ ਉਹ ਕੋਈ ਵੀ ਪਾਤਰ ਨਿਭਾਵੇ। ਮਾਡਲ ਦਾ ਹਾਂ ਕਹਿਣ ਦਾ ਆਮ ਰੁਝਾਨ 3% ਜੋੜਦਾ ਹੈ।
ਪਾਤਰ ਨੇ ਕੁਝ ਨਹੀਂ ਜੋੜਿਆ। ਕਿਹੜੀਆਂ ਕੜੀਆਂ ਨੂੰ ਹਾਂ ਮਿਲੀ, ਇਸ ਦੇ ਫ਼ਰਕ ਵਿੱਚ ਇਸ ਦਾ ਹਿੱਸਾ 0.000 ਸੀ; ਹਾਂ ਵੱਲ ਆਮ ਝੁਕਾਅ ਵਿੱਚ, 0.002। ਜਿਹੜੀ ਪਰਖ ਸੀਟ ਦੇ ਜਵਾਬਾਂ ਤੋਂ, ਉਨ੍ਹਾਂ ਮਾਡਲਾਂ ਰਾਹੀਂ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਪਾਤਰ ਨਹੀਂ ਦੇਖਿਆ ਗਿਆ, ਪਾਤਰ ਪਛਾਣਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀ ਹੈ, ਉਹ ਤੁੱਕੇ ਤੋਂ ਵਧੀਆ ਨਹੀਂ ਰਹੀ (7.1% ਦੇ ਮੁਕਾਬਲੇ 6.1%)। ਅਤੇ ਸੀਟਾਂ ਉਸ ਦਿਸ਼ਾ ਵਿੱਚ ਨਹੀਂ ਹਿੱਲੀਆਂ ਜਿਸ ਦੀ ਉਨ੍ਹਾਂ ਦੇ ਪਾਤਰ ਦੀਆਂ ਖ਼ੂਬੀਆਂ ਤੋਂ ਉਮੀਦ ਸੀ: ਸਹਿਸਬੰਧ ਜ਼ੀਰੋ ਸੀ। ਜਦੋਂ ਪਾਤਰ ਨੇ ਕੋਈ ਜਵਾਬ ਬਦਲਿਆ ਵੀ, ਮਾਡਲ ਮੁਤਾਬਕ 1% ਤੋਂ 15% ਕੜੀਆਂ ’ਤੇ, ਤਾਂ ਉਸ ਨੇ ਬੇਤਰਤੀਬ ਬਦਲਿਆ।
ਇਹ ਹੋਰਾਂ ਦੀਆਂ ਲੱਭਤਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ। ਪਾਤਰ ਦੇ ਗੁਣ ਨਿਸ਼ਾਨਦੇਹੀ ਦੇ ਕੰਮਾਂ ਵਿੱਚ ਫ਼ਰਕ ਦਾ ਥੋੜ੍ਹਾ ਹਿੱਸਾ ਹੀ ਸਮਝਾਉਂਦੇ ਹਨ (Hu & Collier, 2024), ਅਤੇ ਸਿਸਟਮ ਪ੍ਰੌਂਪਟ ਵਿੱਚ ਦੱਸੀ ਭੂਮਿਕਾ ਮਾਡਲ ਦੇ ਜਵਾਬਾਂ ਨੂੰ ਲਗਾਤਾਰ ਨਹੀਂ ਬਦਲਦੀ (Zheng et al., 2024)। ਮਾਡਲ ਲਈ ਕਾਰਨ ਵਾਲਾ ਸਵਾਲ ਦੁਨੀਆ ਬਾਰੇ ਸਵਾਲ ਹੈ, ਪੁੱਛਣ ਵਾਲੇ ਵਿਅਕਤੀ ਬਾਰੇ ਨਹੀਂ।
ਪਾਤਰਾਂ ਨੇ ਕੀ ਬਦਲਿਆ: ਜਵਾਬ ਕੌਣ ਦਿੰਦਾ ਹੈ
ਪਾਤਰਾਂ ਨੇ ਮਾਡਲਾਂ ਤੋਂ “ਨਹੀਂ ਕਹਿ ਸਕਦਾ” ਵੱਧ ਵਾਰ ਕਹਾਇਆ, ਆਪਣੇ ਵਜੋਂ 19% ਦੇ ਮੁਕਾਬਲੇ 26% ਵਾਰ, ਅਤੇ ਬਰਾਬਰ ਨਹੀਂ। ਨੌਜਵਾਨ, ਘੱਟ ਆਮਦਨ ਵਾਲੇ, ਕਿਰਾਏਦਾਰ, ਖੱਬੇ-ਪੱਖੀ ਅਤੇ ਅਮਰੀਕਾ ਤੋਂ ਬਾਹਰਲੇ ਪਾਤਰਾਂ ਨੇ 14 ਅੰਕਾਂ ਤੱਕ ਵੱਧ ਪਰਹੇਜ਼ ਕੀਤਾ; ਵੱਡੀ ਉਮਰ ਦੇ, ਸੱਜੇ-ਪੱਖੀ, ਕਿਰਾਏ ’ਤੇ ਦੇਣ ਵਾਲੇ, ਵੱਧ ਆਮਦਨ ਵਾਲੇ ਅਤੇ ਮਾਲਕ ਪਾਤਰਾਂ ਨੇ 13 ਅੰਕਾਂ ਤੱਕ ਘੱਟ। ਮਾਡਲਾਂ ਨੇ ਨੀਵੇਂ ਰੁਤਬੇ ਵਾਲੇ ਪਾਤਰਾਂ ਨੂੰ ਆਪਣੀ ਜਾਣਕਾਰੀ ਬਾਰੇ ਘੱਟ ਪੱਕੇ ਵਜੋਂ ਨਿਭਾਇਆ। ਪਾਤਰ ਵਾਲੇ ਪ੍ਰੌਂਪਟ ਅਜਿਹੀਆਂ ਘੜੀਆਂ-ਘੜਾਈਆਂ ਧਾਰਨਾਵਾਂ ਨੂੰ ਤਰਕ ਵਿੱਚ ਲੈ ਆਉਂਦੇ ਹਨ, ਇਹ ਪਤਾ ਹੈ (Gupta et al., 2024)। ਕੁਝ ਮਾਡਲਾਂ ਨੇ ਪਾਤਰ ਨਾਲ ਕਿਤੇ ਵੱਧ ਇਨਕਾਰ ਕੀਤਾ: Gemini 3.5 Flash ਨੇ ਪਾਤਰ ਵਜੋਂ 59% ਕੜੀਆਂ ਨੂੰ “ਨਹੀਂ ਕਹਿ ਸਕਦਾ” ਕਿਹਾ ਅਤੇ ਆਪਣੇ ਵਜੋਂ ਕਿਸੇ ਨੂੰ ਨਹੀਂ।
ਕਿਹੜੇ ਮਾਡਲ ਚੰਗਾ ਪਰਖਦੇ ਹਨ
ਚਾਰਟ ਹਰ ਮਾਡਲ ਨੂੰ ਇਸ ਮੁਤਾਬਕ ਰੱਖਦੇ ਹਨ ਕਿ ਉਹ ਕਿੰਨੀ ਵਾਰ ਹਾਂ ਕਹਿੰਦਾ ਹੈ (ਆਰ-ਪਾਰ) ਅਤੇ ਉਸ ਦੇ ਜਵਾਬ ਕਿੰਨੀ ਜਾਣਕਾਰੀ ਦਿੰਦੇ ਹਨ (ਉੱਪਰ)। ਜਾਣਕਾਰੀ-ਮੁੱਲ ਸਹੀ ਜਵਾਬ ਜਾਣੇ ਬਿਨਾਂ, ਇਸ ਤੋਂ ਅਨੁਮਾਨਿਆ ਜਾਂਦਾ ਹੈ ਕਿ ਮਾਡਲ ਇੱਕ-ਦੂਜੇ ਨਾਲ ਕਿਵੇਂ ਸਹਿਮਤ ਹੁੰਦੇ ਹਨ (Dawid & Skene, 1979): 1 ਪੂਰੀ ਤਰ੍ਹਾਂ ਇਕਸਾਰ ਪਰਖਣ ਵਾਲਾ ਹੈ, 0 ਅਜਿਹਾ ਜਵਾਬ ਜਿਸ ਵਿੱਚ ਕੋਈ ਸੰਕੇਤ ਨਹੀਂ। ਇਹ ਪੂਰੇ ਪੈਨਲ ਦੀਆਂ ਲੱਭਤਾਂ ਨਾਲ ਸਹਿਮਤੀ ਮਾਪਦਾ ਹੈ, ਸਹੀ ਹੋਣਾ ਨਹੀਂ, ਇਸ ਲਈ ਕਮਜ਼ੋਰਾਂ ਨਾਲ ਅਸਹਿਮਤ ਹੋਣ ਵਾਲਾ ਮਜ਼ਬੂਤ ਮਾਡਲ ਆਪਣੇ ਹੱਕ ਤੋਂ ਘੱਟ ਅੰਕ ਲੈ ਸਕਦਾ ਹੈ।
ਬਹੁਤੇ ਮਾਡਲ ਫ਼ਰਕ ਕਰਦੇ ਹਨ: ਉਹ ਇੱਕ-ਚੌਥਾਈ ਤੋਂ ਦੋ-ਤਿਹਾਈ ਕੜੀਆਂ ਨੂੰ ਹਾਂ ਕਹਿੰਦੇ ਹਨ, ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਜਵਾਬਾਂ ਵਿੱਚ ਸੰਕੇਤ ਹੁੰਦਾ ਹੈ। Claude Sonnet 5.5 ਅਤੇ DeepSeek V4 Flash ਪੈਨਲ ਨਾਲ ਸਭ ਤੋਂ ਵੱਧ ਸਹਿਮਤ ਹਨ। Gemma 3 4B ਅਤੇ Command R7B ਵਰਗੇ ਛੋਟੇ ਮਾਡਲਾਂ ਵਿੱਚ ਘੱਟ ਹੈ। Schematron, ਜੋ ਦਾਅਵੇ ਪਰਖਣ ਦੀ ਬਜਾਏ ਡਾਟਾ ਕੱਢਣ ਲਈ ਬਣਾਇਆ ਮਾਡਲ ਹੈ, ਨੇ ਲਗਭਗ ਹਰ ਚੀਜ਼ ਨੂੰ “ਨਹੀਂ ਕਹਿ ਸਕਦਾ” ਕਿਹਾ, ਅਤੇ ਜਿਨ੍ਹਾਂ ਦਾ ਉਸ ਨੇ ਜਵਾਬ ਦਿੱਤਾ ਉਨ੍ਹਾਂ ਵਿੱਚ ਲਗਭਗ ਕੋਈ ਸੰਕੇਤ ਨਹੀਂ।
ਕੀ ਮਾਡਲਾਂ ਦੇ ਆਪਣੇ ਵਿਚਾਰ ਹਨ?
ਜੇ ਪਾਤਰ ਜਵਾਬਾਂ ਨੂੰ ਰੂਪ ਨਹੀਂ ਦਿੰਦੇ, ਤਾਂ ਸ਼ਾਇਦ ਮਾਡਲਾਂ ਕੋਲ ਖ਼ੁਦ ਸਮੱਸਿਆ ਦੇ ਵੱਖਰੇ ਸਿਧਾਂਤ ਹਨ, ਇੱਕ ਨਿਯਮਾਂ ਨੂੰ ਦੋਸ਼ ਦਿੰਦਾ ਹੈ, ਦੂਜਾ ਸੱਟੇਬਾਜ਼ੀ ਨੂੰ। ਫ਼ਰਕ ਦਾ ਇੱਕ-ਚੌਥਾਈ ਹਿੱਸਾ ਮਾਡਲਾਂ ਦਾ ਇੱਕੋ ਕੜੀ ਨੂੰ ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਪੜ੍ਹਨਾ ਸੀ, ਇਸ ਲਈ ਅਸੀਂ ਉਸ ਫ਼ਰਕ ਦੀਆਂ ਦਿਸ਼ਾਵਾਂ ਲੱਭੀਆਂ: ਇੱਕ ਮਾਡਲ ਜੋ ਹਰ ਮਾਡਲ ਅਤੇ ਹਰ ਕੜੀ ਨੂੰ ਕੁਝ ਪਹਿਲੂਆਂ ’ਤੇ ਰੱਖਦਾ ਹੈ, ਮਾਡਲਾਂ ਦੇ ਆਪਣੇ ਵਜੋਂ ਦਿੱਤੇ ਜਵਾਬਾਂ ਤੋਂ। ਕੋਈ ਪਹਿਲੂ ਤਾਂ ਹੀ ਗਿਣਿਆ ਜਾਂਦਾ ਹੈ ਜੇ ਉਹ ਸਥਿਰ ਹੋਵੇ, ਮਤਲਬ ਜੇ ਕੜੀਆਂ ਦੇ ਦੋ ਅੱਧਿਆਂ ’ਤੇ ਵੱਖਰੇ ਤੌਰ ’ਤੇ ਬਿਠਾਉਣ ਨਾਲ ਮਾਡਲ ਲਗਭਗ ਉਨ੍ਹਾਂ ਹੀ ਥਾਵਾਂ ’ਤੇ ਆਉਣ।
ਇੱਕ ਪਹਿਲੂ ਸਥਿਰ ਸੀ, ਅਤੇ ਉਹ ਕੋਈ ਸਿਧਾਂਤ ਨਹੀਂ ਸੀ। ਇੱਕ ਸਿਰੇ ’ਤੇ ਅਜਿਹੀਆਂ ਕੜੀਆਂ ਸਨ ਜਿਨ੍ਹਾਂ ਦਾ ਮੁਸ਼ਕਲ ਨਾਲ ਕੋਈ ਮਤਲਬ ਬਣਦਾ ਹੈ, ਜਿਵੇਂ “ਵਿਦੇਸ਼ੀ ਨਿਵੇਸ਼ਕਾਂ ਵੱਲੋਂ ਖ਼ਰੀਦੇ ਆਲੀਸ਼ਾਨ ਫ਼ਲੈਟ” ਤੋਂ “ਅਮਰੀਕਾ ਹਰ ਸਾਲ 600,000 ਤੋਂ 1.2 ਮਿਲੀਅਨ ਪਰਵਾਸੀ ਜੋੜਦਾ ਹੈ”, ਜਿਨ੍ਹਾਂ ਨੂੰ ਕਮਜ਼ੋਰ ਮਾਡਲਾਂ ਨੇ ਮੰਨਿਆ। ਦੂਜੇ ਸਿਰੇ ’ਤੇ ਇੱਕ ਇਕਸਾਰ ਵਿਧੀ ਸੀ, ਵਸਨੀਕਾਂ ਦੀਆਂ ਵੋਟਾਂ ਅਤੇ ਪਹਿਲਾਂ ਤੋਂ ਕਾਬਜ਼ਾਂ ਦੇ ਹਿੱਤ ਸਪਲਾਈ ਨੂੰ ਸੀਮਤ ਰੱਖਦੇ ਹਨ, ਜਿਸ ਨੂੰ ਸਾਰੇ ਮਜ਼ਬੂਤ ਮਾਡਲਾਂ ਨੇ ਮੰਨਿਆ। ਇਹ ਪਹਿਲੂ ਇਸ ਬਾਰੇ ਹੈ ਕਿ ਮਾਡਲ ਕਿੰਨਾ ਚੰਗਾ ਪਰਖਦਾ ਹੈ: ਮਜ਼ਬੂਤ ਮਾਡਲ ਨੇੜੇ-ਨੇੜੇ ਬੈਠਦੇ ਹਨ, ਅਤੇ ਹਰ ਕਮਜ਼ੋਰ ਮਾਡਲ ਆਪਣੇ ਢੰਗ ਨਾਲ ਉਨ੍ਹਾਂ ਤੋਂ ਹਟਦਾ ਹੈ।
ਗਿਆਰਾਂ ਮਜ਼ਬੂਤ ਮਾਡਲਾਂ ਵਿੱਚ, ਅਧਿਐਨ ਦੀਆਂ 120 ਕੜੀਆਂ ’ਤੇ ਬਿਠਾਉਣ ਨਾਲ, ਕੁਝ ਵੀ ਸਥਿਰ ਨਹੀਂ ਸੀ। ਇਹ ਬਹੁਤ ਥੋੜ੍ਹੀਆਂ ਕੜੀਆਂ ਸਨ। ਕਮਰੇ ਦੀਆਂ ਸਾਰੀਆਂ 870 ਕੜੀਆਂ ’ਤੇ, ਜਿਨ੍ਹਾਂ ਦਾ ਜਵਾਬ ਉਨ੍ਹਾਂ ਹੀ ਗਿਆਰਾਂ ਮਾਡਲਾਂ ਨੇ ਆਪਣੇ ਵਜੋਂ ਦਿੱਤਾ, ਇੱਕ ਫ਼ਰਕ ਸਾਹਮਣੇ ਆਇਆ, ਅਤੇ ਉਹ ਸਥਿਰ ਹੈ: ਕੜੀਆਂ ਦੇ ਦੋ ਅੱਧਿਆਂ ’ਤੇ ਵੱਖਰੇ ਤੌਰ ’ਤੇ ਬਿਠਾਉਣ ਨਾਲ, ਮਾਡਲ ਲਗਭਗ ਉਨ੍ਹਾਂ ਹੀ ਥਾਵਾਂ ’ਤੇ ਆਉਂਦੇ ਹਨ (0.89)।
ਇੱਕ ਸਿਰੇ ’ਤੇ, ਮਾਡਲ ਲੋਕਾਂ ਦੇ ਹਿੱਤਾਂ ਤੋਂ ਸਿਆਸੀ ਫ਼ੈਸਲਿਆਂ ਤੱਕ ਕੜੀਆਂ ਮੰਨਦੇ ਹਨ: ਵਧਦੀਆਂ ਕੀਮਤਾਂ ਵਿੱਚ ਮਕਾਨ-ਮਾਲਕਾਂ ਦਾ ਹਿੱਤ ਸਰਕਾਰ ਦੀਆਂ ਸਪਲਾਈ-ਵਿਰੋਧੀ ਤਬਦੀਲੀਆਂ ਵੱਲ, ਵਸਨੀਕਾਂ ਦੀਆਂ ਵੋਟਾਂ Proposition 13 ਵੱਲ। Gemini 3.5 Flash, Claude Sonnet 5.5, Nex ਅਤੇ DeepSeek ਉੱਥੇ ਬੈਠਦੇ ਹਨ। ਦੂਜੇ ਸਿਰੇ ’ਤੇ, ਮਾਡਲ ਰੁਕਾਵਟਾਂ ਤੋਂ ਸਪਲਾਈ ਦੀ ਵਿਧੀ ਤੱਕ ਕੜੀਆਂ ਮੰਨਦੇ ਹਨ: ਨਿਯਮ, ਪਹਿਲਾਂ ਤੋਂ ਕਾਬਜ਼ਾਂ ਦੇ ਹਿੱਤ, ਸਸਤੇ ਫ਼ਲੈਟਾਂ ਤੋਂ ਇਨਕਾਰ ਕਰਦੀਆਂ ਕੌਂਸਲਾਂ ਅਤੇ ਜਾਇਦਾਦ ਦੇ ਹੱਕ, ਹਰ ਇੱਕ “ਵੱਧ ਮਕਾਨ ਕੀਮਤਾਂ ਘਟਾਉਂਦੇ ਹਨ” ਵੱਲ। Mistral Small, Ministral 8B, Laguna ਅਤੇ Qwen ਉੱਥੇ ਬੈਠਦੇ ਹਨ। ਮੋਟੇ ਤੌਰ ’ਤੇ, ਇੱਕ ਪਾਸਾ ਮਕਾਨਾਂ ਨੂੰ ਇਸ ਰਾਹੀਂ ਸਮਝਾਉਂਦਾ ਹੈ ਕਿ ਸਿਆਸੀ ਫ਼ਾਇਦਾ ਕਿਸ ਨੂੰ ਹੈ, ਦੂਜਾ ਇਸ ਰਾਹੀਂ ਕਿ ਸਪਲਾਈ ਨੂੰ ਕੀ ਰੋਕਦਾ ਹੈ। ਇਹ ਸਮਝ ਸਾਡੀ ਹੈ, ਹਰ ਸਿਰੇ ਦੀਆਂ ਕੜੀਆਂ ਤੋਂ। ਦੂਜਾ ਪਹਿਲੂ ਦੋਵੇਂ GPT-OSS ਮਾਡਲਾਂ ਨੂੰ ਇੱਕ ਸਿਰੇ ’ਤੇ ਰੱਖਦਾ ਹੈ, ਪਰ ਇਸ ਦੀਆਂ ਕੜੀਆਂ ਵਿੱਚ ਕੋਈ ਅਜਿਹਾ ਸਾਂਝਾ ਵਿਸ਼ਾ ਨਹੀਂ ਜਿਸ ਦਾ ਅਸੀਂ ਨਾਂ ਲੈ ਸਕੀਏ।
ਫ਼ਰਕ ਇਸ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ। ਗਿਆਰਾਂ ਮਜ਼ਬੂਤ ਮਾਡਲਾਂ ਵਿੱਚ, ਖ਼ੁਦ ਕੜੀ ਇਸ ਦਾ 68% ਸਮਝਾਉਂਦੀ ਹੈ, ਸਾਰੇ 21 ਮਾਡਲਾਂ ਨਾਲ 52% ਦੇ ਮੁਕਾਬਲੇ, ਅਤੇ ਮਾਡਲ-ਵਿਸ਼ੇਸ਼ ਸਮਝ 24% ਤੋਂ 8% ’ਤੇ ਆ ਜਾਂਦੀ ਹੈ: ਜੋ ਵੱਖਰੀਆਂ ਸਮਝਾਂ ਲੱਗਦੀਆਂ ਸਨ, ਉਨ੍ਹਾਂ ਦਾ ਲਗਭਗ ਦੋ-ਤਿਹਾਈ ਕਮਜ਼ੋਰ ਮਾਡਲਾਂ ਤੋਂ ਆਇਆ। ਬਾਕੀ ਛੋਟਾ ਹੈ, ਪਰ ਇਹ ਉੱਪਰ ਦੱਸਿਆ ਇਕਸਾਰ ਫ਼ਰਕ ਹੈ।
True Causes ਲਈ ਇਸ ਦਾ ਕੀ ਮਤਲਬ ਹੈ
ਮਾਡਲਾਂ ਦਾ ਪੈਨਲ ਪਰਖ ਦਿੰਦਾ ਹੈ, ਵਿਚਾਰਾਂ ਦੇ ਤੰਗ ਦਾਇਰੇ ਨਾਲ। ਪਾਤਰ ਕੋਈ ਨਜ਼ਰੀਆ ਨਹੀਂ ਜੋੜਦੇ। ਸਮਰੱਥ ਮਾਡਲ ਬਹੁਤੀਆਂ ਕੜੀਆਂ ’ਤੇ ਸਹਿਮਤ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਬਾਕੀਆਂ ’ਤੇ ਲਗਾਤਾਰ ਵੱਖਰੇ ਹੁੰਦੇ ਹਨ, ਸਿਆਸੀ ਅਤੇ ਸਪਲਾਈ ਵਾਲੀਆਂ ਵਿਆਖਿਆਵਾਂ ਵਿਚਕਾਰ ਇੱਕ ਲਕੀਰ ’ਤੇ। ਇਹ ਇੱਕ ਦਾਇਰਾ ਹੈ, ਪਰ ਤੰਗ, ਜੋ ਇਸ ਗੱਲ ਨੇ ਤੈਅ ਕੀਤਾ ਕਿ ਮਾਡਲਾਂ ਨੂੰ ਕਿਵੇਂ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ: ਉਹ ਦਾਇਰਾ ਨਹੀਂ ਜੋ ਵੱਖਰੇ ਤਜਰਬੇ ਵਾਲੇ ਲੋਕ ਲਿਆਉਂਦੇ। ਵਿਚਾਰ-ਵਟਾਂਦਰਿਆਂ ਦਾ ਸਾਰ ਦੇਣ ਵਾਲੇ ਮਾਡਲਾਂ ਬਾਰੇ ਖੋਜ ਵੀ ਇਸੇ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੀ ਹੈ: 18 ਮਾਡਲਾਂ ਵਿੱਚ, ਸਾਰ ਘੱਟਗਿਣਤੀ ਪੱਖਾਂ ਨੂੰ ਘੱਟ ਥਾਂ ਦਿੰਦੇ ਹਨ (Zhu et al., 2025), ਅਤੇ ਸਹਿਮਤੀ ਲੱਭਣ ਲਈ ਲਿਖੇ ਕਥਨ ਆਪਣੀ ਸਮੱਗਰੀ ਨਾਲੋਂ ਵੱਧ ਆਪਣੇ ਲਹਿਜੇ ਨਾਲ ਸਹਿਮਤੀ ਜਿੱਤ ਸਕਦੇ ਹਨ (Tsai et al., 2024)। True Causes ’ਤੇ ਮਾਡਲ ਕਮਰੇ ਵੱਲੋਂ ਨਹੀਂ ਬੋਲਦਾ। ਇਹ ਇਕੱਲੀਆਂ ਕੜੀਆਂ ਲਿਖਦਾ ਜਾਂ ਪਰਖਦਾ ਹੈ, ਹਰ ਪਰਖ ਗਿਣੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਵੰਡ ਨਕਸ਼ੇ ’ਤੇ ਵੰਡ ਵਜੋਂ ਹੀ ਰਹਿੰਦੀ ਹੈ।
ਪੈਨਲ ਚੁਣਨਾ ਪਹਿਲਾਂ ਗੁਣਵੱਤਾ ਬਾਰੇ ਹੈ, ਫਿਰ ਸੰਤੁਲਨ ਬਾਰੇ। ਮਾਡਲਾਂ ਵਿਚਕਾਰ ਸਭ ਤੋਂ ਵੱਡਾ ਫ਼ਰਕ ਇਹ ਹੈ ਕਿ ਉਹ ਕਿੰਨਾ ਚੰਗਾ ਪਰਖਦੇ ਹਨ, ਇਸ ਲਈ ਪੈਨਲ ਵਿੱਚ ਸਮਰੱਥ ਮਾਡਲ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ, ਕਮਜ਼ੋਰ ਬਾਹਰ। ਸਮਰੱਥ ਮਾਡਲਾਂ ਵਿੱਚ, ਪਰਿਵਾਰ ਵੱਖ-ਵੱਖ ਪਾਸੇ ਝੁਕਦੇ ਹਨ, ਇਸ ਲਈ ਪੈਨਲ ਨੂੰ ਕਈ ਪਰਿਵਾਰਾਂ ਤੋਂ ਲੈਣਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਕਿਸੇ ਇੱਕ ਪਰਿਵਾਰ ਦੀ ਗਿਣਤੀ ਬਾਕੀਆਂ ਤੋਂ ਵੱਧ ਨਹੀਂ ਹੋਣੀ ਚਾਹੀਦੀ।
ਮਾਡਲਾਂ ਨੂੰ ਬਿਠਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਛਾਂਟਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜੋ ਮਾਡਲ ਹਰ ਚੀਜ਼ ਨੂੰ ਹਾਂ, ਹਰ ਚੀਜ਼ ਨੂੰ ਨਹੀਂ ਜਾਂ ਹਰ ਚੀਜ਼ ਨੂੰ “ਨਹੀਂ ਕਹਿ ਸਕਦਾ” ਕਹਿੰਦਾ ਹੈ, ਉਹ ਆਪਣੀ ਪਰਖੀ ਹਰ ਜੋੜੀ ਵਿੱਚ ਰੌਲਾ ਜੋੜਦਾ ਹੈ। ਜਾਣੀਆਂ-ਪਛਾਣੀਆਂ ਕੜੀਆਂ ’ਤੇ ਛੋਟੀ ਜਾਂਚ ਉਨ੍ਹਾਂ ਨੂੰ ਲੱਭ ਲੈਂਦੀ ਹੈ।
ਪਰਖਣ ਲਈ ਪਾਤਰ ਨਹੀਂ ਵਰਤਣੇ ਚਾਹੀਦੇ। ਉਹ ਪਰਹੇਜ਼ ਅਤੇ ਰੁਤਬੇ ਦੀ ਘੜੀ-ਘੜਾਈ ਧਾਰਨਾ ਜੋੜਦੇ ਹਨ, ਅਤੇ ਪਰਖ ਦੀ ਕੋਈ ਵੰਨ-ਸੁਵੰਨਤਾ ਨਹੀਂ। ਲਿਖਣਾ ਵੱਖਰਾ ਸਵਾਲ ਹੈ। ਪਾਤਰਾਂ ਵਾਲੇ ਮਾਡਲਾਂ ਦਾ ਕਮਰਾ ਵੰਨ-ਸੁਵੰਨੇ ਕਾਰਡ ਲਿਖਦਾ ਹੈ, ਪਰ ਵੱਖ-ਵੱਖ ਮਾਡਲ ਵੱਖਰਾ ਲਿਖਦੇ ਹਨ, ਅਤੇ ਇੱਕ ਮਾਡਲ ਹਰ ਵਾਰ ਪੁੱਛਣ ’ਤੇ ਵੱਖਰਾ ਲਿਖਦਾ ਹੈ, ਇਸ ਲਈ ਸਿਰਫ਼ ਵੰਨ-ਸੁਵੰਨੇ ਕਾਰਡ ਇਹ ਨਹੀਂ ਦਿਖਾਉਂਦੇ ਕਿ ਪਾਤਰਾਂ ਨੇ ਕੁਝ ਕੀਤਾ। ਪਰਖ ਉਹੀ ਹੈ ਜੋ ਇੱਥੇ ਪਰਖਣ ਲਈ ਵਰਤੀ: ਉਹੀ ਮਾਡਲ ਪਾਤਰ ਨਾਲ ਅਤੇ ਬਿਨਾਂ ਕਾਰਨ ਲਿਖਦੇ ਹਨ, ਅਤੇ ਹਰ ਇੱਕ ਵੱਲੋਂ ਲਿਖੇ ਵੱਖਰੇ ਕਾਰਨ ਗਿਣੇ ਜਾਂਦੇ ਹਨ।
ਲੋਕਾਂ ਦੇ ਕਮਰੇ ਵੱਖਰੇ ਹਨ। ਵਿਅਕਤੀ ਉਹ ਲਿਆਉਂਦਾ ਹੈ ਜੋ ਉਸ ਨੇ ਦੇਖਿਆ ਹੈ, ਕਿਸੇ ਅਜਿਹੇ ਵਿਅਕਤੀ ਦਾ ਵਰਣਨ ਨਹੀਂ ਜਿਸ ਨੇ ਸ਼ਾਇਦ ਦੇਖਿਆ ਹੋਵੇ। ਇਹ ਅਧਿਐਨ ਇਸ ਦੇ ਵਿਰੁੱਧ ਕੁਝ ਨਹੀਂ ਕਹਿੰਦਾ; ਇਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਜਿਸ ਮਾਡਲ ਨੂੰ ਦੱਸਿਆ ਗਿਆ ਕਿ ਉਹ ਕਿਰਾਏਦਾਰ ਹੈ, ਉਹ ਕਿਰਾਏਦਾਰ ਵਜੋਂ ਨਹੀਂ ਜੀਵਿਆ। ਜਿੱਥੇ ਮਕਸਦ ਇਹ ਪਤਾ ਲਗਾਉਣਾ ਹੈ ਕਿ ਲੋਕ ਕਿਸ ਗੱਲ ’ਤੇ ਅਸਹਿਮਤ ਹਨ, ਉੱਥੇ ਇਹ ਸਿਰਫ਼ ਲੋਕ ਦੇ ਸਕਦੇ ਹਨ। ਉਨ੍ਹਾਂ ਕਮਰਿਆਂ ਵਿੱਚ ਮਾਡਲ ਜਵਾਬ ਦੇਣ ਨਾਲੋਂ ਪੁੱਛਣ ਵਿੱਚ ਵੱਧ ਕੰਮ ਦਾ ਹੈ: ਕਿਸੇ ਕਾਰਡ ਬਾਰੇ ਸਵਾਲ, ਇੱਕ ਵਾਰ ਵਿੱਚ ਇੱਕ ਅਤੇ ਆਪਣੀ ਕੋਈ ਰਾਇ ਤੋਂ ਬਿਨਾਂ (ਜੇ ਇਹ ਸੱਚ ਹੁੰਦਾ ਤਾਂ ਤੁਹਾਨੂੰ ਕੀ ਦਿਖਦਾ? ਵਿਚਕਾਰ ਕੀ ਹੁੰਦਾ ਹੈ?), ਇਸ ਦੇ ਲੇਖਕ ਨੂੰ ਕਾਰਨ ਸਪਸ਼ਟ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ, ਮਾਡਲ ਦੇ ਸ਼ਬਦ ਉਸ ਦੇ ਮੂੰਹ ਵਿੱਚ ਪਾਏ ਬਿਨਾਂ।
ਸੀਮਾਵਾਂ
ਇੱਕ ਸਵਾਲ, ਮਕਾਨ; 120 ਕੜੀਆਂ; ਹਰ ਮਾਡਲ ਲਈ ਚਾਰ ਜਾਂ ਪੰਜ ਪਾਤਰ, ਹਰ ਇੱਕ ਨੇ ਇੱਕ ਵਾਰ ਜਵਾਬ ਦਿੱਤਾ। ਇਸ ਬਣਤਰ ਦੀ ਪਕੜ ਤੋਂ ਛੋਟੇ ਅਸਰ ਨਹੀਂ ਦਿਖਣਗੇ। ਪਾਤਰ ਭੂਮਿਕਾ ਦੇ ਵਰਣਨ ਵਜੋਂ ਲਿਖੇ ਗਏ ਸਨ; ਉਨ੍ਹਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੇ ਮਜ਼ਬੂਤ ਤਰੀਕੇ, ਜਿਵੇਂ ਮਾਡਲ ਨੂੰ ਜਵਾਬ ਦੇਣ ਤੋਂ ਪਹਿਲਾਂ ਪਾਤਰ ਵਿੱਚ ਰਹਿ ਕੇ ਤਰਕ ਕਰਨ ਲਈ ਕਹਿਣਾ, ਇਸ ਨੂੰ ਹੋਰ ਹਿਲਾ ਸਕਦੇ ਹਨ, ਵਿਅੰਗ-ਚਿੱਤਰ ਦੇ ਖ਼ਤਰੇ ਸਮੇਤ (Cheng et al., 2023)। ਜਾਣਕਾਰੀ-ਮੁੱਲ ਪੈਨਲ ਨਾਲ ਸਹਿਮਤੀ ਮਾਪਦਾ ਹੈ, ਸੱਚ ਨਹੀਂ, ਅਤੇ ਵਿਚਾਰ-ਵਟਾਂਦਰੇ ਦੇ ਪਰਖਕਾਂ ਵਜੋਂ ਵਰਤੇ ਮਾਡਲ ਲੋਕਾਂ ਨਾਲ ਉਮੀਦ ਨਾਲੋਂ ਘੱਟ ਸਹਿਮਤ ਹੁੰਦੇ ਹਨ (Zhu et al., 2025): ਆਪਣੇ-ਆਪ ਨਾਲ ਸਹਿਮਤ ਪੈਨਲ ਫਿਰ ਵੀ ਇੱਕੋ ਦਿਸ਼ਾ ਵਿੱਚ ਗ਼ਲਤ ਹੋ ਸਕਦਾ ਹੈ। ਸਮਰੱਥ ਮਾਡਲਾਂ ਵਿਚਕਾਰ ਫ਼ਰਕ ਸਿਰਫ਼ ਸਾਰੀਆਂ 870 ਕੜੀਆਂ ਨਾਲ ਦਿਖਿਆ; 120 ਨਾਲ ਇਹ ਅਦਿੱਖ ਸੀ, ਇਸ ਲਈ ਛੋਟੇ ਫ਼ਰਕ ਅਜੇ ਵੀ ਅਣਦੇਖੇ ਰਹਿ ਸਕਦੇ ਹਨ, ਅਤੇ ਮਕਾਨਾਂ ਨਾਲੋਂ ਵੱਧ ਵਿਵਾਦਿਤ ਸਵਾਲ ਮਾਡਲਾਂ ਨੂੰ ਹੋਰ ਵੰਡ ਸਕਦਾ ਹੈ।
ਹਵਾਲੇ
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.