ಟಿಪ್ಪಣಿಗಳು · ಮಾದರಿಗಳ ಪ್ಯಾನೆಲ್‌ಗಳು

ಮಾದರಿಗೆ ಅದು ಯಾರು ಎಂದು ಹೇಳಿ. ಅದರ ಕಾರಣದ ತೀರ್ಪುಗಳು ಅಷ್ಟೇನೂ ಬದಲಾಗುವುದಿಲ್ಲ.

ಅಕ್ಟೋಬರ್ 2026

True Causes ನಲ್ಲಿನ ಭಾಷಾ ಮಾದರಿಗಳ ರೂಮ್‌ಗಳು ಪ್ರತಿ ಮಾದರಿಗೂ ಒಂದು ಪಾತ್ರ ಕೊಡುತ್ತವೆ: ಬಾಡಿಗೆಗಿರುವ ದಾದಿ, ನಿವೃತ್ತ ಮನೆಮಾಲೀಕ, ಸಣ್ಣ ಬಿಲ್ಡರ್. ಬೇರೆ ಬೇರೆ ಜನರಿಗೆ ಬೇರೆ ಬೇರೆ ಕಾರಣಗಳು ಕಾಣುತ್ತವೆ, ಮತ್ತು ಅವರ ಪಾತ್ರ ವಹಿಸುವ ಮಾದರಿಗಳ ಪ್ಯಾನೆಲ್‌ಗೂ ಕಾಣುತ್ತವೆ ಎಂಬುದು ಆಲೋಚನೆ. ತಾನು ಯಾರು ಎಂದು ಹೇಳಲಾದ ಮಾದರಿ ಆ ವ್ಯಕ್ತಿಯಂತೆ ಉತ್ತರಿಸುತ್ತದೆಯೇ ಎಂಬುದು ತಿಳಿದಿರುವ ಪ್ರಶ್ನೆ (Argyle et al., 2023); ನಾವು ಅದನ್ನು ಕಾರಣದ ತೀರ್ಪುಗಳ ಮೇಲೆ ಪರೀಕ್ಷಿಸಿದೆವು.

ತೀರ್ಮಾನಿಸುವುದರಲ್ಲಿ, ಇಲ್ಲ. 21 ಮಾದರಿಗಳು ಮತ್ತು 14 ಪಾತ್ರಗಳಾದ್ಯಂತ, ಮಾದರಿಗೆ ಕೊಟ್ಟ ಪಾತ್ರ ಅದು ಯಾವ ಕಾರಣ ಕೊಂಡಿಗಳನ್ನು ಒಪ್ಪಿತು ಎಂಬುದನ್ನು ನಾವು ಅಳೆಯಬಹುದಾದ ಯಾವ ಪ್ರಮಾಣದಲ್ಲೂ ಬದಲಿಸಲಿಲ್ಲ. ಅದು ಯಾವ ಮಾದರಿ ಎಂಬುದು ಬಹಳಷ್ಟನ್ನು ಬದಲಿಸಿತು.

ಅಧ್ಯಯನ

ವಸತಿ ಕೈಗೆಟುಕುವಿಕೆ ಕುರಿತ ಸಾರ್ವಜನಿಕ ದಾಖಲೆಯ ರೂಮ್ ನಿಂದ ನಾವು 120 ಕೊಂಡಿಗಳನ್ನು ತೆಗೆದುಕೊಂಡೆವು, ರೂಮ್ ದೃಢೀಕರಿಸಿದ, ತಿರಸ್ಕರಿಸಿದ ಮತ್ತು ಇತ್ಯರ್ಥಪಡಿಸಲಾಗದ ಕೊಂಡಿಗಳು ಸಮಾನವಾಗಿ ಪ್ರತಿನಿಧಿಸಲ್ಪಡುವಂತೆ ಆರಿಸಿ. 21 ಮಾದರಿಗಳಲ್ಲಿ ಪ್ರತಿಯೊಂದೂ ಪ್ರತಿ ಕೊಂಡಿಗೆ ಉತ್ತರಿಸಿತು, ಒಮ್ಮೆ ತಾನಾಗಿ ಮತ್ತು ನಾಲ್ಕು ಅಥವಾ ಐದು ಬಾರಿ ಬೇರೆ ಪಾತ್ರವಾಗಿ: ಹನ್ನೆರಡು ವಸತಿ ಪಾತ್ರಗಳು (ಬಾಡಿಗೆದಾರರು ಮತ್ತು ಮಾಲೀಕರು, ಒಬ್ಬ ಭೂಮಾಲೀಕ, ಒಬ್ಬ ಯೋಜಕ, ಒಬ್ಬ ಬಿಲ್ಡರ್, ಒಬ್ಬ ಬಾಡಿಗೆದಾರರ ಸಂಘಟಕ, ಒಬ್ಬ ಕಟ್ಟಡ ಕಾರ್ಮಿಕ ಮತ್ತು ಇತರರು), ಮತ್ತು ಇಬ್ಬರು ಅವಳಿಗಳು, ಒಂದೇ ಸಂಗತಿಯ ಹೊರತು ಅದೇ ವ್ಯಕ್ತಿ, ಸ್ವಂತ ಮನೆಯ ಬದಲು ಬಾಡಿಗೆ. ಪ್ರತಿ ಪಾತ್ರವನ್ನೂ ಏಳು ಮಾದರಿಗಳು ವಹಿಸಿದವು. ಅದು 119 ಸ್ಥಾನಗಳು ಮತ್ತು 14,220 ಉತ್ತರಗಳು, ಪ್ರತಿ ಸ್ಥಾನವೂ ಪ್ರತಿ ಕೊಂಡಿಗೆ ಉತ್ತರಿಸಿತು, ಹೀಗಾಗಿ ಯಾವ ಉತ್ತರವೂ ಇನ್ನೊಂದನ್ನು ಅವಲಂಬಿಸಿರಲಿಲ್ಲ.

ಉತ್ತರಗಳನ್ನು ಯಾವುದು ನಿರ್ಧರಿಸಿತು

ಎಲ್ಲ ವ್ಯತ್ಯಾಸದ ಸುಮಾರು ಅರ್ಧವನ್ನು (52%) ಕೊಂಡಿಯೇ ವಿವರಿಸುತ್ತದೆ: ಯಾವ ಕೊಂಡಿಗಳು ಸಂಭಾವ್ಯ ಎಂಬ ಬಗ್ಗೆ ಮಾದರಿಗಳು ಬಹುತೇಕ ಒಪ್ಪುತ್ತವೆ. ನಿರ್ದಿಷ್ಟ ಕೊಂಡಿಗಳ ಬಗ್ಗೆ ಮಾದರಿಯ ಸ್ವಂತ ಓದು ಇನ್ನೊಂದು ಕಾಲು ಭಾಗವನ್ನು (24%) ವಿವರಿಸುತ್ತದೆ, ಅದು ಯಾವ ಪಾತ್ರ ವಹಿಸಿದರೂ. ಹೌದು ಎನ್ನುವ ಮಾದರಿಯ ಸಾಮಾನ್ಯ ಒಲವು 3% ಸೇರಿಸುತ್ತದೆ.

ಪಾತ್ರ ಏನನ್ನೂ ಸೇರಿಸಲಿಲ್ಲ. ಯಾವ ಕೊಂಡಿಗಳಿಗೆ ಹೌದು ಸಿಕ್ಕಿತು ಎಂಬ ವ್ಯತ್ಯಾಸದಲ್ಲಿ ಅದರ ಪಾಲು 0.000; ಹೌದು ಕಡೆಗಿನ ಸಾಮಾನ್ಯ ಒಲವಿನಲ್ಲಿ ಅದರ ಪಾಲು, 0.002. ಸ್ಥಾನದ ಉತ್ತರಗಳಿಂದ ಪಾತ್ರವನ್ನು ಗುರುತಿಸಲು ಯತ್ನಿಸುವ ಪರೀಕ್ಷೆ, ಅದನ್ನು ನೋಡಿರದ ಮಾದರಿಗಳ ಮೇಲೆ, ಆಕಸ್ಮಿಕಕ್ಕಿಂತ ಉತ್ತಮವಾಗಿ ಮಾಡಲಿಲ್ಲ (7.1% ರ ಎದುರು 6.1%). ಮತ್ತು ಸ್ಥಾನಗಳು ಅವುಗಳ ಪಾತ್ರದ ಲಕ್ಷಣಗಳು ಮುನ್ನುಡಿಯುವ ದಿಕ್ಕಿನಲ್ಲಿ ಚಲಿಸಲಿಲ್ಲ: ಸಹಸಂಬಂಧ ಶೂನ್ಯ. ಪಾತ್ರ ಒಂದು ಉತ್ತರವನ್ನು ಬದಲಿಸಿದಾಗ, ಮಾದರಿಯನ್ನು ಅವಲಂಬಿಸಿ 1% ರಿಂದ 15% ಕೊಂಡಿಗಳಲ್ಲಿ, ಅದನ್ನು ಯಾದೃಚ್ಛಿಕವಾಗಿ ಬದಲಿಸಿತು.

ಇದು ಇತರರು ಕಂಡುಕೊಂಡದ್ದಕ್ಕೆ ಹೊಂದುತ್ತದೆ. ಟಿಪ್ಪಣಿ ಕಾರ್ಯಗಳಲ್ಲಿನ ವ್ಯತ್ಯಾಸದ ಸ್ವಲ್ಪವನ್ನು ಮಾತ್ರ ಪಾತ್ರದ ಚರಗಳು ವಿವರಿಸುತ್ತವೆ (Hu & Collier, 2024), ಮತ್ತು ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ನಲ್ಲಿ ಹೆಸರಿಸಿದ ಪಾತ್ರ ಮಾದರಿಯ ಉತ್ತರಗಳನ್ನು ಸ್ಥಿರವಾಗಿ ಬದಲಿಸುವುದಿಲ್ಲ (Zheng et al., 2024). ಕಾರಣದ ಪ್ರಶ್ನೆ ಮಾದರಿಗೆ ಕೇಳುವ ವ್ಯಕ್ತಿಯ ಬಗೆಗಿನ ಪ್ರಶ್ನೆಯಾಗಿ ಅಲ್ಲ, ಜಗತ್ತಿನ ಬಗೆಗಿನ ಪ್ರಶ್ನೆಯಾಗಿ ಓದುತ್ತದೆ.

ಪಾತ್ರಗಳು ಏನನ್ನು ಬದಲಿಸಿದವು: ಯಾರು ಉತ್ತರಿಸುತ್ತಾರೆ

ಪಾತ್ರಗಳು ಮಾದರಿಗಳು “ಹೇಳಲಾಗದು” ಎನ್ನುವುದನ್ನು ಹೆಚ್ಚಿಸಿದವು, ತಾವಾಗಿದ್ದಾಗ 19% ರ ಎದುರು 26%, ಮತ್ತು ಸಮವಾಗಿ ಅಲ್ಲ. ಯುವ, ಕಡಿಮೆ ಆದಾಯದ, ಬಾಡಿಗೆಯ, ಎಡಪಂಥದತ್ತ ಒಲವಿನ ಮತ್ತು ಅಮೆರಿಕೇತರ ಪಾತ್ರಗಳು 14 ಅಂಕಗಳವರೆಗೆ ಹೆಚ್ಚು ದೂರವುಳಿದವು; ಹಿರಿಯ, ಬಲಪಂಥದತ್ತ ಒಲವಿನ, ಭೂಮಾಲೀಕ, ಹೆಚ್ಚು ಆದಾಯದ ಮತ್ತು ಮಾಲೀಕ ಪಾತ್ರಗಳು 13 ಅಂಕಗಳವರೆಗೆ ಕಡಿಮೆ ದೂರವುಳಿದವು. ಮಾದರಿಗಳು ಕೆಳಸ್ತರದ ಪಾತ್ರಗಳನ್ನು ತಮಗೆ ತಿಳಿದದ್ದರ ಬಗ್ಗೆ ಕಡಿಮೆ ಖಚಿತವಾಗಿರುವಂತೆ ವಹಿಸಿದವು. ಪಾತ್ರದ ಪ್ರಾಂಪ್ಟ್‌ಗಳು ಇಂಥ ಪೂರ್ವಗ್ರಹಗಳನ್ನು ತರ್ಕದೊಳಗೆ ಒಯ್ಯುತ್ತವೆ ಎಂಬುದು ತಿಳಿದ ಸಂಗತಿ (Gupta et al., 2024). ಕೆಲವು ಮಾದರಿಗಳು ಪಾತ್ರದೊಂದಿಗೆ ಬಹಳ ಹೆಚ್ಚು ನಿರಾಕರಿಸಿದವು: Gemini 3.5 Flash ಪಾತ್ರವಾಗಿ 59% ಕೊಂಡಿಗಳಿಗೆ “ಹೇಳಲಾಗದು” ಎಂದಿತು ಮತ್ತು ತಾನಾಗಿ ಯಾವುದಕ್ಕೂ ಇಲ್ಲ.

ಯಾವ ಮಾದರಿಗಳು ಚೆನ್ನಾಗಿ ತೀರ್ಮಾನಿಸುತ್ತವೆ

ಚಾರ್ಟ್‌ಗಳು ಪ್ರತಿ ಮಾದರಿಯನ್ನೂ ಅದು ಎಷ್ಟು ಬಾರಿ ಹೌದು ಎನ್ನುತ್ತದೆ (ಅಡ್ಡಲಾಗಿ) ಮತ್ತು ಅದರ ಉತ್ತರಗಳು ಎಷ್ಟು ಮಾಹಿತಿಪೂರ್ಣ (ಮೇಲಕ್ಕೆ) ಎಂಬುದರ ಪ್ರಕಾರ ಇರಿಸುತ್ತವೆ. ಮಾಹಿತಿಪೂರ್ಣತೆಯನ್ನು ಸರಿಯಾದ ಉತ್ತರಗಳನ್ನು ತಿಳಿಯದೆ, ಮಾದರಿಗಳು ಪರಸ್ಪರ ಹೇಗೆ ಒಪ್ಪುತ್ತವೆ ಎಂಬುದರಿಂದ ಅಂದಾಜಿಸಲಾಗುತ್ತದೆ (Dawid & Skene, 1979): 1 ಎಂದರೆ ಸಂಪೂರ್ಣ ಸ್ಥಿರ ತೀರ್ಪುಗಾರ, 0 ಎಂದರೆ ಯಾವ ಸಂಕೇತವನ್ನೂ ಹೊತ್ತಿರದ ಉತ್ತರ. ಇದು ಪ್ಯಾನೆಲ್ ಒಟ್ಟಾಗಿ ಕಂಡುಕೊಳ್ಳುವುದರೊಂದಿಗಿನ ಒಪ್ಪಿಗೆಯನ್ನು ಅಳೆಯುತ್ತದೆ, ಸರಿತನವನ್ನಲ್ಲ, ಹಾಗಾಗಿ ದುರ್ಬಲವಾದವುಗಳೊಂದಿಗೆ ಒಪ್ಪದ ಬಲವಾದ ಮಾದರಿ ತನಗೆ ತಕ್ಕದ್ದಕ್ಕಿಂತ ಕಡಿಮೆ ಅಂಕ ಪಡೆಯಬಹುದು.

ಹೆಚ್ಚಿನ ಮಾದರಿಗಳು ವಿವೇಚಿಸುತ್ತವೆ: ಅವು ಕಾಲು ಭಾಗದಿಂದ ಮೂರನೇ ಎರಡು ಭಾಗದವರೆಗಿನ ಕೊಂಡಿಗಳಿಗೆ ಹೌದು ಎನ್ನುತ್ತವೆ, ಮತ್ತು ಅವುಗಳ ಉತ್ತರಗಳು ಸಂಕೇತವನ್ನು ಹೊತ್ತಿವೆ. Claude Sonnet 5.5 ಮತ್ತು DeepSeek V4 Flash ಪ್ಯಾನೆಲ್‌ನೊಂದಿಗೆ ಅತಿ ಹೆಚ್ಚು ಒಪ್ಪುತ್ತವೆ. Gemma 3 4B ಮತ್ತು Command R7B ನಂತಹ ಸಣ್ಣ ಮಾದರಿಗಳು ಕಡಿಮೆ ಹೊತ್ತಿವೆ. ಹೇಳಿಕೆಗಳನ್ನು ತೀರ್ಮಾನಿಸಲು ಅಲ್ಲ, ದತ್ತಾಂಶ ಹೊರತೆಗೆಯಲು ರೂಪಿಸಿದ ಮಾದರಿಯಾದ Schematron, ಬಹುತೇಕ ಎಲ್ಲದಕ್ಕೂ “ಹೇಳಲಾಗದು” ಎಂದಿತು, ಮತ್ತು ಅದು ಉತ್ತರಿಸಿದ್ದರಲ್ಲಿ ಬಹುತೇಕ ಯಾವ ಸಂಕೇತವೂ ಇಲ್ಲ.

ಮಾದರಿಗಳಿಗೆ ತಮ್ಮದೇ ಅಭಿಪ್ರಾಯಗಳಿವೆಯೇ?

ಪಾತ್ರಗಳು ಉತ್ತರಗಳನ್ನು ರೂಪಿಸದಿದ್ದರೆ, ಬಹುಶಃ ಮಾದರಿಗಳೇ ಸಮಸ್ಯೆಯ ಬಗ್ಗೆ ಬೇರೆ ಬೇರೆ ಸಿದ್ಧಾಂತಗಳನ್ನು ಹೊಂದಿವೆ, ಒಂದು ನಿಯಂತ್ರಣವನ್ನು ದೂಷಿಸುತ್ತದೆ, ಇನ್ನೊಂದು ಊಹಾಪೋಹದ ವ್ಯಾಪಾರವನ್ನು. ವ್ಯತ್ಯಾಸದ ಕಾಲು ಭಾಗ ಮಾದರಿಗಳು ಅದೇ ಕೊಂಡಿಯನ್ನು ಬೇರೆಯಾಗಿ ಓದಿದ್ದರಿಂದ, ಹಾಗಾಗಿ ನಾವು ಆ ವ್ಯತ್ಯಾಸದ ದಿಕ್ಕುಗಳನ್ನು ಹುಡುಕಿದೆವು: ಮಾದರಿಗಳ ತಾವಾಗಿನ ಉತ್ತರಗಳಿಂದ, ಪ್ರತಿ ಮಾದರಿ ಮತ್ತು ಪ್ರತಿ ಕೊಂಡಿಯನ್ನು ಕೆಲವು ಆಯಾಮಗಳ ಮೇಲೆ ಇರಿಸುವ ಮಾದರಿ. ಆಯಾಮ ಸ್ಥಿರವಾಗಿದ್ದರೆ ಮಾತ್ರ ಎಣಿಕೆಯಾಗುತ್ತದೆ, ಅಂದರೆ ಕೊಂಡಿಗಳ ಎರಡು ಅರ್ಧಗಳ ಮೇಲೆ ಪ್ರತ್ಯೇಕವಾಗಿ ಹೊಂದಿಸಿದಾಗ ಮಾದರಿಗಳು ಬಹುತೇಕ ಅದೇ ಸ್ಥಾನಗಳಲ್ಲಿ ಬಂದರೆ.

ಒಂದು ಆಯಾಮ ಸ್ಥಿರವಾಗಿತ್ತು, ಮತ್ತು ಅದು ಸಿದ್ಧಾಂತವಲ್ಲ. ಒಂದು ತುದಿಯಲ್ಲಿ ಅಷ್ಟೇನೂ ಅರ್ಥವಿಲ್ಲದ ಕೊಂಡಿಗಳಿದ್ದವು, ಉದಾಹರಣೆಗೆ “ವಿದೇಶಿ ಹೂಡಿಕೆದಾರರು ಕೊಳ್ಳುವ ಐಷಾರಾಮಿ ಅಪಾರ್ಟ್‌ಮೆಂಟ್‌ಗಳು” “ಅಮೆರಿಕ ವರ್ಷಕ್ಕೆ 6 ಲಕ್ಷದಿಂದ 12 ಲಕ್ಷ ವಲಸಿಗರನ್ನು ಸೇರಿಸಿಕೊಳ್ಳುತ್ತದೆ” ಎಂಬುದಕ್ಕೆ ದಾರಿ ಮಾಡುವುದು, ಇದನ್ನು ದುರ್ಬಲ ಮಾದರಿಗಳು ಒಪ್ಪಿದವು. ಇನ್ನೊಂದು ತುದಿಯಲ್ಲಿ ಒಂದು ಸುಸಂಬದ್ಧ ಕಾರ್ಯವಿಧಾನವಿತ್ತು, ನಿವಾಸಿಗಳ ಮತಗಳು ಮತ್ತು ಈಗಾಗಲೇ ನೆಲೆಸಿದವರ ಹಿತಾಸಕ್ತಿಗಳು ಪೂರೈಕೆಯನ್ನು ಸೀಮಿತವಾಗಿಡುವುದು, ಇದನ್ನು ಬಲವಾದ ಮಾದರಿಗಳೆಲ್ಲವೂ ಒಪ್ಪಿದವು. ಆಯಾಮ ಎಂದರೆ ಮಾದರಿ ಎಷ್ಟು ಚೆನ್ನಾಗಿ ತೀರ್ಮಾನಿಸುತ್ತದೆ ಎಂಬುದು: ಬಲವಾದ ಮಾದರಿಗಳು ಹತ್ತಿರ ಹತ್ತಿರ ಇವೆ, ಮತ್ತು ಪ್ರತಿ ದುರ್ಬಲ ಮಾದರಿ ತನ್ನದೇ ರೀತಿಯಲ್ಲಿ ಅವುಗಳಿಂದ ದೂರ ಸರಿಯುತ್ತದೆ.

ಹನ್ನೊಂದು ಬಲವಾದ ಮಾದರಿಗಳಲ್ಲಿ, ಅಧ್ಯಯನದ 120 ಕೊಂಡಿಗಳ ಮೇಲೆ ಹೊಂದಿಸಿದಾಗ, ಯಾವುದೂ ಸ್ಥಿರವಾಗಿರಲಿಲ್ಲ. ಅದು ತುಂಬಾ ಕಡಿಮೆ ಕೊಂಡಿಗಳು. ರೂಮ್‌ನ ಎಲ್ಲ 870 ಕೊಂಡಿಗಳ ಮೇಲೆ, ಅದೇ ಹನ್ನೊಂದು ಮಾದರಿಗಳು ತಾವಾಗಿ ಉತ್ತರಿಸಿದಾಗ, ಒಂದು ವ್ಯತ್ಯಾಸ ಕಾಣಿಸಿತು, ಮತ್ತು ಅದು ಸ್ಥಿರ: ಕೊಂಡಿಗಳ ಎರಡು ಅರ್ಧಗಳ ಮೇಲೆ ಪ್ರತ್ಯೇಕವಾಗಿ ಹೊಂದಿಸಿದಾಗ, ಮಾದರಿಗಳು ಬಹುತೇಕ ಅದೇ ಸ್ಥಾನಗಳಲ್ಲಿ ಬರುತ್ತವೆ (0.89).

ಒಂದು ತುದಿಯಲ್ಲಿ, ಮಾದರಿಗಳು ಜನರ ಹಿತಾಸಕ್ತಿಗಳಿಂದ ರಾಜಕೀಯ ನಿರ್ಧಾರಗಳಿಗೆ ಹೋಗುವ ಕೊಂಡಿಗಳನ್ನು ಒಪ್ಪುತ್ತವೆ: ಏರುತ್ತಿರುವ ಬೆಲೆಗಳಲ್ಲಿ ಮನೆಮಾಲೀಕರ ಪಾಲು ಸರ್ಕಾರದ ಪೂರೈಕೆ-ವಿರೋಧಿ ಬದಲಾವಣೆಗಳಿಗೆ ದಾರಿ ಮಾಡುವುದು, ನಿವಾಸಿಗಳ ಮತಗಳು Proposition 13 ಗೆ ದಾರಿ ಮಾಡುವುದು. Gemini 3.5 Flash, Claude Sonnet 5.5, Nex ಮತ್ತು DeepSeek ಅಲ್ಲಿವೆ. ಇನ್ನೊಂದು ತುದಿಯಲ್ಲಿ, ಮಾದರಿಗಳು ಅಡೆತಡೆಗಳಿಂದ ಪೂರೈಕೆ ಕಾರ್ಯವಿಧಾನಕ್ಕೆ ಹೋಗುವ ಕೊಂಡಿಗಳನ್ನು ಒಪ್ಪುತ್ತವೆ: ನಿಯಂತ್ರಣ, ನೆಲೆಸಿದವರ ಹಿತಾಸಕ್ತಿಗಳು, ಕಡಿಮೆ ವೆಚ್ಚದ ಫ್ಲ್ಯಾಟ್‌ಗಳನ್ನು ನಿರಾಕರಿಸುವ ನಗರಸಭೆಗಳು ಮತ್ತು ಆಸ್ತಿ ಹಕ್ಕುಗಳು, ಪ್ರತಿಯೊಂದೂ “ಹೆಚ್ಚು ವಸತಿ ಘಟಕಗಳು ಬೆಲೆಗಳನ್ನು ಇಳಿಸುತ್ತವೆ” ಎಂಬುದಕ್ಕೆ ದಾರಿ ಮಾಡುವುದು. Mistral Small, Ministral 8B, Laguna ಮತ್ತು Qwen ಅಲ್ಲಿವೆ. ಸ್ಥೂಲವಾಗಿ, ಒಂದು ಕಡೆ ವಸತಿಯನ್ನು ರಾಜಕೀಯವಾಗಿ ಯಾರಿಗೆ ಲಾಭ ಎಂಬುದರ ಮೂಲಕ, ಇನ್ನೊಂದು ಕಡೆ ಪೂರೈಕೆಯನ್ನು ಏನು ತಡೆಯುತ್ತದೆ ಎಂಬುದರ ಮೂಲಕ ವಿವರಿಸುತ್ತದೆ. ಆ ಓದು ನಮ್ಮದು, ಪ್ರತಿ ತುದಿಯ ಕೊಂಡಿಗಳಿಂದ. ಎರಡನೇ ಆಯಾಮ ಎರಡೂ GPT-OSS ಮಾದರಿಗಳನ್ನು ಒಂದು ತುದಿಯಲ್ಲಿಡುತ್ತದೆ, ಆದರೆ ಅದರ ಕೊಂಡಿಗಳು ನಾವು ಹೆಸರಿಸಬಲ್ಲ ಯಾವ ವಿಷಯವನ್ನೂ ಹಂಚಿಕೊಳ್ಳುವುದಿಲ್ಲ.

ವ್ಯತ್ಯಾಸವೂ ಇದನ್ನೇ ಹೇಳುತ್ತದೆ. ಹನ್ನೊಂದು ಬಲವಾದ ಮಾದರಿಗಳಲ್ಲಿ, ಕೊಂಡಿಯೇ ಅದರ 68% ವಿವರಿಸುತ್ತದೆ, ಎಲ್ಲ 21 ಮಾದರಿಗಳೊಂದಿಗೆ 52% ರ ಎದುರು, ಮತ್ತು ಮಾದರಿ-ನಿರ್ದಿಷ್ಟ ಓದುಗಳು 24% ರಿಂದ 8% ಗೆ ಇಳಿಯುತ್ತವೆ: ಬೇರೆ ಬೇರೆ ಓದುಗಳಂತೆ ಕಂಡದ್ದರ ಸುಮಾರು ಮೂರನೇ ಎರಡು ಭಾಗ ದುರ್ಬಲ ಮಾದರಿಗಳಿಂದ ಬಂದಿತ್ತು. ಉಳಿದದ್ದು ಚಿಕ್ಕದು, ಆದರೆ ಅದು ಮೇಲಿನ ಸ್ಥಿರ ವ್ಯತ್ಯಾಸ.

True Causes ಗೆ ಇದರ ಅರ್ಥ ಏನು

ಮಾದರಿಗಳ ಪ್ಯಾನೆಲ್ ತೀರ್ಪನ್ನು ನೀಡುತ್ತದೆ, ಕಿರಿದಾದ ಅಭಿಪ್ರಾಯ ವ್ಯಾಪ್ತಿಯೊಂದಿಗೆ. ಪಾತ್ರಗಳು ಯಾವ ದೃಷ್ಟಿಕೋನವನ್ನೂ ಸೇರಿಸುವುದಿಲ್ಲ. ಸಮರ್ಥ ಮಾದರಿಗಳು ಹೆಚ್ಚಿನ ಕೊಂಡಿಗಳಲ್ಲಿ ಒಪ್ಪುತ್ತವೆ, ಮತ್ತು ಉಳಿದವುಗಳಲ್ಲಿ ರಾಜಕೀಯ ಮತ್ತು ಪೂರೈಕೆಯ ವಿವರಣೆಗಳ ನಡುವಿನ ರೇಖೆಯುದ್ದಕ್ಕೂ ಸ್ಥಿರವಾಗಿ ಭಿನ್ನವಾಗುತ್ತವೆ. ಅದು ಒಂದು ವ್ಯಾಪ್ತಿ, ಆದರೆ ಕಿರಿದು, ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡಿದ ರೀತಿಯಿಂದ ನಿಗದಿಯಾದದ್ದು: ಬೇರೆ ಬೇರೆ ಅನುಭವದ ಜನರು ತರುವ ಅಭಿಪ್ರಾಯ ವ್ಯಾಪ್ತಿಯಲ್ಲ. ಚರ್ಚೆಗಳನ್ನು ಸಾರಾಂಶಗೊಳಿಸುವ ಮಾದರಿಗಳ ಮೇಲಿನ ಸಂಶೋಧನೆಯೂ ಇದೇ ದಿಕ್ಕು ತೋರಿಸುತ್ತದೆ: ಸಾರಾಂಶಗಳು ಅಲ್ಪಸಂಖ್ಯಾತರ ನಿಲುವುಗಳನ್ನು ಕಡಿಮೆ ಪ್ರತಿನಿಧಿಸುತ್ತವೆ, 18 ಮಾದರಿಗಳಾದ್ಯಂತ (Zhu et al., 2025), ಮತ್ತು ಒಮ್ಮತ ಕಂಡುಕೊಳ್ಳಲು ಬರೆದ ಹೇಳಿಕೆಗಳು ತಮ್ಮ ವಿಷಯಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಧಾಟಿಯಿಂದ ಒಪ್ಪಿಗೆ ಗಳಿಸಬಹುದು (Tsai et al., 2024). True Causes ನಲ್ಲಿ ಮಾದರಿ ರೂಮ್‌ನ ಪರವಾಗಿ ಮಾತನಾಡುವುದಿಲ್ಲ. ಅದು ಒಂದೊಂದು ಕೊಂಡಿಯನ್ನು ಬರೆಯುತ್ತದೆ ಅಥವಾ ತೀರ್ಮಾನಿಸುತ್ತದೆ, ಪ್ರತಿ ತೀರ್ಪನ್ನೂ ಎಣಿಸಲಾಗುತ್ತದೆ, ಮತ್ತು ಇಬ್ಭಾಗ ನಕ್ಷೆಯಲ್ಲಿ ಇಬ್ಭಾಗವಾಗಿಯೇ ಉಳಿಯುತ್ತದೆ.

ಪ್ಯಾನೆಲ್ ಆರಿಸುವುದು ಮೊದಲು ಗುಣಮಟ್ಟದ ಬಗ್ಗೆ, ನಂತರ ಸಮತೋಲನದ ಬಗ್ಗೆ. ಮಾದರಿಗಳ ನಡುವಿನ ಅತಿ ದೊಡ್ಡ ವ್ಯತ್ಯಾಸ ಅವು ಎಷ್ಟು ಚೆನ್ನಾಗಿ ತೀರ್ಮಾನಿಸುತ್ತವೆ ಎಂಬುದು, ಹಾಗಾಗಿ ಪ್ಯಾನೆಲ್‌ನಲ್ಲಿ ಸಮರ್ಥ ಮಾದರಿಗಳಿರಬೇಕು, ದುರ್ಬಲವಾದವನ್ನು ಹೊರಗಿಟ್ಟು. ಸಮರ್ಥ ಮಾದರಿಗಳಲ್ಲಿ, ಕುಟುಂಬಗಳು ಬೇರೆ ಬೇರೆ ಕಡೆ ವಾಲುತ್ತವೆ, ಹಾಗಾಗಿ ಪ್ಯಾನೆಲ್ ಹಲವು ಕುಟುಂಬಗಳಿಂದ ಆರಿಸಬೇಕು, ಮತ್ತು ಯಾವ ಒಂದು ಕುಟುಂಬವೂ ಉಳಿದವುಗಳಿಗಿಂತ ಹೆಚ್ಚಿರಬಾರದು.

ಮಾದರಿಗಳಿಗೆ ಸ್ಥಾನ ಕೊಡುವ ಮೊದಲು ಅವನ್ನು ಪರೀಕ್ಷಿಸಬೇಕು. ಎಲ್ಲದಕ್ಕೂ ಹೌದು, ಎಲ್ಲದಕ್ಕೂ ಇಲ್ಲ ಅಥವಾ ಎಲ್ಲದಕ್ಕೂ “ಹೇಳಲಾಗದು” ಎನ್ನುವ ಮಾದರಿ ತಾನು ತೀರ್ಮಾನಿಸುವ ಪ್ರತಿ ಜೋಡಿಗೂ ಗದ್ದಲ ಸೇರಿಸುತ್ತದೆ. ತಿಳಿದಿರುವ ಕೊಂಡಿಗಳ ಮೇಲಿನ ಚಿಕ್ಕ ಮಾಪನ ಪರೀಕ್ಷೆ ಅವನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತದೆ.

ತೀರ್ಮಾನಿಸಲು ಪಾತ್ರಗಳನ್ನು ಬಳಸಬಾರದು. ಅವು ದೂರವುಳಿಯುವಿಕೆಯನ್ನು ಮತ್ತು ಸ್ಥಾನಮಾನದ ಪೂರ್ವಗ್ರಹವನ್ನು ಸೇರಿಸುತ್ತವೆ, ಮತ್ತು ತೀರ್ಪಿನ ಯಾವ ವೈವಿಧ್ಯವನ್ನೂ ಅಲ್ಲ. ಬರೆಯುವುದು ಬೇರೆ ಪ್ರಶ್ನೆ. ಪಾತ್ರಗಳಿರುವ ಮಾದರಿಗಳ ರೂಮ್ ವೈವಿಧ್ಯಮಯ ಕಾರ್ಡ್‌ಗಳನ್ನು ಬರೆಯುತ್ತದೆ, ಆದರೆ ಬೇರೆ ಬೇರೆ ಮಾದರಿಗಳು ಬೇರೆ ಬೇರೆ ರೀತಿ ಬರೆಯುತ್ತವೆ, ಮತ್ತು ಒಂದೇ ಮಾದರಿ ಪ್ರತಿ ಬಾರಿ ಕೇಳಿದಾಗಲೂ ಬೇರೆ ರೀತಿ ಬರೆಯುತ್ತದೆ, ಹಾಗಾಗಿ ವೈವಿಧ್ಯಮಯ ಕಾರ್ಡ್‌ಗಳು ಮಾತ್ರ ಪಾತ್ರಗಳು ಏನನ್ನಾದರೂ ಮಾಡಿದವು ಎಂದು ತೋರಿಸುವುದಿಲ್ಲ. ಪರೀಕ್ಷೆ ಇಲ್ಲಿ ತೀರ್ಮಾನಿಸಲು ಬಳಸಿದ್ದೇ: ಅದೇ ಮಾದರಿಗಳು ಪಾತ್ರದೊಂದಿಗೆ ಮತ್ತು ಪಾತ್ರವಿಲ್ಲದೆ ಕಾರಣಗಳನ್ನು ಬರೆಯುತ್ತವೆ, ಮತ್ತು ಪ್ರತಿಯೊಂದೂ ರೂಪಿಸುವ ವಿಭಿನ್ನ ಕಾರಣಗಳನ್ನು ಎಣಿಸಲಾಗುತ್ತದೆ.

ಜನರ ರೂಮ್‌ಗಳು ಬೇರೆ. ವ್ಯಕ್ತಿ ತಾನು ಕಂಡದ್ದನ್ನು ತರುತ್ತಾರೆ, ಅದನ್ನು ಕಂಡಿರಬಹುದಾದ ಯಾರದೋ ವಿವರಣೆಯನ್ನಲ್ಲ. ಈ ಅಧ್ಯಯನ ಅದರ ವಿರುದ್ಧ ಏನನ್ನೂ ಹೇಳುವುದಿಲ್ಲ; ತಾನು ಬಾಡಿಗೆದಾರ ಎಂದು ಹೇಳಲಾದ ಮಾದರಿ ಬಾಡಿಗೆದಾರನಾಗಿ ಬದುಕಿಲ್ಲ ಎಂದು ಹೇಳುತ್ತದೆ. ಜನರು ಯಾವುದರ ಬಗ್ಗೆ ಒಪ್ಪುವುದಿಲ್ಲ ಎಂದು ಕಂಡುಕೊಳ್ಳುವುದೇ ಉದ್ದೇಶವಾಗಿದ್ದಲ್ಲಿ, ಜನರು ಮಾತ್ರ ಅದನ್ನು ಒದಗಿಸಬಲ್ಲರು. ಆ ರೂಮ್‌ಗಳಲ್ಲಿ ಮಾದರಿ ಉತ್ತರಿಸುವುದಕ್ಕಿಂತ ಕೇಳುವುದರಲ್ಲಿ ಹೆಚ್ಚು ಉಪಯುಕ್ತ: ಕಾರ್ಡ್ ಕುರಿತ ಒಂದು ಪ್ರಶ್ನೆ, ಒಂದು ಬಾರಿಗೆ ಒಂದು ಮತ್ತು ತನ್ನದೇ ಅಭಿಪ್ರಾಯವಿಲ್ಲದೆ (ಇದು ನಿಜವಾಗಿದ್ದರೆ ನಿಮಗೆ ಏನು ಕಾಣುತ್ತಿತ್ತು? ನಡುವೆ ಏನಾಗುತ್ತದೆ?), ಮಾದರಿಯ ಮಾತುಗಳನ್ನು ಬರೆದವರ ಬಾಯಲ್ಲಿಡದೆ, ಕಾರಣವನ್ನು ಸ್ಪಷ್ಟಗೊಳಿಸಲು ಅವರಿಗೆ ನೆರವಾಗುತ್ತದೆ.

ಮಿತಿಗಳು

ಒಂದು ಪ್ರಶ್ನೆ, ವಸತಿ; 120 ಕೊಂಡಿಗಳು; ಪ್ರತಿ ಮಾದರಿಗೆ ನಾಲ್ಕು ಅಥವಾ ಐದು ಪಾತ್ರಗಳು, ಪ್ರತಿಯೊಂದೂ ಒಮ್ಮೆ ಉತ್ತರಿಸಿದ್ದು. ಈ ವಿನ್ಯಾಸ ಕಾಣಬಲ್ಲದ್ದಕ್ಕಿಂತ ಚಿಕ್ಕ ಪರಿಣಾಮಗಳು ಕಾಣಿಸುವುದಿಲ್ಲ. ಪಾತ್ರಗಳನ್ನು ಪಾತ್ರ ವಿವರಣೆಗಳಾಗಿ ಬರೆಯಲಾಗಿತ್ತು; ಉತ್ತರಿಸುವ ಮೊದಲು ಪಾತ್ರದಲ್ಲಿ ತರ್ಕಿಸಲು ಮಾದರಿಯನ್ನು ಕೇಳುವಂತಹ ಬಲವಾದ ವಿಧಾನಗಳು ಅದನ್ನು ಇನ್ನಷ್ಟು ಸರಿಸಬಹುದು, ವ್ಯಂಗ್ಯಚಿತ್ರದ ಅಪಾಯದೊಂದಿಗೆ (Cheng et al., 2023). ಮಾಹಿತಿಪೂರ್ಣತೆ ಪ್ಯಾನೆಲ್‌ನೊಂದಿಗಿನ ಒಪ್ಪಿಗೆಯನ್ನು ಅಳೆಯುತ್ತದೆ, ಸತ್ಯವನ್ನಲ್ಲ, ಮತ್ತು ಚರ್ಚೆಯ ತೀರ್ಪುಗಾರರಾಗಿ ಬಳಸಿದ ಮಾದರಿಗಳು ನಿರೀಕ್ಷಿಸಿದಷ್ಟು ಚೆನ್ನಾಗಿ ಜನರೊಂದಿಗೆ ಒಪ್ಪುವುದಿಲ್ಲ (Zhu et al., 2025): ತನ್ನೊಂದಿಗೆ ತಾನೇ ಒಪ್ಪುವ ಪ್ಯಾನೆಲ್ ಕೂಡ ಒಂದೇ ದಿಕ್ಕಿನಲ್ಲಿ ತಪ್ಪಾಗಿರಬಹುದು. ಸಮರ್ಥ ಮಾದರಿಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸ ಎಲ್ಲ 870 ಕೊಂಡಿಗಳೊಂದಿಗೆ ಮಾತ್ರ ಕಾಣಿಸಿತು; 120 ರೊಂದಿಗೆ ಅದು ಅಗೋಚರವಾಗಿತ್ತು, ಹಾಗಾಗಿ ಇನ್ನೂ ಚಿಕ್ಕ ವ್ಯತ್ಯಾಸಗಳು ಕಾಣದೆ ಉಳಿಯಬಹುದು, ಮತ್ತು ವಸತಿಗಿಂತ ಹೆಚ್ಚು ವಿವಾದಿತ ಪ್ರಶ್ನೆ ಮಾದರಿಗಳನ್ನು ಇನ್ನಷ್ಟು ವಿಭಜಿಸಬಹುದು.

ಉಲ್ಲೇಖಗಳು

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.

ಒಂದು ಪ್ರಶ್ನೆಯನ್ನು ಕೈಗೆತ್ತಿಕೊಳ್ಳಿ → · ಇನ್ನಷ್ಟು ಟಿಪ್ಪಣಿಗಳು