ΣΗΜΕΙΩΣΕΙΣ · ΠΑΝΕΛ ΜΟΝΤΕΛΩΝ
Πείτε σε ένα μοντέλο ποιος είναι. Οι αιτιακές κρίσεις του μόλις που αλλάζουν.
October 2026
Οι αίθουσες γλωσσικών μοντέλων στο True Causes δίνουν σε κάθε μοντέλο μια περσόνα: μια νοσηλεύτρια που νοικιάζει, έναν συνταξιούχο ιδιοκτήτη σπιτιού, έναν μικρό κατασκευαστή. Η ιδέα είναι ότι διαφορετικοί άνθρωποι βλέπουν διαφορετικές αιτίες, και το ίδιο θα έκανε ένα πάνελ μοντέλων που τους υποδύονται. Το αν ένα μοντέλο στο οποίο λέμε ποιος είναι απαντά όπως εκείνο το πρόσωπο είναι γνωστό ερώτημα (Argyle et al., 2023)· εμείς το δοκιμάσαμε σε αιτιακές κρίσεις.
Δεν απαντά έτσι, όσον αφορά την κρίση. Σε 21 μοντέλα και 14 περσόνες, η περσόνα που δόθηκε σε ένα μοντέλο δεν άλλαξε σε κανέναν βαθμό που μπορούσαμε να μετρήσουμε ποιες αιτιακές συνδέσεις δέχτηκε. Το ποιο μοντέλο ήταν άλλαζε πάρα πολλά.
Η μελέτη
Πήραμε 120 συνδέσεις από μια αίθουσα δημόσιου αρχείου για την προσιτότητα της στέγασης, επιλεγμένες ώστε να αντιπροσωπεύονται εξίσου οι συνδέσεις που η αίθουσα πιστοποίησε, απέρριψε και δεν μπόρεσε να κρίνει. Καθένα από 21 μοντέλα απάντησε σε κάθε σύνδεση, μία φορά ως ο εαυτός του και τέσσερις ή πέντε φορές ως διαφορετική περσόνα: δώδεκα περσόνες σχετικές με τη στέγαση (ενοικιαστές και ιδιοκτήτες, ένας εκμισθωτής, ένας πολεοδόμος, ένας κατασκευαστής, μια οργανώτρια ενοικιαστών, ένας εργάτης οικοδομής και άλλοι), και δύο δίδυμες, το ίδιο πρόσωπο εκτός από ένα γεγονός: νοικιάζει αντί να έχει δικό του σπίτι. Κάθε περσόνα την υποδύθηκαν επτά μοντέλα. Αυτό δίνει 119 θέσεις και 14,220 απαντήσεις, με κάθε θέση να απαντά σε κάθε σύνδεση, ώστε καμία απάντηση να μην εξαρτάται από άλλη.
Τι καθόρισε τις απαντήσεις
Η ίδια η σύνδεση εξηγεί περίπου το μισό της συνολικής διακύμανσης (52%): τα μοντέλα συμφωνούν σε μεγάλο βαθμό για το ποιες συνδέσεις είναι εύλογες. Η ανάγνωση του ίδιου του μοντέλου για συγκεκριμένες συνδέσεις εξηγεί άλλο ένα τέταρτο (24%), όποια περσόνα κι αν υποδύεται. Η γενική τάση ενός μοντέλου να λέει ναι προσθέτει 3%.
Η περσόνα δεν πρόσθεσε τίποτα. Το μερίδιό της στη διακύμανση του ποιες συνδέσεις πήραν ναι ήταν 0.000· το μερίδιό της σε μια γενική κλίση προς το ναι, 0.002. Ένα τεστ που προσπαθεί να αναγνωρίσει την περσόνα από τις απαντήσεις μιας θέσης, με μοντέλα στα οποία δεν την είχε δει, δεν τα πήγε καλύτερα από την τύχη (6.1% έναντι 7.1%). Και οι θέσεις δεν κινήθηκαν προς την κατεύθυνση που θα προέβλεπαν τα χαρακτηριστικά της περσόνας τους: η συσχέτιση ήταν μηδενική. Όταν μια περσόνα άλλαξε πράγματι μια απάντηση, σε 1% έως 15% των συνδέσεων ανάλογα με το μοντέλο, την άλλαξε τυχαία.
Αυτό συμφωνεί με όσα έχουν βρει άλλοι. Οι μεταβλητές περσόνας εξηγούν μικρό μέρος της διακύμανσης σε εργασίες επισημείωσης (Hu & Collier, 2024), και ο ρόλος που ονομάζεται σε ένα system prompt δεν αλλάζει με συνέπεια τις απαντήσεις ενός μοντέλου (Zheng et al., 2024). Ένα αιτιακό ερώτημα διαβάζεται από ένα μοντέλο ως ερώτημα για τον κόσμο, όχι για το πρόσωπο που ρωτά.
Τι άλλαξαν οι περσόνες: ποιος απαντά
Οι περσόνες έκαναν τα μοντέλα να λένε «δεν μπορώ να πω» συχνότερα, στο 26% των περιπτώσεων έναντι 19% ως ο εαυτός τους, και όχι ομοιόμορφα. Οι νέες, χαμηλού εισοδήματος, ενοικιαστικές, αριστερής κλίσης και μη αμερικανικές περσόνες απείχαν περισσότερο, έως και κατά 14 μονάδες· οι μεγαλύτερες σε ηλικία, δεξιάς κλίσης, εκμισθωτικές, υψηλού εισοδήματος και ιδιοκτητικές περσόνες απείχαν λιγότερο, έως και κατά 13 μονάδες. Τα μοντέλα υποδύθηκαν τις περσόνες χαμηλότερου κύρους ως λιγότερο σίγουρες για όσα ξέρουν. Είναι γνωστό ότι τα prompts περσόνας μεταφέρουν τέτοια στερεότυπα στη συλλογιστική (Gupta et al., 2024). Ορισμένα μοντέλα αρνήθηκαν πολύ συχνότερα με περσόνα: το Gemini 3.5 Flash είπε «δεν μπορώ να πω» στο 59% των συνδέσεων ως περσόνα και σε καμία ως ο εαυτός του.
Ποια μοντέλα κρίνουν καλά
Τα διαγράμματα τοποθετούν κάθε μοντέλο με βάση το πόσο συχνά λέει ναι (οριζόντια) και πόσο πληροφοριακές είναι οι απαντήσεις του (κάθετα). Ο πληροφοριακός δείκτης (informedness) εκτιμάται χωρίς γνώση των σωστών απαντήσεων, από το πώς συμφωνούν τα μοντέλα μεταξύ τους (Dawid & Skene, 1979): 1 είναι ένας απόλυτα συνεπής κριτής, 0 μια απάντηση που δεν φέρει κανένα σήμα. Μετρά τη συμφωνία με όσα βρίσκει το πάνελ ως σύνολο, όχι την ορθότητα, οπότε ένα ισχυρό μοντέλο που διαφωνεί με πιο αδύναμα μπορεί να βαθμολογηθεί χαμηλότερα απ’ όσο αξίζει.
Τα περισσότερα μοντέλα κάνουν διακρίσεις: λένε ναι σε ένα τέταρτο έως δύο τρίτα των συνδέσεων, και οι απαντήσεις τους φέρουν σήμα. Τα Claude Sonnet 5.5 και DeepSeek V4 Flash συμφωνούν περισσότερο με το πάνελ. Μικρότερα μοντέλα όπως τα Gemma 3 4B και Command R7B φέρουν λιγότερο. Το Schematron, ένα μοντέλο φτιαγμένο για εξαγωγή δεδομένων και όχι για κρίση ισχυρισμών, είπε «δεν μπορώ να πω» σχεδόν σε όλα, και όσα απάντησε δεν φέρουν σχεδόν κανένα σήμα.
Έχουν τα μοντέλα δικές τους απόψεις;
Αν οι περσόνες δεν διαμορφώνουν τις απαντήσεις, ίσως τα ίδια τα μοντέλα έχουν διαφορετικές θεωρίες για το πρόβλημα, το ένα να κατηγορεί τη ρύθμιση, το άλλο την κερδοσκοπία. Το ένα τέταρτο της διακύμανσης ήταν μοντέλα που διάβαζαν την ίδια σύνδεση διαφορετικά, οπότε αναζητήσαμε τις κατευθύνσεις αυτής της διαφοράς: ένα μοντέλο που τοποθετεί κάθε μοντέλο και κάθε σύνδεση σε λίγες διαστάσεις, με βάση τις απαντήσεις των μοντέλων ως ο εαυτός τους. Μια διάσταση μετράει μόνο αν είναι σταθερή, δηλαδή αν η προσαρμογή της χωριστά σε δύο μισά των συνδέσεων τοποθετεί τα μοντέλα σε σχεδόν τις ίδιες θέσεις.
Μία διάσταση ήταν σταθερή, και δεν ήταν θεωρία. Στο ένα άκρο βρίσκονταν συνδέσεις που μόλις που έχουν νόημα, όπως «πολυτελή διαμερίσματα που αγοράζουν ξένοι επενδυτές» που οδηγούν στο «η Αμερική προσθέτει 600,000 έως 1.2 εκατομμύρια μετανάστες τον χρόνο», τις οποίες δέχτηκαν τα πιο αδύναμα μοντέλα. Στο άλλο άκρο βρισκόταν ένας συνεκτικός μηχανισμός, οι ψήφοι των κατοίκων και τα συμφέροντα των ήδη εγκατεστημένων που κρατούν την προσφορά περιορισμένη, τον οποίο δέχτηκαν όλα τα ισχυρότερα μοντέλα. Η διάσταση είναι το πόσο καλά κρίνει ένα μοντέλο: τα ισχυρά μοντέλα βρίσκονται κοντά μεταξύ τους, και κάθε αδύναμο μοντέλο αποκλίνει από αυτά με τον δικό του τρόπο.
Ανάμεσα στα έντεκα ισχυρότερα μοντέλα, με προσαρμογή στις 120 συνδέσεις της μελέτης, τίποτα δεν ήταν σταθερό. Οι συνδέσεις ήταν πολύ λίγες. Με προσαρμογή σε όλες τις 870 συνδέσεις της αίθουσας, απαντημένες από τα ίδια έντεκα μοντέλα ως ο εαυτός τους, εμφανίστηκε μια διαφορά, και είναι σταθερή: με προσαρμογή χωριστά σε δύο μισά των συνδέσεων, τα μοντέλα καταλήγουν σε σχεδόν τις ίδιες θέσεις (0.89).
Στο ένα άκρο, τα μοντέλα δέχονται συνδέσεις από τα συμφέροντα των ανθρώπων προς πολιτικές αποφάσεις: το συμφέρον των ιδιοκτητών από την άνοδο των τιμών που οδηγεί σε αλλαγές μιας κυβέρνησης κατά της προσφοράς, οι ψήφοι των κατοίκων που οδηγούν στην Proposition 13. Εκεί βρίσκονται τα Gemini 3.5 Flash, Claude Sonnet 5.5, Nex και DeepSeek. Στο άλλο άκρο, τα μοντέλα δέχονται συνδέσεις από εμπόδια προς τον μηχανισμό της προσφοράς: η ρύθμιση, τα συμφέροντα των ήδη εγκατεστημένων, δημοτικά συμβούλια που αρνούνται φθηνά διαμερίσματα και τα δικαιώματα ιδιοκτησίας, το καθένα να οδηγεί στο «περισσότερες κατοικίες μειώνουν τις τιμές». Εκεί βρίσκονται τα Mistral Small, Ministral 8B, Laguna και Qwen. Χονδρικά, η μία πλευρά εξηγεί τη στέγαση μέσα από το ποιος κερδίζει πολιτικά, η άλλη μέσα από το τι εμποδίζει την προσφορά. Αυτή η ανάγνωση είναι δική μας, από τις συνδέσεις σε κάθε άκρο. Η δεύτερη διάσταση τοποθετεί και τα δύο μοντέλα GPT-OSS στο ένα άκρο, αλλά οι συνδέσεις της δεν έχουν κοινό θέμα που να μπορούμε να ονομάσουμε.
Η διακύμανση συμφωνεί. Ανάμεσα στα έντεκα ισχυρότερα μοντέλα, η ίδια η σύνδεση εξηγεί το 68% της, έναντι 52% με όλα τα 21 μοντέλα, και οι αναγνώσεις που είναι ειδικές για κάθε μοντέλο πέφτουν από 24% σε 8%: περίπου τα δύο τρίτα όσων έμοιαζαν με διαφορετικές αναγνώσεις προέρχονταν από τα πιο αδύναμα μοντέλα. Το υπόλοιπο είναι μικρότερο, αλλά είναι η συνεπής διαφορά που περιγράφεται παραπάνω.
Τι σημαίνει αυτό για το True Causes
Ένα πάνελ μοντέλων προσφέρει κρίση, με στενό εύρος απόψεων. Οι περσόνες δεν προσθέτουν οπτικές. Τα ικανά μοντέλα συμφωνούν στις περισσότερες συνδέσεις, και διαφέρουν με συνέπεια στις υπόλοιπες, κατά μήκος μιας γραμμής ανάμεσα σε πολιτικές εξηγήσεις και εξηγήσεις προσφοράς. Αυτό είναι ένα εύρος, αλλά στενό, που καθορίζεται από τον τρόπο που εκπαιδεύτηκαν τα μοντέλα: όχι το εύρος απόψεων που θα έφερναν άνθρωποι με διαφορετική εμπειρία. Η έρευνα για μοντέλα που συνοψίζουν διαβουλεύσεις δείχνει προς την ίδια κατεύθυνση: οι συνόψεις υποεκπροσωπούν τις θέσεις μειοψηφίας, σε 18 μοντέλα (Zhu et al., 2025), και δηλώσεις γραμμένες για να βρουν συναίνεση μπορούν να κερδίσουν συμφωνία μέσω του τόνου τους περισσότερο παρά μέσω του περιεχομένου τους (Tsai et al., 2024). Στο True Causes ένα μοντέλο δεν μιλά για λογαριασμό μιας αίθουσας. Γράφει ή κρίνει μεμονωμένες συνδέσεις, κάθε κρίση μετριέται, και ένας διχασμός μένει στον χάρτη ως διχασμός.
Η επιλογή πάνελ αφορά πρώτα την ποιότητα, μετά την ισορροπία. Η μεγαλύτερη διαφορά ανάμεσα στα μοντέλα είναι το πόσο καλά κρίνουν, οπότε ένα πάνελ πρέπει να αποτελείται από ικανά μοντέλα, με τα αδύναμα εκτός. Ανάμεσα στα ικανά μοντέλα, οι οικογένειες κλίνουν προς διαφορετικές κατευθύνσεις, οπότε ένα πάνελ πρέπει να αντλεί από πολλές, και καμία οικογένεια δεν πρέπει να υπερτερεί αριθμητικά των υπολοίπων.
Τα μοντέλα πρέπει να ελέγχονται πριν πάρουν θέση. Ένα μοντέλο που λέει ναι σε όλα, όχι σε όλα ή «δεν μπορώ να πω» σε όλα προσθέτει θόρυβο σε κάθε ζεύγος που κρίνει. Μια σύντομη βαθμονόμηση σε γνωστές συνδέσεις τα εντοπίζει.
Οι περσόνες δεν πρέπει να χρησιμοποιούνται για την κρίση. Προσθέτουν αποχές και ένα στερεότυπο κύρους, και καμία ποικιλία κρίσης. Η συγγραφή είναι ξεχωριστό ζήτημα. Μια αίθουσα μοντέλων με περσόνες γράφει ποικίλες κάρτες, αλλά διαφορετικά μοντέλα γράφουν διαφορετικά, και ένα μοντέλο γράφει διαφορετικά κάθε φορά που του ζητείται, οπότε οι ποικίλες κάρτες από μόνες τους δεν δείχνουν ότι οι περσόνες έκαναν οτιδήποτε. Το τεστ είναι αυτό που χρησιμοποιήθηκε εδώ για την κρίση: τα ίδια μοντέλα γράφουν αιτίες με και χωρίς περσόνα, και μετρώνται οι διακριτές αιτίες που παράγει το καθένα.
Οι αίθουσες ανθρώπων είναι διαφορετικές. Ένας άνθρωπος φέρνει όσα έχει δει, όχι την περιγραφή κάποιου που μπορεί να τα έχει δει. Αυτή η μελέτη δεν λέει τίποτα εναντίον αυτού· λέει ότι ένα μοντέλο στο οποίο λέμε ότι είναι ενοικιαστής δεν έχει ζήσει ως ενοικιαστής. Όπου ο σκοπός είναι να βρεθεί σε τι διαφωνούν οι άνθρωποι, μόνο άνθρωποι μπορούν να το προσφέρουν. Σε αυτές τις αίθουσες ένα μοντέλο είναι πιο χρήσιμο όταν ρωτά παρά όταν απαντά: ένα ερώτημα για μια κάρτα, ένα τη φορά και χωρίς δική του άποψη (τι θα βλέπατε αν αυτό ίσχυε; τι συμβαίνει στο ενδιάμεσο;), βοηθά τον συντάκτη της να κάνει την αιτία σαφή χωρίς να του βάζει στο στόμα τα λόγια του μοντέλου.
Περιορισμοί
Ένα ερώτημα, η στέγαση· 120 συνδέσεις· τέσσερις ή πέντε περσόνες ανά μοντέλο, καθεμία απαντώντας μία φορά. Επιδράσεις μικρότερες από όσες μπορεί να δει αυτός ο σχεδιασμός δεν θα φαίνονταν. Οι περσόνες γράφτηκαν ως περιγραφές ρόλων· ισχυρότεροι τρόποι επαγωγής τους, όπως να ζητηθεί από ένα μοντέλο να συλλογιστεί μέσα στον ρόλο πριν απαντήσει, μπορεί να το μετακινήσουν περισσότερο, μαζί με τον κίνδυνο της καρικατούρας (Cheng et al., 2023). Ο πληροφοριακός δείκτης μετρά τη συμφωνία με το πάνελ, όχι την αλήθεια, και τα μοντέλα που χρησιμοποιούνται ως κριτές διαβούλευσης συμφωνούν με τους ανθρώπους λιγότερο καλά απ’ όσο θα ήλπιζε κανείς (Zhu et al., 2025): ένα πάνελ που συμφωνεί με τον εαυτό του μπορεί και πάλι να σφάλλει προς την ίδια κατεύθυνση. Η διαφορά ανάμεσα στα ικανά μοντέλα εμφανίστηκε μόνο με όλες τις 870 συνδέσεις· με 120 ήταν αόρατη, οπότε μικρότερες διαφορές μπορεί ακόμη να περνούν απαρατήρητες, και ένα πιο αμφιλεγόμενο ερώτημα από τη στέγαση μπορεί να διχάσει τα μοντέλα περισσότερο.
Βιβλιογραφία
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.