NOTIZEN · PANELS AUS MODELLEN
Sagen Sie einem Modell, wer es ist. Seine Urteile über Ursachen ändern sich kaum.
Oktober 2026
Räume aus Sprachmodellen bei True Causes geben jedem Modell eine Persona: eine Pflegekraft zur Miete, ein pensionierter Eigenheimbesitzer, ein kleiner Bauträger. Die Idee ist, dass verschiedene Menschen verschiedene Ursachen sehen und ein Panel aus Modellen, das sie spielt, ebenso. Ob ein Modell, dem man sagt, wer es ist, wie diese Person antwortet, ist eine bekannte Frage (Argyle et al., 2023); wir haben sie an Urteilen über Ursachen getestet.
Beim Urteilen tut es das nicht. Über 21 Modelle und 14 Personas hinweg änderte die Persona, die ein Modell bekam, nicht messbar, welche Ursachenverbindungen es annahm. Welches Modell es war, änderte sehr viel.
Die Studie
Wir nahmen 120 Verbindungen aus einem Raum mit öffentlichen Quellen zur Bezahlbarkeit von Wohnraum, so ausgewählt, dass Verbindungen, die der Raum bestätigt, verworfen oder nicht entschieden hatte, gleich stark vertreten waren. Jedes von 21 Modellen beantwortete jede Verbindung, einmal als es selbst und vier- oder fünfmal als eine andere Persona: zwölf Personas zum Thema Wohnen (Mieter und Eigentümer, ein Vermieter, eine Stadtplanerin, ein Bauträger, eine Organisatorin von Mieterinitiativen, ein Bauarbeiter und andere) und zwei Zwillinge, dieselbe Person bis auf eine Tatsache: Mieten statt Besitzen. Jede Persona wurde von sieben Modellen gespielt. Das ergibt 119 Plätze und 14.220 Antworten, jeder Platz beantwortete jede Verbindung, sodass keine Antwort von einer anderen abhing.
Was über die Antworten entschied
Die Verbindung selbst erklärt etwa die Hälfte der gesamten Streuung (52 %): Modelle sind sich weitgehend einig, welche Verbindungen plausibel sind. Die eigene Lesart des Modells bei bestimmten Verbindungen erklärt ein weiteres Viertel (24 %), welche Persona es auch spielt. Die allgemeine Neigung eines Modells, Ja zu sagen, kommt mit 3 % hinzu.
Die Persona trug nichts bei. Ihr Anteil an der Streuung, welche Verbindungen ein Ja bekamen, lag bei 0,000; ihr Anteil an einer allgemeinen Neigung zum Ja bei 0,002. Ein Test, der versucht, die Persona aus den Antworten eines Platzes zu erkennen, anhand von Modellen, bei denen er sie nicht gesehen hatte, schnitt nicht besser ab als der Zufall (6,1 % gegenüber 7,1 %). Und Plätze bewegten sich nicht in die Richtung, die die Merkmale ihrer Persona erwarten ließen: Die Korrelation war null. Wenn eine Persona eine Antwort doch änderte, je nach Modell bei 1 % bis 15 % der Verbindungen, änderte sie sie zufällig.
Das passt zu dem, was andere gefunden haben. Persona-Variablen erklären bei Annotationsaufgaben wenig von der Varianz (Hu & Collier, 2024), und die in einem Systemprompt genannte Rolle ändert die Antworten eines Modells nicht verlässlich (Zheng et al., 2024). Eine Ursachenfrage liest sich für ein Modell als Frage über die Welt, nicht über die Person, die fragt.
Was Personas doch änderten: wer antwortet
Mit Personas sagten Modelle öfter „kann ich nicht sagen“, in 26 % der Fälle gegenüber 19 % als sie selbst, und nicht gleichmäßig. Junge, einkommensschwache, mietende, links stehende und nicht US-amerikanische Personas enthielten sich häufiger, um bis zu 14 Punkte; ältere, rechts stehende, vermietende, einkommensstarke und besitzende Personas seltener, um bis zu 13 Punkte. Die Modelle spielten Personas mit niedrigerem Status als weniger sicher in dem, was sie wissen. Es ist bekannt, dass Persona-Prompts solche Stereotype ins Denken tragen (Gupta et al., 2024). Manche Modelle verweigerten mit Persona weit häufiger: Gemini 3.5 Flash sagte als Persona bei 59 % der Verbindungen „kann ich nicht sagen“ und als es selbst bei keiner.
Welche Modelle gut urteilen
Die Diagramme ordnen jedes Modell danach ein, wie oft es Ja sagt (waagerecht) und wie aussagekräftig seine Antworten sind (senkrecht). Die Informiertheit wird geschätzt, ohne die richtigen Antworten zu kennen, daraus, wie die Modelle miteinander übereinstimmen (Dawid & Skene, 1979): 1 ist ein vollkommen beständiger Urteiler, 0 eine Antwort ohne jedes Signal. Sie misst Übereinstimmung mit dem, was das Panel als Ganzes findet, nicht Richtigkeit, sodass ein starkes Modell, das schwächeren widerspricht, schlechter abschneiden kann, als es verdient.
Die meisten Modelle unterscheiden: Sie sagen zu einem Viertel bis zwei Dritteln der Verbindungen Ja, und ihre Antworten tragen ein Signal. Claude Sonnet 5.5 und DeepSeek V4 Flash stimmen am stärksten mit dem Panel überein. Kleinere Modelle wie Gemma 3 4B und Command R7B tragen weniger. Schematron, ein Modell, das für das Extrahieren von Daten gebaut ist und nicht für das Beurteilen von Aussagen, sagte zu fast allem „kann ich nicht sagen“, und was es beantwortete, trägt so gut wie kein Signal.
Haben Modelle eigene Ansichten?
Wenn Personas die Antworten nicht prägen, vertreten vielleicht die Modelle selbst verschiedene Theorien des Problems, eines gibt der Regulierung die Schuld, ein anderes der Spekulation. Ein Viertel der Streuung bestand darin, dass Modelle dieselbe Verbindung unterschiedlich lasen, also suchten wir nach den Richtungen dieses Unterschieds: mit einem Modell, das jedes Modell und jede Verbindung auf einigen Dimensionen anordnet, anhand der Antworten der Modelle als sie selbst. Eine Dimension zählt nur, wenn sie stabil ist, das heißt, wenn sie, getrennt an zwei Hälften der Verbindungen angepasst, die Modelle an weitgehend dieselben Stellen setzt.
Eine Dimension war stabil, und sie war keine Theorie. An einem Ende lagen Verbindungen, die kaum Sinn ergeben, etwa „Luxuswohnungen, von ausländischen Investoren gekauft“, die zu „Amerika nimmt jährlich 600.000 bis 1,2 Millionen Einwanderer auf“ führen, was die schwächeren Modelle annahmen. Am anderen Ende stand ein schlüssiger Mechanismus, Stimmen der Anwohner und Interessen der Etablierten, die das Angebot begrenzt halten, den alle stärkeren Modelle annahmen. Die Dimension ist, wie gut ein Modell urteilt: Die starken Modelle liegen nah beieinander, und jedes schwache Modell weicht auf seine eigene Weise von ihnen ab.
Unter den elf stärkeren Modellen, angepasst an die 120 Verbindungen der Studie, war nichts stabil. Das waren zu wenige Verbindungen. Angepasst an alle 870 Verbindungen des Raums, beantwortet von denselben elf Modellen als sie selbst, zeigte sich ein Unterschied, und er ist stabil: Getrennt an zwei Hälften der Verbindungen angepasst, landen die Modelle an fast denselben Stellen (0,89).
An einem Ende nehmen Modelle Verbindungen von Interessen der Menschen zu politischen Entscheidungen an: Das Interesse von Eigenheimbesitzern an steigenden Preisen führt zu angebotsfeindlichen Änderungen einer Regierung, die Stimmen von Anwohnern führen zu Proposition 13. Dort liegen Gemini 3.5 Flash, Claude Sonnet 5.5, Nex und DeepSeek. Am anderen Ende nehmen Modelle Verbindungen von Hindernissen in den Angebotsmechanismus an: Regulierung, Interessen der Etablierten, Gemeinderäte, die günstige Wohnungen ablehnen, und Eigentumsrechte, die jeweils zu „mehr Wohneinheiten senken die Preise“ führen. Dort liegen Mistral Small, Ministral 8B, Laguna und Qwen. Grob gesagt erklärt die eine Seite das Wohnen darüber, wer politisch gewinnt, die andere darüber, was das Angebot blockiert. Diese Lesart ist unsere, abgeleitet aus den Verbindungen an jedem Ende. Die zweite Dimension setzt beide GPT-OSS-Modelle an ein Ende, aber ihre Verbindungen haben kein gemeinsames Thema, das wir benennen könnten.
Die Streuung bestätigt das. Unter den elf stärkeren Modellen erklärt die Verbindung selbst 68 % davon, gegenüber 52 % bei allen 21 Modellen, und modellspezifische Lesarten fallen von 24 % auf 8 %: Etwa zwei Drittel dessen, was nach unterschiedlichen Lesarten aussah, kamen von den schwächeren Modellen. Der Rest ist kleiner, aber er ist der oben beschriebene beständige Unterschied.
Was das für True Causes bedeutet
Ein Panel aus Modellen bietet Urteilskraft, mit einer schmalen Bandbreite an Sichtweisen. Personas fügen keine Perspektiven hinzu. Fähige Modelle stimmen bei den meisten Verbindungen überein und unterscheiden sich beim Rest beständig, entlang einer Linie zwischen politischen und angebotsseitigen Erklärungen. Das ist eine Bandbreite, aber eine schmale, festgelegt dadurch, wie die Modelle trainiert wurden: nicht die Bandbreite an Sichtweisen, die Menschen mit unterschiedlicher Erfahrung mitbringen würden. Forschung zu Modellen, die Beratungen zusammenfassen, weist in dieselbe Richtung: Die Zusammenfassungen bilden Minderheitspositionen zu schwach ab, über 18 Modelle hinweg (Zhu et al., 2025), und Erklärungen, die auf Konsens zielen, können Zustimmung eher durch ihren Ton als durch ihren Inhalt gewinnen (Tsai et al., 2024). Bei True Causes spricht ein Modell nicht für einen Raum. Es schreibt oder beurteilt einzelne Verbindungen, jedes Urteil wird gezählt, und eine Uneinigkeit bleibt als Uneinigkeit auf der Landkarte.
Bei der Wahl eines Panels geht es zuerst um Qualität, dann um Ausgewogenheit. Der größte Unterschied zwischen Modellen ist, wie gut sie urteilen, also sollte ein Panel aus fähigen Modellen bestehen und schwache außen vor lassen. Unter fähigen Modellen neigen die Modellfamilien in verschiedene Richtungen, also sollte ein Panel aus mehreren schöpfen, und keine Familie sollte den Rest zahlenmäßig übertreffen.
Modelle sollten geprüft werden, bevor sie einen Platz bekommen. Ein Modell, das zu allem Ja, zu allem Nein oder zu allem „kann ich nicht sagen“ sagt, fügt jedem Paar, das es beurteilt, Rauschen hinzu. Eine kurze Kalibrierung an bekannten Verbindungen findet solche Modelle.
Personas sollten nicht zum Urteilen eingesetzt werden. Sie bringen Enthaltungen und ein Statusstereotyp mit und keine Vielfalt im Urteil. Das Schreiben ist eine andere Frage. Ein Raum aus Modellen mit Personas schreibt vielfältige Karten, aber verschiedene Modelle schreiben verschieden, und ein Modell schreibt bei jeder Anfrage anders, sodass vielfältige Karten allein nicht zeigen, dass die Personas etwas bewirkt haben. Der Test ist derselbe wie hier beim Urteilen: Dieselben Modelle schreiben Ursachen mit und ohne Persona, und die verschiedenen Ursachen, die jede Variante hervorbringt, werden gezählt.
Räume aus Menschen sind anders. Ein Mensch bringt mit, was er gesehen hat, nicht die Beschreibung von jemandem, der es gesehen haben könnte. Diese Studie sagt nichts dagegen; sie sagt, dass ein Modell, dem man sagt, es sei Mieter, nicht als Mieter gelebt hat. Wo es darum geht herauszufinden, worüber Menschen uneins sind, können nur Menschen das liefern. In diesen Räumen ist ein Modell nützlicher, wenn es fragt, als wenn es antwortet: Eine Frage zu einer Karte, eine nach der anderen und ohne eigene Sichtweise (Was würden Sie sehen, wenn das wahr wäre? Was passiert dazwischen?), hilft ihrem Verfasser, die Ursache klar zu machen, ohne ihm die Worte des Modells in den Mund zu legen.
Grenzen
Eine Frage, Wohnen; 120 Verbindungen; vier oder fünf Personas pro Modell, jede antwortete einmal. Effekte, die kleiner sind, als dieses Design erkennen kann, würden sich nicht zeigen. Personas wurden als Rollenbeschreibungen geschrieben; stärkere Wege, sie hervorzurufen, etwa ein Modell vor der Antwort in der Rolle denken zu lassen, könnten es weiter verschieben, zusammen mit dem Risiko der Karikatur (Cheng et al., 2023). Informiertheit misst Übereinstimmung mit dem Panel, nicht Wahrheit, und Modelle, die als Urteiler über Beratungen eingesetzt werden, stimmen weniger gut mit Menschen überein, als man hoffen würde (Zhu et al., 2025): Ein Panel, das mit sich selbst übereinstimmt, kann trotzdem in dieselbe Richtung falschliegen. Der Unterschied zwischen fähigen Modellen zeigte sich erst mit allen 870 Verbindungen; mit 120 war er unsichtbar, also könnten kleinere Unterschiede noch unentdeckt bleiben, und eine umstrittenere Frage als das Wohnen könnte Modelle stärker spalten.
Literatur
Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351.
Cheng, M., Piccardi, T., & Yang, D. (2023). CoMPosT: Characterizing and evaluating caricature in LLM simulations. Proceedings of EMNLP 2023.
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Journal of the Royal Statistical Society, Series C, 28(1), 20–28.
Gupta, S., Shrivastava, V., Deshpande, A., Kalyan, A., Clark, P., Sabharwal, A., & Khot, T. (2024). Bias runs deep: Implicit reasoning biases in persona-assigned LLMs. Proceedings of ICLR 2024.
Hu, T., & Collier, N. (2024). Quantifying the persona effect in LLM simulations. Proceedings of ACL 2024.
Tsai, L. L., Pentland, A., Braley, A., Chen, N., Enríquez, J. R., & Reuel, A. (2024). Generative AI for pro-democracy platforms. An MIT Exploration of Generative AI, MIT.
Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D. (2024). When “a helpful assistant” is not really helpful: Personas in system prompts do not improve performances of large language models. In Findings of the Association for Computational Linguistics: EMNLP 2024.
Zhu, S., Yang, S., Bakker, M. A., Pentland, A., & Pei, J. (2025). Can AI truly represent your voice in deliberations? A comprehensive study of large-scale opinion aggregation with LLMs. arXiv:2510.05154.