: A Systematic Evaluation of Sociodemographic Persona Prompting for...)
文章主要内容总结
本文系统评估了大型语言模型（LLMs）中社会人口统计学角色提示（sociodemographic persona prompting）的效果，重点探究不同提示策略对模型模拟15个交叉人口群体（如种族、性别交叉）的影响。研究使用5个开源LLM，分析了两种核心提示维度：
- 角色采用格式：直接式（如“You are a…”）、第三人称式（如“Think of a…”）、采访式（如问答对话）；
- 人口统计学启动策略：基于姓名（如“Ms. Garcia”）、明确描述（如“a Hispanic woman”）、结构化描述（如“a person of gender female”）。
通过开放式任务（自我描述、社交媒体简介）和封闭式任务（主观问答）评估发现：
- LLMs在模拟边缘化群体（非二元性别、西班牙裔、中东裔）时易产生刻板印象，表现较差；
- 采访式格式和基于姓名的启动策略能显著减少刻板印象、提高语义多样性和与人类数据的一致性；
- 较小模型（如OLMo-2-7B）在模拟效果上优于 larger模型（如Llama-3.3-70B）。
创新点
- 系统性框架：首次系统整合“角色采用格式”和“人口统计学启动策略”两个维度，量化分析不同提示组合的效果；
- 交叉群体关注：聚焦15个种族与性别交叉的人口群体，特别关注边缘化群体的模拟缺陷；
