: A Systematic Evaluation of Sociodemographic Persona Prompting for...)
文章主要内容总结本文系统评估了大型语言模型(LLMs)中社会人口统计学角色提示(sociodemographic persona prompting)的效果,重点探究不同提示策略对模型模拟15个交叉人口群体(如种族、性别交叉)的影响。研究使用5个开源LLM,分析了两种核心提示维度:角色采用格式:直接式(如“You are a…”)、第三人称式(如“Think of a…”)、采访式(如问答对话);人口统计学启动策略:基于姓名(如“Ms. Garcia”)、明确描述(如“a Hispanic woman”)、结构化描述(如“a person of gender female”)。通过开放式任务(自我描述、社交媒体简介)和封闭式任务(主观问答)评估发现:LLMs在模拟边缘化群体(非二元性别、西班牙裔、中东裔)时易产生刻板印象,表现较差;采访式格式和基于姓名的启动策略能显著减少刻板印象、提高语义多样性和与人类数据的一致性;较小模型(如OLMo-2-7B)在模拟效果上优于 larger模型(如Llama-3.3-70B)。创新点系统性框架:首次系统整合“角色采用格式”和“人口统计学启动策略”两个维度,量化分析不同提示组合的效果;交叉群体关注:聚焦15个种族与性别交叉的人口群体,特别关注边缘化群体的模拟缺陷;