“As Eastern Powers, I will veto.“ : An Investigation of Nation-level Bias of Large Language Model...

发布时间:2026/8/5 12:59:48
“As Eastern Powers, I will veto.“ : An Investigation of Nation-level Bias of Large Language Model...
文章总结与翻译一、主要内容本文聚焦国际关系(IR)领域,系统探究大型语言模型(LLMs)的国家层面偏见,核心内容如下:研究背景与缺口:LLMs在国际关系领域的应用潜力日益凸显,但现有研究多关注人口统计学偏见,对国家层面偏见的探索极为有限,且缺乏基于真实世界数据的系统评估。数据集构建:基于联合国安理会(UNSC)2013-2024年的决议文本、投票记录和会议记录,构建了包含515项通过决议、66项未通过决议及相关会议 transcript 的真实世界数据集,并提炼了7个主题类别的41个领域关键词。偏见评估框架:设计三类显式与隐式偏见测试,聚焦安理会五常(美、英、法、俄、中):显式偏见测试:直接问答测试(评估“不负责任”程度)、关联测试(关键词与国家的关联度排序);隐式偏见测试:角色扮演投票模拟(模拟国家代表投票,与真实记录对比)。核心发现:整体趋势:所有模型对美、英、法呈正向偏见,对俄呈负向偏见,对华偏见因模型而异;多维特性:偏见受模型类型和评估场景影响,同一模型在不同测试中对同一国家的偏见方向/强度可能变化(如模型在直接问答中对美呈负向偏见,在投票模拟中呈正向偏见);推理能力关联:推理能力更强的模型(如DeepSeek R1)偏见更少、预测性能更优。/