华盛顿大学研究：通用AI模型在口语评分中对中国口音和尼日利亚口音存在偏低打分

这项由华盛顿大学保罗·G·艾伦计算机科学与工程学院的研究团队主导的实验，测试了多个主流通用语音/评估模型在五种口音上的表现。研究让受试者用美国、英国、中国、印度和尼日利亚五种口音朗读相同文本，然后用来自 Google、OpenAI、Alibaba 等厂商的模型对录音在面试、会议报告和英语能力测试场景下评分。结果显示，美国和英国口音通常得分最高，印度口音居中，中国与尼日利亚口音得分最低。 研究进一步分析发现，模型对口音的“惩罚”主要体现在 delivery（表达、可懂度、语流等）评分上，但在若干情况下即便文本内容相同，模型也会对中国和尼日利亚口音的内容评分下降。研究作者 Orevaoghene Ahia 指出，尽管模型多次称这些口音“含糊”或“难以理解”，模型本身在转录方面表现相当好，这表明问题并非单纯转录错误。 为探明成因，团队测量了各口音与美国英语在声学上的差异，发现中国和尼日利亚口音与美国基线差异最大，模型评分随这一声学距离下降而降低。作者提出可能原因包括训练语料中对带口音说话者的描述带有负面表述、语料集中度不足导致某些口音欠代表，或模型训练过程中强化了对“职业”语音的刻板期待。 研究并未直接测试市面上用于招聘或签证考试的闭源产品，论文提醒现有用于评分的具体商业系统通常不公开其内部机制，也缺乏公开审计。文中提到，至少一种用于签证和移民的主要英语考试 Pearson 的 PTE Academic 已对部分口语答题使用 AI 评分，该考试在论文引用的数据中在 2023 年应用次数约为 120 万次。该研究部分由 Google 和 OpenAI 资助，研究团队已在 10月25日于布达佩斯的自然语言处理实证方法会议上展示，并计划进一步研究更多国家和地区的口音、地区内部变体，以及模型在医疗场景等音频中的表现。 研究结论侧重于揭示通用模型在不同口音上的系统性差异，作者表示希望模型开发者能构建并公开更细分的评估，超出平均性能指标，以便识别和纠正对特定口音的偏差。