基于微调大语言模型识别英国警方事件日志中的脆弱性指标

本文基于发表于 Crime Science 的研究，评估了能在本地安全环境运行的微调小型大语言模型（LLM）能否从非结构化警务叙述中识别四类脆弱性指标：精神健康问题、药物滥用、酒精依赖和无家可归。研究数据为英国某非都市警察部队单一基本指挥单元（BCU）三个月的 STORM 事件日志，共2,977份，经分割产生3,850个文本片段。为适应本地计算限制，研究使用知识蒸馏以 GPT-4o-mini 生成训练示例，并对 Llama 3 的不同规模模型训练 LoRA 适配器，最终选定 8B 模型并进行量化和重复采样，总计产生约77,000次分类事件。 方法上采用两步分类：模型先提取最多两条可能指示脆弱性的引文，若无证据则输出“EVIDENCE: NONE”，再对有证据的片段按强/中/弱三级评估。由于弱与中难以稳定区分，研究将标签简化为无证据、强证据和不确定，并通过250个片段的人工审查和蒙特卡洛模拟对模型偏差进行校正和不确定性量化。 结果显示，无证据标签准确率超过96%，表明模型作为阴性过滤器较为可靠。强证据标签在精神健康、酒精和无家可归方面准确性高，但在药物滥用上误报明显；不确定标签噪声最大，常见的错误包括把酒店住宿误判为无家可归、把医院就诊误判为精神健康问题、把酒精消费误判为药物滥用。原始未校正的患病率估计普遍偏高，校正后分别为：精神健康22.9%（95% CI 19.4–26.7%）、药物滥用5.0%（95% CI 3.7–6.5%）、酒精依赖8.2%（95% CI 6.3–10.3%）、无家可归2.9%（95% CI 2.1–4.0%）。 研究还比较了模型输出与警队在记录时分配的限定符，发现存在显著不一致：部分带限定符的事件文本中无模型证据，而许多模型判断有强叙述证据的事件未被限定符标注，表明限定符可能反映记录实践差异而非事件内容的可靠指标。 结论是，LLM 能为总体层面的脆弱性患病率估计提供有价值的信息，但前提是必须投入重复运行、领域知情的人工审查和统计校正。由于单次分类不稳定且在个体层面错误频发，研究明确指出模型输出不应直接用于分诊、标记或优先排序等操作性决策。研究建议在更大范围和更长期的数据上扩展验证该方法，以支持更稳健的需求建模和多机构协作安排，并强调在敏感应用场景中，模型性能之外的流程和治理同样关键。