水保学院骆汉副研究员课题组在轻量级大语言模型辅助水土保持合规实践研究方面取得新进展

来源:水保工程中心 作者:骆汉 时间:2026-09-08

近日,水保学院骆汉副研究员课题组在轻量级大语言模型辅助水土保持合规实践研究方面取得新进展。相关研究成果以“Intelligent support for soil and water conservation compliance: decision assistance capabilities of prompt-enhanced large language models”为题,发表在Artificial Intelligence and Law (IF=5.1)期刊上。水持与荒漠化整治点实验室为论文第一完成单位,本科生张一钞硕士研究生赵浚棋为共同第一作者,骆汉副研究员为通讯作者。

水土保持法律法规层级复杂、修订频繁,基层合规实践亟需高效智能的知识工具。一方面,可本地部署的轻量级大语言模型(SLM)能规避大模型的算力开销与数据泄风险,是敏感执法场景的理想载体;另一方面,其知识存储有限、长尾法条表征稀疏,在水保法律领域的可靠性尚存疑问。然而,SLM在该领域的能力边界,以及提示工程与知识供给两条增强路径孰优孰劣尚未明确,根源在于本领域长期缺乏专用评测基准。

基于此,本研究以71部国家与地方水土保持法规及新颁布的《中华人民共和国生态环境法典》为源材料,构建了覆盖三个法律层级、四类任务场景的1622题评测集,在本地闭卷条件下测评了5SLM,并以认知负荷理论设计结构化提示,开展四组件消融、等长安慰剂对照与法条供给对比,并测度准确率、引用命中率与疑似幻觉率。

研究结果表明,5SLM闭卷准确率为68.9%—84.0%,均达及格水平但不随参数量单调上升,14BQwen3反超两个30B级模型,差距集中于地方性法规与多选题。七种提示条件中,唯有供给法条能稳定提升各模型准确率9.2%—14.3%并使幻觉率降至近零(OR=0.08);结构化提示仅在难题上对部分模型有效,却使疑似幻觉几率翻倍。消融显示,角色设定与推理引导诱导断言、放大编造,输出约束是唯一抑制幻觉的组件,等长安慰剂亦显著抬升幻觉。配备法条的Gemma4-31B以约94%准确率、近零幻觉与3秒内响应占据帕累托前沿。

研究阐明了知识供给优于提示改写的增强机理与帕累托最优配置,为基层水保执法本地化部署可信AI助手提供科学依据。

该研究得到国家重点研发计划(2024YFD1501104)、杨凌示范区科技计划项目(2024NY-04)以及大学生创新训练项目(XN2025021022)的联合资助。

原文链接:https://doi.org/10.1007/s10506-026-09531-8

1  5个本地部署轻量级大语言模型的闭卷基线总体正确率

25个模型在7种非基线条件下相对基线的正确率变化

图3 准确率与平均单题本地推理延迟的联合帕累托分析


编辑:王容娜

终审:李小梅



附件下载: