《电子技术应用》
您所在的位置:首页 > 其他 > 设计应用 > 基于大模型上下文学习的未知意图识别方法
基于大模型上下文学习的未知意图识别方法
网络安全与数据治理
孙颢原1,刘莹君2,于莉娜2,纪涛2,张圳锡1,吴继冰1
1.国防科技大学大数据与决策国家级重点实验室; 2.智能空间信息国家级重点实验室
摘要: 面对现代化战争的复杂态势,精准的意图识别技术可实现对指挥人员需求的高效理解与精准捕捉,提升决策准确率和敏捷性。现有意图识别方法通常需要大量人工标注的数据进行训练,带来了高昂的成本,并且对于新意图的识别效果较差。为此,提出了基于大语言模型(Large Language Models,LLMs)上下文学习的创新解决办法,充分利用大模型的通用语言能力和指令遵循能力,仅需使用少量样本并无需训练,便可完成已知意图识别与新意图发现任务,为意图识别提供了一种新型高效的解决方案。
中图分类号:TP181.132文献标识码:ADOI:10.19358/j.issn.2097-1788.2025.11.007引用格式:孙颢原,刘莹君,于莉娜,等. 基于大模型上下文学习的未知意图识别方法[J].网络安全与数据治理,2025,44(11):38-44.
Intent recognition method based on incontext learning of large language models
Sun Haoyuan1, Liu Yingjun2,Yu Lina2,Ji Tao2,Zhang Zhenxi1, Wu Jibing1
1. National Key Laboratory of Big Data and Decision, National University of Defense Technology; 2. National Key Laboratory of Intelligent Geospatial Information
Abstract: In the face of the complex situation of modern warfare, accurate intent recognition technology can achieve efficient understanding and precise capture of commanders′ needs, thereby enhancing the accuracy and agility of military decision-making. Existing intent recognition methods typically require large amounts of manually annotated data for training, which incurs high costs and performs poorly in recognizing novel intents. To address these issues, this paper proposes an innovative solution based on large language models (LLMs) and their in-context learning capability. By leveraging the general language understanding and instruction-following abilities of LLMs, the proposed approach can accomplish both known intent recognition and novel intent discovery tasks using only a small number of examples without requiring additional training, thus offering a new and efficient solution for intent recognition.
Key words : large language model; incontext learning; prompt engineering;intent recognition

引言

自然语言处理(Natural Language Processing,NLP)是人工智能的重点研究方向,其研究目标是赋予计算机理解、解析及生成人类语言的能力,是实现人机自然交互的关键技术。早期 NLP 研究主要依赖规则系统与统计方法,随着深度学习技术的兴起,逐步发展为基于神经网络的表示学习范式,而当前大规模预训练语言模型已成为该领域的主流研究方向[1-2]。这一系列技术演进推动了智能客服、搜索引擎、智能助手等应用的广泛落地,显著革新了人机交互模式[3-5]。

在 NLP 的诸多任务中,意图识别是对话系统的基础环节[6]。意图识别旨在确定用户输入的文字中所蕴含的意图或目的,即对用户的话语进行语义理解,以便更好地回答用户的问题或提供相关的服务。然而,意图识别通常面临着一系列问题的挑战,包括用户语言表达的易混淆性、意图在不同上下文语境中的差异性以及持续出现的新意图等。

研究人员针对意图识别问题开展了大量的研究,主要集中在传统机器学习方法[4]、深度学习方法[2,7]与基于大模型的意图识别方法。传统机器学习方法如支持向量机(Support Vector Machine, SVM)、条件随机场(Conditional Random Field, CRF)等依赖人工特征工程,难以有效捕捉复杂的语义关系。深度学习方法主要包括基于卷积神经网络、循环神经网络(如长短期记忆网络)、 Transformer模型的方法。尽管这些方法在特征自动提取方面展现出显著优势,但仍面临标注数据依赖性强[8]、上下文建模能力不足[9]、领域迁移适应性弱[5]及跨语言场景泛化能力有限[6]等挑战。

近年来,意图识别方法逐渐成为研究热点[10]。现有工作通常提前设定好所有可能的意图类别,模型在这些预设的类别中进行识别。然而,在开放环境下,模型需要应对持续出现的新意图类别带来的挑战。在预训练模型时代,Nogueira等人[11]的研究具有标志性意义,他们系统论证了上下文词嵌入对意图表征的增强作用。随后,Zhang等人[12]针对开放世界假设下的意图识别问题,提出了基于深度语义特征空间的自适应决策边界算法,实现了已知与未知意图的有效区分[13]。随着大语言模型在动态提示工程与自主推理方面的进展,基于智能体架构的意图发现方法开始涌现,初步验证了其在开放域场景下的有效性[14]。随后Cheng等人[15]构建了交互意图基准,训练出可主动评估任务模糊性、与用户交互以明确意图的模型,从而明确输入意图,进而提升识别的准确性与系统交互性。然而,这些方法的有效性通常依赖于大量标记数据和多阶段训练,实现此类方法需要人类专家注释来完成定义相关意图的挑战性任务。

面对传统意图识别方法依赖大量标注数据、难以适应开放环境下新意图涌现等问题,本文提出基于大语言模型的意图识别方法AutoIntent,可在少样本条件下有效识别不断出现的新意图。本文主要贡献包括:

(1)提出基于上下文学习的大模型意图识别框架AutoIntent,借助提示词构建与意图反馈机制,实现在少样本下高效灵活的意图识别;

(2)在意图发现对比实验的常用数据集上,将AutoIntent与领域内最新方法展开对比,结果显示出AutoIntent在意图发现任务上的优势;

(3)针对意图识别任务构建了复杂度更高的评测数据集并开展验证,实验结果进一步验证了AutoIntent在复杂场景下的有效性。


本文详细内容请下载:

https://www.chinaaet.com/resource/share/2000006860


作者信息:

孙颢原1,刘莹君2,于莉娜2,纪涛2,张圳锡1,吴继冰1

(1.国防科技大学大数据与决策国家级重点实验室,湖南长沙410073;

2.智能空间信息国家级重点实验室,北京100029)


subscribe.jpg

此内容为AET网站原创,未经授权禁止转载。