引言
自然语言处理(Natural Language Processing,NLP)是人工智能的重点研究方向,其研究目标是赋予计算机理解、解析及生成人类语言的能力,是实现人机自然交互的关键技术。早期 NLP 研究主要依赖规则系统与统计方法,随着深度学习技术的兴起,逐步发展为基于神经网络的表示学习范式,而当前大规模预训练语言模型已成为该领域的主流研究方向[1-2]。这一系列技术演进推动了智能客服、搜索引擎、智能助手等应用的广泛落地,显著革新了人机交互模式[3-5]。
在 NLP 的诸多任务中,意图识别是对话系统的基础环节[6]。意图识别旨在确定用户输入的文字中所蕴含的意图或目的,即对用户的话语进行语义理解,以便更好地回答用户的问题或提供相关的服务。然而,意图识别通常面临着一系列问题的挑战,包括用户语言表达的易混淆性、意图在不同上下文语境中的差异性以及持续出现的新意图等。
研究人员针对意图识别问题开展了大量的研究,主要集中在传统机器学习方法[4]、深度学习方法[2,7]与基于大模型的意图识别方法。传统机器学习方法如支持向量机(Support Vector Machine, SVM)、条件随机场(Conditional Random Field, CRF)等依赖人工特征工程,难以有效捕捉复杂的语义关系。深度学习方法主要包括基于卷积神经网络、循环神经网络(如长短期记忆网络)、 Transformer模型的方法。尽管这些方法在特征自动提取方面展现出显著优势,但仍面临标注数据依赖性强[8]、上下文建模能力不足[9]、领域迁移适应性弱[5]及跨语言场景泛化能力有限[6]等挑战。
近年来,意图识别方法逐渐成为研究热点[10]。现有工作通常提前设定好所有可能的意图类别,模型在这些预设的类别中进行识别。然而,在开放环境下,模型需要应对持续出现的新意图类别带来的挑战。在预训练模型时代,Nogueira等人[11]的研究具有标志性意义,他们系统论证了上下文词嵌入对意图表征的增强作用。随后,Zhang等人[12]针对开放世界假设下的意图识别问题,提出了基于深度语义特征空间的自适应决策边界算法,实现了已知与未知意图的有效区分[13]。随着大语言模型在动态提示工程与自主推理方面的进展,基于智能体架构的意图发现方法开始涌现,初步验证了其在开放域场景下的有效性[14]。随后Cheng等人[15]构建了交互意图基准,训练出可主动评估任务模糊性、与用户交互以明确意图的模型,从而明确输入意图,进而提升识别的准确性与系统交互性。然而,这些方法的有效性通常依赖于大量标记数据和多阶段训练,实现此类方法需要人类专家注释来完成定义相关意图的挑战性任务。
面对传统意图识别方法依赖大量标注数据、难以适应开放环境下新意图涌现等问题,本文提出基于大语言模型的意图识别方法AutoIntent,可在少样本条件下有效识别不断出现的新意图。本文主要贡献包括:
(1)提出基于上下文学习的大模型意图识别框架AutoIntent,借助提示词构建与意图反馈机制,实现在少样本下高效灵活的意图识别;
(2)在意图发现对比实验的常用数据集上,将AutoIntent与领域内最新方法展开对比,结果显示出AutoIntent在意图发现任务上的优势;
(3)针对意图识别任务构建了复杂度更高的评测数据集并开展验证,实验结果进一步验证了AutoIntent在复杂场景下的有效性。
本文详细内容请下载:
https://www.chinaaet.com/resource/share/2000006860
作者信息:
孙颢原1,刘莹君2,于莉娜2,纪涛2,张圳锡1,吴继冰1
(1.国防科技大学大数据与决策国家级重点实验室,湖南长沙410073;
2.智能空间信息国家级重点实验室,北京100029)

