面向行业信息抽取的大模型知识蒸馏技术AET-电子技术应用-最丰富的电子设计资源平台

面向行业信息抽取的大模型知识蒸馏技术
所属分类：技术论文
上传者：wwei
文档大小：1504 K
标签：大模型知识蒸馏信息抽取
所需积分：0分积分不够怎么办？
文档介绍：面对某行业信息文本多样性、模糊性、规模性和复杂性所带来的实时性、准确性和算力资源挑战，设计了一种面向某行业信息抽取的大模型知识蒸馏技术。该方法采用大模型作为Teacher，小模型作为Student，首先通过设计和优化提示词模板引导Teacher模型生成标注数据集，其次基于生成的行业信息文本句式，并结合标注数据集与行业知识库来增强数据集，最后基于LoRA微调技术在增强数据集上训练Student模型。实验结果表明，本文算法不仅能有效提升Student模型在行业信息文本抽取任务中的性能，使其具备与Teacher模型接近的精确率与召回率，同时能显著降低模型部署的成本和复杂度，在资源受限的行业环境下带来更多优势和价值。
现在下载
VIP会员，AET专家下载不扣分；重复下载不扣分，本人上传资源不扣分。

活动