一种基于混合专家模型的多模态工单数据智能处理方法-AET-电子技术应用

一种基于混合专家模型的多模态工单数据智能处理方法

电子技术应用

于重，许文静，安宁，刘珠慧

国务院国有资产监督管理委员会干部教育培训中心

摘要： 智能工单系统是企业数字化转型的核心支撑平台。当前，智能工单系统面临多源异构数据的跨模态冗余及语义冲突问题，传统基于单模态处理架构的大语言模型（Large Language Model，LLM）存在关键信息漏检率高、数据清洗效果差的缺陷，严重制约了工单系统智能化发展。针对该问题，混合专家模型（Mixture of Experts，MoE）可通过动态路由机制自适应分配多模态数据至特定专家网络，在提升跨模态特征融合精度的同时显著优化计算效率。基于此，提出一种基于混合专家模型的多模态工单数据智能处理方法。首先基于DeepSeekMoE架构设计了一种语义分析模型，以实现跨模态数据的特征解耦与关键内容提取。其次提出基于Thinker-Talker的多模态特征融合架构，有效提升冗余数据利用率与语义一致性。最后设计非结构化数据清洗与结构化表单生成算法，完成原始数据的降噪清洗与语义增强，输出符合规范的结构化工单。消融实验表明，该方法在私有化数据集上的信息提取精度达92.7%，较传统工单处理方式的标准符合度提升36.2%，为智能工单系统多模态数据处理提供了可扩展的技术范式。

关键词： 智能工单系统多模态数据处理大语言模型数据清洗

中图分类号：TP39 文献标志码：A DOI: 10.16157/j.issn.0258-7998.256746
中文引用格式： 于重，许文静，安宁，等. 一种基于混合专家模型的多模态工单数据智能处理方法[J]. 电子技术应用，2025，51(9)：1-10.
英文引用格式： Yu Zhong，Xu Wenjing，An Ning，et al. An intelligent processing method for multimodal work order data based on mixture of experts model[J]. Application of Electronic Technique，2025，51(9)：1-10.

An intelligent processing method for multimodal work order data based on mixture of experts model

Yu Zhong，Xu Wenjing，An Ning，Liu Zhuhui

SASAC Education and Training System

Abstract： Intelligent work order systems are core platforms for enterprise digital transformation. However, current systems face challenges in cross-modal redundancy and semantic conflicts caused by multi-source heterogeneous data. Traditional large language models (LLMs) relying on single-modal architectures exhibit high rates of critical information omission and poor data cleaning performance, severely hindering system intelligence. To address this, the Mixture of Experts (MoE) model adaptively distributes multimodal data to specialized expert networks through dynamic routing mechanisms, enhancing cross-modal feature fusion accuracy while optimizing computational efficiency. This paper proposes an MoE-based intelligent processing method for multimodal work order data. Firstly, we design a semantic analysis model using the DeepSeekMoE architecture to achieve feature decoupling and key content extraction from cross-modal data. Secondly, we introduce a Thinker-Talker multimodal feature fusion framework to improve redundancy utilization and semantic consistency. Finally, we develope an unstructured data cleaning and structured form generation algorithm to denoise raw data, enhance semantics, and output standardized work orders. Ablation experiments demonstrate that our method achieves 92.7% information extraction accuracy on a private dataset, with a 36.2% improvement in compliance with processing standards compared to traditional methods, providing an extensible technical paradigm for intelligent work order systems.

Key words : intelligent work order system；multimodal data processing；large language model（LLM）；data cleaning

引言

智能工单系统的多模态数据分析与处理是提升业务系统数字化、智能化水平的关键步骤，承担着客户服务请求响应[1]、资源调度优化与业务流程协同的关键职能。然而，面对复杂业务场景中多模态数据分布不均、非结构化数据占比高、图像文字信息验证困难的特殊场景，现有工单系统存在分类效率低、数据清洗耗时长、跨模态验证准确率低的问题，严重制约了工单处理的自动化水平。

现阶段工单系统主要依赖单模态优化技术提升处理效率，但对多模态工单数据的协同处理能力较低。一方面，多源异构数据存在跨模态冗余与语义冲突，导致数据解析过程中关键信息漏检率偏高；另一方面，基于单模态处理的大语言模型难以有效捕捉跨模态关联特征，导致结构化表单生成数据精度偏低，严重制约了工单处理的智能化水平。

目前学术界在多模态数据处理领域取得阶段性进展：甘卓浩等[2]提出一种基于跨模态交互 Transformer 的多模态方面级情感分析模型，通过文本语义增强模块融合图像标题与原始文本以弥补情感语义缺失；聂佳莉等[3]提出了一种基于卷积神经网络和注意力机制模型的多模态特征融合波束赋形方法，以实现感知辅助的高可靠通信；此外，Kettenring[4]、Groves[5]和Martínez-Montes[6]等人也分别提出了不同的分析模型。然而，现有研究仍存在局限：一是跨模态冗余数据的协同利用率不足，关键信息漏检率高；二是多模态特征融合缺乏语义一致性保障，数据清洗与结构化生成环节割裂。

本文针对上述挑战提出系统性解决方案。首先，基于DeepSeekMoE架构设计多模态语义分析模型，分别构建面向语音、文本、图像数据的领域专家子网络，实现了跨模态数据的特征解耦与关键内容提取，完成非结构化数据的降噪清洗与语义增强。其次，提出基于Thinker-Talker的多模态特征融合架构，对异构数据的深层语义进行表征映射与冲突消解，实现多源特征的互补性验证，有效提升冗余数据利用率与语义一致性。最后，针对工单生成场景设计了非结构化数据清洗与结构化表单生成算法，动态抓取系统日志、设备状态等辅助信息，通过双向约束校验机制实现字段完整性验证与异常修正，最终输出符合相关标准的结构化工单。

本文结构如下：第1章介绍基于大语言模型的多模态数据处理技术的发展与技术现状；其次给出基于DeepSeekMoE架构的多模态语义分析模型；然后提出基于Thinker-Talker的双通道多模态特征融合架构；接着介绍了非结构化数据清洗与结构化表单生成算法在智能工单系统的实证应用；最后对提出的方法进行了消融实验验证其性能。

本文详细内容请下载：

https://www.chinaaet.com/resource/share/2000006679

作者信息：

于重，许文静，安宁，刘珠慧

（国务院国有资产监督管理委员会干部教育培训中心，北京 100053）

Magazine.Subscription.jpg

原创声明：此内容为AET网站原创，未经授权禁止转载。

相关内容