基于动态均衡技术的海量异构数据高并发可靠接入方法
网络安全与数据治理
赵勋，周成胜，靳文京，刘晓曼，王桂温
中国信息通信研究院安全研究所，北京100191
摘要： 随着大数据时代的到来，海量异构数据的高并发可靠接入成为了一个亟待解决的问题。提出了一种基于动态均衡技术的海量异构数据高并发可靠接入方法。该方法采用去中心化的任务分配机制实现海量数据源接入；针对各类异构数据源设计了基于HTTPS、SFTP、Kafka等多样化采集手段及相应的节点分配和回收机制；采用动态负载均衡策略对采集资源进行实时调整，以适应不断变化的数据负载，实现高并发处理。该研究为实现海量异构数据的高效、可靠接入提供了一种有效的解决方法。
中图分类号：TP393.08文献标识码：ADOI:10.19358/j.issn.2097-1788.2023.12.010
引用格式：赵勋，周成胜，靳文京，等.基于动态均衡技术的海量异构数据高并发可靠接入方法［J］.网络安全与数据治理，2023，42（12）：60-66.
引用格式：赵勋，周成胜，靳文京，等.基于动态均衡技术的海量异构数据高并发可靠接入方法［J］.网络安全与数据治理，2023，42（12）：60-66.
High concurrency and reliable access method for massive heterogeneous data based on dynamic balancing technology
Zhao Xun, Zhou Chengsheng, Jin Wenjing, Liu Xiaoman,Wang Guiwen
Institute of Security, China Academy of Information and Communications Technology, Beijing 100191, China
Abstract： With the arrival of the era of big data, the highly concurrent and reliable access of massive heterogeneous data has become an urgent problem. This paper proposes a high concurrent and reliable access method for massive heterogeneous data based on dynamic balance technology. The method adopts decentralized task allocation mechanism to access massive data sources. For various heterogeneous data sources, a variety of collection methods based on HTTPS, SFTP, Kafka, and corresponding node allocation and recovery mechanisms are designed. The dynamic load balancing strategy is used to adjust the collection resources in real time to adapt to the changing data load and achieve high concurrency processing. This research provides an effective solution for the efficient and reliable access of massive heterogeneous data.
Key words : massive heterogeneous data; high concurrency; dynamic load balancing strategy
引言
随着计算机信息技术、互联网与物联网技术的快速发展，各类数据资源呈现爆发式增长，海量数据的产生和积累已成为一种不可避免的趋势。这些数据往往具有多源异构、分布广泛、动态增长等特点［1］，如传感器数据、社交网络数据、视频数据等，称其为海量异构数据。在众多领域，海量异构数据并发接入已成为一个重要且具有挑战性的问题［2-4］。为了更好地管理和处理这些数据，需要研究和设计高效的数据并发接入技术和策略，以实现数据的快速处理、分析和应用。在数据接入系统设计方面，已有研究人员在物联网、车辆交通、电网调度等领域分别对于物联网设备数据采集［5］、列车网络设备实时数据采集［6］、电网智能调度数据采集［7］进行了系统设计，用来解决海量数据接入处理问题，但是这些系统设计均是针对特定的业务场景提出，缺少一定的通用性。在海量异构数据接入过程中，如何在高并发接入的场景下依然能够确保接入系统稳定可靠运行是数据接入系统设计面临的主要挑战。在有限的集群资源前提下，当海量异构高并发数据产生接入任务时，只有将接入任务合理分配并且快速执行，才能保证数据的顺利接入。
作者信息
赵勋，周成胜，靳文京，刘晓曼，王桂温
（中国信息通信研究院安全研究所，北京100191）
文章下载地址：https://www.chinaaet.com/resource/share/2000005878
此内容为AET网站原创，未经授权禁止转载。