《电子技术应用》
您所在的位置:首页 > 其他 > 设计应用 > 数值预报中试系统设计与关键技术实现
数值预报中试系统设计与关键技术实现
电子技术应用 2023年3期
赵春燕1,周斌2,3,胡江凯2,3,王彬2,3,孙婧1,赵滨2,3
(1.国家气象信息中心,北京 100081;2.中国气象局地球系统数值预报中心,北京 100081; 3.灾害天气国家重点实验室,北京 100081)
摘要: 气象数值预报模式是数值天气预报业务的重要基础,模式的研发改进需要在高性能计算环境中不断地开展模拟试验来检验评估预报效果。针对气象科学家手工编排批处理脚本开展数值模拟试验方式中存在的不便捷、耗时长、不可见、底层细节复杂、试验分析比对困难等问题,采用C/S架构,基于Python和工作流技术,设计实现了可视化界面交互“建模-计算-监控-分析-管理-共享”全流程集成应用的数值预报中试系统。应用结果表明,系统提升了模式研发试验效率和高性能计算机系统的易用性,在数值天气预报模式研发中试中发挥重要支撑作用,扩展性良好。
中图分类号:TP319 文献标志码:A DOI: 10.16157/j.issn.0258-7998.223096
中文引用格式: 赵春燕,周斌,胡江凯,等. 数值预报中试系统设计与关键技术实现[J]. 电子技术应用,2023,49(3):106-113.
英文引用格式: Zhao Chunyan,Zhou Bin,Hu Jiangkai,et al. Design of test-bed system for meteorological numerical prediction model and key technology realization[J]. Application of Electronic Technique,2023,49(3):106-113.
Design of test-bed system for meteorological numerical prediction model and key technology realization
Zhao Chunyan1,Zhou Bin2,3,Hu Jiangkai2,3,Wang Bin2,3,Sun Jing1,Zhao Bin2,3
(1.National Meteorological Information Centre,Beijing 100081, China;2.CMA Earth System Modeling and Prediction Centre, Beijing 100081,China;3.State Key Laboratory of Severe Weather, Beijing 100081,China)
Abstract: Meteorological forecast numerical model is an important basis of numerical weather forecasting. The research and development of meteorological numerical model needs to continuously carry out simulation experiments in high-performance computing to test and evaluate the prediction effect. Aiming at the problems of inconvenient, time-consuming, invisible, complex details,difficult to analysis during meteorological scientists manually compile batch processing scripts to carry out numerical simulation experiments, this paper develops an interactive visual model test-bed system based on Python and workflow technology with client-server architecture, which provides the construction, simulation, monitoring, analysis, management and sharing for model experiment. The application results show that, the system improves the efficiency of model research and development and the usability of high-performance computer system, plays an important supporting role in the test-bed of numerical weather forecast model, and has good scalability.
Key words : meteorological forecast numerical model;numerical forecast;test-bed;high performance computing;workflow;interactive

0 引言

数值天气预报业务是为国家经济发展、防灾减灾和民生改善提供气象服务的重要保障,而数值预报模式的研发是天气预报业务的重要支撑[1]。数值预报模式是一种典型的大积分计算量、海量数据处理的科学计算程序,具有多步任务运算、数据管理复杂、串并行混合等特点,一般运行于超大规模高性能计算系统和大数据存储管理系统之上。当前,中国气象局国家级数值天气预报业务体系[2]基于中国气象局 “派-曙光”高性能计算机系统业务运行和研究开发[3]。随着E级计算[4]和后摩尔时代的发展,高性能计算机的系统架构、软件生态、编程方式均将发生变化[5-6],高性能计算资源的使用门槛将进一步提高。随着气象科学进入地球系统时代[7],全球数值预报正朝向基于地球系统科学框架下的多圈层耦合[8]地球系统数值预报模式发展,更高分辨率海量数据的应用将进一步提升模式研发试验的复杂度。

研发试验是改进数值预报模式的主要手段,通常过程需要构建试验的复杂运行流程与参数化方案,调用海量多圈层的观测数据、背景场[9]数据驱动,进行高效率的大规模并行计算,最后对试验结果进行应用检验评估[10-11],并反馈修正模式。此前,数值预报模式试验主要在命令行环境下,采用手工编写批处理脚本来编排、运行和检验试验。科学家开展研发试验不便捷,手工准备、编排一次试验耗时很长;科学家需要了解多个复杂IT系统的环境细节,精力无法聚焦于试验科学性本身,批处理式试验全程不可见,运行调试周期长,错误无法及时发现处理,整体效率低。并且缺乏试验的管理,历史试验的复现研究不便,无法便捷充分地比对共享试验方案和效果。国际主要气象机构欧洲中期数值天气预报中心(ECMWF)、美国国家航空航天局(NASA)和英国国家大气科学中心(NCAS)均建立了面向气象应用的数值预报模式试验平台,用于简化科学家的研究过程。如ECMWF的PrepIFS[12],是开放支撑欧盟成员国研究人员开展IFS模式应用研究的一体化数值模拟试验工具,提供可视化客户端,实现在ECMWF的超算上构建、计算、监控和管理IFS模式试验,但在试验结果分析和试验结果比较方面尚需要研究人员人工进行;美NASA的NED[13](NASA Experiment Designer),用于支撑NASA的科学家在超算上可视化的配置、运行、监控和管理复杂模式试验,提供客户端交互界面,支撑相似试验工作流的比较,但NED仅支持在预定义或已运行的历史试验工作流基础上运行或修改参数后运行试验,限定性高;NCAS在英国气象局的数值模式 Unified Model (UM)研究中使用RoseCylc[14]工具构建和管理试验,Rose是可视化客户端,提供试验预定义Cylc工作流[15]的修改编辑、调度、运行和监控,该工具支持模式研究试验工作流的构建和提交运行监控,但不支持试验的分析、比较和管理。

2021年,中国气象局成立了地球系统数值预报中心,聚力发展地球系统数值预报系统。国务院《气象高质量发展纲要(2022—2035年)》要求加强地球系统数值预报核心技术攻关,发展自主可控的地球系统数值预报模式。面向国家发展战略,为了高效地支撑数值预报模式的研发,针对科学家开展数值模式研发试验的困境,尤其是试验不便捷、效率低、周期长和无法共享等问题,本文设计实现了数值预报中试系统,采用可视化交互界面,集成了开展数值预报模式试验所需交互的全流程环节以屏蔽底层细节,应用工作流技术实现了试验复杂工作流的构建、调度运行和监控,运用分布式存储和RDBMS等技术建立试验管理体系,支持试验的管理、比较、共享。开创性地为科学家提供了界面交互的“建模-计算-监控-分析-管理-共享”的一站式全流程集成应用,并已应用于数值预报模式研发中,具备良好的易用性和扩展性。

本文阐述了系统设计及关键技术实现、性能及应用效果,并讨论下一步工作方向。



本文详细内容请下载:https://www.chinaaet.com/resource/share/2000005238




作者信息:

赵春燕1,周斌2,3,胡江凯2,3,王彬2,3,孙婧1,赵滨2,3

(1.国家气象信息中心,北京 100081;2.中国气象局地球系统数值预报中心,北京 100081;
3.灾害天气国家重点实验室,北京 100081)


微信图片_20210517164139.jpg

此内容为AET网站原创,未经授权禁止转载。