-
题名气象大模型计算资源评估技术方法
被引量：1
- 1
-
-
作者
石宜衡
王琦祎
孙婧
赵春燕
邓帅
吴鹏
姚旺
-
机构
国家气象信息中心
-
出处
《数据与计算发展前沿(中英文)》
2025年第4期182-195,共14页
-
基金
国家自然科学基金资助项目-面向我国碳中和最优路径实现的自然-社会系统多尺度相互作用模式耦合、数据监测支持和决策支撑研究的顶层设计(423412021008705)
光合基金项目-基于TrajGRU雷达回波外推算法的短临降水预报模型在国产加速器上的实践(202302034726)
国家气象信息中心青年科技基金课题-应用于气象领域的加速器评测技术研究(NMICQJ11-202407)。
-
文摘
【目的】近年来,气象大模型在天气预报领域内展现出超越传统数值方法的潜力。然而,其规模化训练和部署面临严峻的计算资源挑战。现有资源评估方法主要针对自然语言处理(NLP)领域的大模型,难以适应气象任务的动态计算需求(如时空多维特性)以及气象模型架构的独特性,导致资源利用率低下和算力成本高昂。为此,本研究旨在构建一个的气象大模型计算资源评估框架,通过量化模型的参数量、计算量、显存占用与通信开销,为硬件配置与资源分配提供理论依据,以降低计算成本,并确保气象大模型的高效稳定研发运行。【方法】提出多粒度计算资源联合评估框架(Multi-Granularity Computing Resource Joint Evaluation Framework,MGCRJEF),这个框架通过分模块建立参数量计算模型、时空感知FLOPs评估模型、显存占用模型及分布式通信分析模型,并结合气象数据的时空异质性特征,全面评估气象大模型对硬件资源的核心需求。【结果】以基于Swin-Transformer架构的盘古气象大模型(Pangu-Weather)为案例进行分析。该框架揭示了该模型的资源需求特点,例如在高分辨率输入时显存占用增加,在多节点训练中通信开销成为性能瓶颈,这些发现为资源优化提供了实践指导。此外,该框架计算的资源需求与实际的资源消耗基本一致,验证了该框架的合理性和有效性。【结论】MGCRJEF框架为气象大模型的资源需求评估提供了标准化方法,支持智算硬件环境下的资源规划,为气象领域的模型部署和硬件优化提供了理论依据和实践参考。
-
关键词
气象大模型
多粒度计算资源评估
资源优化
智能计算
-
Keywords
large meteorological AI models
multi-granularity computing resource joint evaluation framework
resource optimization
intelligent computing
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名水资源动态评价大数据计算框架研究与实践
被引量：2
- 2
-
-
作者
张潮
詹全忠
-
机构
水利部信息中心
-
出处
《水利信息化》
2021年第6期29-33,共5页
-
基金
国家重点研发计划项目(2018YFC0407705)
-
文摘
近年来,对水资源评价的时效性与准确性要求不断提高,数据量随之不断增长,对数据处理技术要求越来越高。为解决水资源动态评价大量数据的汇集、存储、计算等需求,深入分析水资源动态评价大数据的数据和计算需求,提出数据采集—存储计算—数据应用的分层大数据计算框架,并着重研究水资源动态评价数据的多源实时汇集技术,实现多源数据统一采集处理。针对数据分析的计算算法模型,研究CPU和GPU混合计算架构,实现机器和深度学习计算支撑。目前,研究成果已经在水利部完成部署,运行良好,可为水资源动态评价工作提供计算支撑。
-
关键词
水资源评价
动态评价
大数据汇集
技术框架
大数据平台
混合计算
-
Keywords
water resources evaluation
dynamic evaluation
big data collection
technical framework
big data platform
hybrid computing
-
分类号
TV211.1
[水利工程—水文学及水资源]
TP27
[自动化与计算机技术—检测技术与自动化装置]
-
