针对气象数值预报应用的特点及气象高性能计算资源调度管理的需求,基于Slurm(Simple Linux Utility for Resource Management)作业调度系统,在中国气象局派-曙光高性能计算机系统上提出了一套精细化的资源调度管理方法。该方法通过优化...针对气象数值预报应用的特点及气象高性能计算资源调度管理的需求,基于Slurm(Simple Linux Utility for Resource Management)作业调度系统,在中国气象局派-曙光高性能计算机系统上提出了一套精细化的资源调度管理方法。该方法通过优化调度策略与灵活的资源分区配置,从系统层面实现了气象实时业务运行保障与作业吞吐量、调度效率之间的平衡,实现了资源的高效利用;同时,引入服务质量(QoS)机制,动态调整作业优先级与资源配额,从用户层面进一步确保了资源分配的公平性与调度灵活性。系统资源使用及作业运行数据表明,该方法在保障气象实时业务稳定运行的同时,有效提高了研发作业的完成效率,确保系统整体资源的高效利用,在派-曙光高性能计算机系统上取得了良好的应用效果,对高性能计算资源在复杂应用场景下的合理调度和利用具有很好的实用性和参考意义。展开更多
随着高性能计算体系结构的发展,软件与硬件都具有多层的并行结构。当不同纵向层级与横向分组的计算任务被划分到不同节点的不同处理器时,存在非常多的分配方式。这些分配方式一般在运行时由用户输入的多个并行参数来确定,并对计算效率...随着高性能计算体系结构的发展,软件与硬件都具有多层的并行结构。当不同纵向层级与横向分组的计算任务被划分到不同节点的不同处理器时,存在非常多的分配方式。这些分配方式一般在运行时由用户输入的多个并行参数来确定,并对计算效率影响很大。随着计算规模与复杂度的提升,多个并行参数的可配置空间越来越大,用户越来越难以确定最佳的并行参数值。这类运行时优化问题在科学计算应用中较为普遍,但相关的研究与解决方法比较少见。以VASP(Vienna Ab initio Simulation Package)应用为例,首先分析了该应用的多层并行结构,展示了不同并行参数配置引发的巨大运行速度差异。然后提出了一个基于约化并行效率指标的全自动运行优化方法,其不仅可以帮助用户简单快捷地确定最佳应用并行参数,而且可以帮助用户确定最佳的计算资源使用量,使应用可以高效率地扩展到大规模的并行计算中。最后将该优化方法与计算集群作业调度系统相融合应用于用户提交的真实VASP计算作业。统计结果表明,该方法显著提升了作业运行速度与超算资源的使用效率,具有很好的工程应用前景。展开更多
随着云计算技术的发展与成熟,并行计算在云环境中得到了越来越多的实践。服务器无感知计算作为云计算中的一种新型的应用部署与计算方式,允许用户弹性分配资源并实现负载均衡,并提供了更强的可扩展性和更大的灵活性。然而,无状态的特性...随着云计算技术的发展与成熟,并行计算在云环境中得到了越来越多的实践。服务器无感知计算作为云计算中的一种新型的应用部署与计算方式,允许用户弹性分配资源并实现负载均衡,并提供了更强的可扩展性和更大的灵活性。然而,无状态的特性导致服务器无感知计算框架并不完全适用于传统并行计算,其中通信是一个关键问题。本文提出了一个具有服务质量(quality of service,QoS)保障的通信框架FreeParallel,旨在基于服务器无感知计算中的函数即服务(function as a service,FaaS)平台构建面向并行计算的通信能力。FreeParallel结合了消息传递接口(message passing interface,MPI)并行计算编程模型,有效地保证了通信服务的质量;并采用代理模型来支持并行函数的识别和转换,并以服务形式灵活部署在多个FaaS或虚拟化平台上。此外,本研究还提出了函数间通信流量的QoS管理策略fm Clock,在保证传输公平性的前提下,实现基于请求和限制的通信原语级网络资源分配。实验结果表明,点对点通信场景下FreeParallel与虚拟化平台的覆盖网络相比传输性能略有不足,但比当前服务器无感知计算状态共享方案的传输效率有至少89.5%的提升。并且FreeParallel在集合通信场景下表现极佳,比基线方法提升了59.9%~83.1%。同时,带有fm Clock策略的FreeParallel能够实现原语级按比例分配策略,避免了不同原语间请求的交叉干扰,案例表明,策略的加入降低了应用25.0%的完成时间。展开更多
文摘针对气象数值预报应用的特点及气象高性能计算资源调度管理的需求,基于Slurm(Simple Linux Utility for Resource Management)作业调度系统,在中国气象局派-曙光高性能计算机系统上提出了一套精细化的资源调度管理方法。该方法通过优化调度策略与灵活的资源分区配置,从系统层面实现了气象实时业务运行保障与作业吞吐量、调度效率之间的平衡,实现了资源的高效利用;同时,引入服务质量(QoS)机制,动态调整作业优先级与资源配额,从用户层面进一步确保了资源分配的公平性与调度灵活性。系统资源使用及作业运行数据表明,该方法在保障气象实时业务稳定运行的同时,有效提高了研发作业的完成效率,确保系统整体资源的高效利用,在派-曙光高性能计算机系统上取得了良好的应用效果,对高性能计算资源在复杂应用场景下的合理调度和利用具有很好的实用性和参考意义。
文摘随着高性能计算体系结构的发展,软件与硬件都具有多层的并行结构。当不同纵向层级与横向分组的计算任务被划分到不同节点的不同处理器时,存在非常多的分配方式。这些分配方式一般在运行时由用户输入的多个并行参数来确定,并对计算效率影响很大。随着计算规模与复杂度的提升,多个并行参数的可配置空间越来越大,用户越来越难以确定最佳的并行参数值。这类运行时优化问题在科学计算应用中较为普遍,但相关的研究与解决方法比较少见。以VASP(Vienna Ab initio Simulation Package)应用为例,首先分析了该应用的多层并行结构,展示了不同并行参数配置引发的巨大运行速度差异。然后提出了一个基于约化并行效率指标的全自动运行优化方法,其不仅可以帮助用户简单快捷地确定最佳应用并行参数,而且可以帮助用户确定最佳的计算资源使用量,使应用可以高效率地扩展到大规模的并行计算中。最后将该优化方法与计算集群作业调度系统相融合应用于用户提交的真实VASP计算作业。统计结果表明,该方法显著提升了作业运行速度与超算资源的使用效率,具有很好的工程应用前景。
文摘随着云计算技术的发展与成熟,并行计算在云环境中得到了越来越多的实践。服务器无感知计算作为云计算中的一种新型的应用部署与计算方式,允许用户弹性分配资源并实现负载均衡,并提供了更强的可扩展性和更大的灵活性。然而,无状态的特性导致服务器无感知计算框架并不完全适用于传统并行计算,其中通信是一个关键问题。本文提出了一个具有服务质量(quality of service,QoS)保障的通信框架FreeParallel,旨在基于服务器无感知计算中的函数即服务(function as a service,FaaS)平台构建面向并行计算的通信能力。FreeParallel结合了消息传递接口(message passing interface,MPI)并行计算编程模型,有效地保证了通信服务的质量;并采用代理模型来支持并行函数的识别和转换,并以服务形式灵活部署在多个FaaS或虚拟化平台上。此外,本研究还提出了函数间通信流量的QoS管理策略fm Clock,在保证传输公平性的前提下,实现基于请求和限制的通信原语级网络资源分配。实验结果表明,点对点通信场景下FreeParallel与虚拟化平台的覆盖网络相比传输性能略有不足,但比当前服务器无感知计算状态共享方案的传输效率有至少89.5%的提升。并且FreeParallel在集合通信场景下表现极佳,比基线方法提升了59.9%~83.1%。同时,带有fm Clock策略的FreeParallel能够实现原语级按比例分配策略,避免了不同原语间请求的交叉干扰,案例表明,策略的加入降低了应用25.0%的完成时间。
