随着地震数据规模的不断增大,在进行数据并行处理时,并行计算通信框架因使用TCP(Transmission Control Protocol)协议存在网络吞吐量低、高时延等性能问题,以及主从并行模式下存在主节点网卡性能瓶颈问题,制约了数据并行处理效率的线性...随着地震数据规模的不断增大,在进行数据并行处理时,并行计算通信框架因使用TCP(Transmission Control Protocol)协议存在网络吞吐量低、高时延等性能问题,以及主从并行模式下存在主节点网卡性能瓶颈问题,制约了数据并行处理效率的线性提升,集群节点规模扩展性下降明显。为此,提出采用RoCE(RDMA over Converged Ethernet)协议替换TCP协议、主节点配置高性能100 GE网卡的高效并行计算通信优化方案,解决了并行计算框架存在的数据网络传输性能问题及主节点同时收集多个计算节点计算结果数据的网络性能瓶颈问题,实现了高速可扩展技术的大规模地震数据处理通信应用方案,计算节点可快速完成数据通信,提升了大规模地震数据处理计算效率;另外采用UCX(Unified Communication X)技术还提升了应用系统的可移植性与使用的便捷性。逆时偏移处理数据的测试结果表明,对于本次大规模数据的处理,逆时偏移并行计算效率提升了32.8%,效果显著,可缩短大规模地震数据逆时偏移计算的时间,并减少计算能源消耗,因此具有很高的实用价值和经济效益。展开更多
文摘随着地震数据规模的不断增大,在进行数据并行处理时,并行计算通信框架因使用TCP(Transmission Control Protocol)协议存在网络吞吐量低、高时延等性能问题,以及主从并行模式下存在主节点网卡性能瓶颈问题,制约了数据并行处理效率的线性提升,集群节点规模扩展性下降明显。为此,提出采用RoCE(RDMA over Converged Ethernet)协议替换TCP协议、主节点配置高性能100 GE网卡的高效并行计算通信优化方案,解决了并行计算框架存在的数据网络传输性能问题及主节点同时收集多个计算节点计算结果数据的网络性能瓶颈问题,实现了高速可扩展技术的大规模地震数据处理通信应用方案,计算节点可快速完成数据通信,提升了大规模地震数据处理计算效率;另外采用UCX(Unified Communication X)技术还提升了应用系统的可移植性与使用的便捷性。逆时偏移处理数据的测试结果表明,对于本次大规模数据的处理,逆时偏移并行计算效率提升了32.8%,效果显著,可缩短大规模地震数据逆时偏移计算的时间,并减少计算能源消耗,因此具有很高的实用价值和经济效益。
