随着大语言模型(large language models,LLMs)(以下简称“大模型”)参数规模的持续增长,微调百亿级参数大模型对计算和存储资源提出了极高要求。传统分布式训练方案通常依赖大量高端GPU和高速互联网络,训练成本极为昂贵。现有单GPU训练...随着大语言模型(large language models,LLMs)(以下简称“大模型”)参数规模的持续增长,微调百亿级参数大模型对计算和存储资源提出了极高要求。传统分布式训练方案通常依赖大量高端GPU和高速互联网络,训练成本极为昂贵。现有单GPU训练方案虽通过张量卸载缓解显存压力,但仍然面临I/O传输效率低和设备利用率不足等问题。传统内核态I/O操作在大规模张量迁移中引入频繁的系统调用和上下文切换,成为制约性能的关键瓶颈;同时,优化器计算无法充分发挥多核CPU的并行能力,难以实现与GPU计算的有效重叠,进一步限制了系统性能。针对上述问题,提出了一种面向大模型训练的异构内存卸载与I/O优化方案HiTrain。首先构建了基于存储性能开发工具包(storage performance development kit,SPDK)的高性能张量存储模块,通过在用户态管理张量数据,避免了内核I/O栈开销,从而提高张量卸载的并发性与吞吐率;其次,设计并实现了基于异步优化器的存储-计算流水线调度模块,通过对优化器的执行进行优化重排来减少GPU等待时间,提高整体训练效率。实验结果表明,在配备单张GPU和非易失性存储器快速固态硬盘(non-volatile memory express solid state drive,NVMe SSD)的服务器上,所提出的方案能够充分利用系统中的存算资源,使得模型训练过程中张量卸载与加载效率提升32.7%,整体训练吞吐提升至现有方案的1.49倍,为低成本大模型训练提供了切实可行的技术路径。展开更多
目的探讨超声引导下^(125)I粒子植入联合化疗治疗阴道残端复发性卵巢癌的临床疗效与安全性,并评价其对患者生活质量的影响。方法回顾性分析2010年1月—2023年12月哈尔滨医科大学附属肿瘤医院收治的54例阴道残端复发性卵巢癌患者临床资料...目的探讨超声引导下^(125)I粒子植入联合化疗治疗阴道残端复发性卵巢癌的临床疗效与安全性,并评价其对患者生活质量的影响。方法回顾性分析2010年1月—2023年12月哈尔滨医科大学附属肿瘤医院收治的54例阴道残端复发性卵巢癌患者临床资料,按治疗方式分为研究组(^(125)I粒子植入联合化疗,27例)与对照组(单纯化疗,27例)。两组均采用紫杉醇联合卡铂标准化疗方案,随访至治疗后12个月。比较两组患者的近期客观缓解率(objective remission rate,ORR)和疾病控制率(disease control rate,DCR),以及肿瘤标志物(CEA、CA125)水平、靶病灶大小、疼痛缓解情况、卡氏功能状态(Karnofsky performance status,KPS)评分、生命质量测定量表(functional assessment of cancer therapy,FACT-O)评分及不良反应发生情况。结果治疗后,研究组ORR显著高于对照组(100.00%vs.40.74%,P<0.001);两组DCR差异无统计学意义(100.00%vs.85.19%,P=0.119)。治疗后3、6、9、12个月,研究组CEA、CA125水平均显著低于对照组(P<0.001);治疗后9、12个月,研究组靶病灶平均最大径显著小于对照组(P<0.01)。研究组疼痛缓解率(92.00%)高于对照组(72.00%),但差异无统计学意义(P=0.141);治疗后12个月KPS评分及FACT-O总体评分均优于对照组(P=0.034)。两组患者治疗相关不良反应主要包括发热、腹痛及恶心呕吐等,其中研究组分别为发热1例、腹痛2例和恶心呕吐1例,对照组发热2例、腹痛1例和恶心呕吐2例,且均未出现严重不良事件。结论超声引导下^(125)I粒子植入联合化疗可显著提高阴道残端复发性卵巢癌局部肿瘤缓解率,改善患者功能状态及生活质量,且安全性良好,可作为该类患者的一种有效个体化治疗选择。展开更多
文摘随着大语言模型(large language models,LLMs)(以下简称“大模型”)参数规模的持续增长,微调百亿级参数大模型对计算和存储资源提出了极高要求。传统分布式训练方案通常依赖大量高端GPU和高速互联网络,训练成本极为昂贵。现有单GPU训练方案虽通过张量卸载缓解显存压力,但仍然面临I/O传输效率低和设备利用率不足等问题。传统内核态I/O操作在大规模张量迁移中引入频繁的系统调用和上下文切换,成为制约性能的关键瓶颈;同时,优化器计算无法充分发挥多核CPU的并行能力,难以实现与GPU计算的有效重叠,进一步限制了系统性能。针对上述问题,提出了一种面向大模型训练的异构内存卸载与I/O优化方案HiTrain。首先构建了基于存储性能开发工具包(storage performance development kit,SPDK)的高性能张量存储模块,通过在用户态管理张量数据,避免了内核I/O栈开销,从而提高张量卸载的并发性与吞吐率;其次,设计并实现了基于异步优化器的存储-计算流水线调度模块,通过对优化器的执行进行优化重排来减少GPU等待时间,提高整体训练效率。实验结果表明,在配备单张GPU和非易失性存储器快速固态硬盘(non-volatile memory express solid state drive,NVMe SSD)的服务器上,所提出的方案能够充分利用系统中的存算资源,使得模型训练过程中张量卸载与加载效率提升32.7%,整体训练吞吐提升至现有方案的1.49倍,为低成本大模型训练提供了切实可行的技术路径。
文摘目的探讨超声引导下^(125)I粒子植入联合化疗治疗阴道残端复发性卵巢癌的临床疗效与安全性,并评价其对患者生活质量的影响。方法回顾性分析2010年1月—2023年12月哈尔滨医科大学附属肿瘤医院收治的54例阴道残端复发性卵巢癌患者临床资料,按治疗方式分为研究组(^(125)I粒子植入联合化疗,27例)与对照组(单纯化疗,27例)。两组均采用紫杉醇联合卡铂标准化疗方案,随访至治疗后12个月。比较两组患者的近期客观缓解率(objective remission rate,ORR)和疾病控制率(disease control rate,DCR),以及肿瘤标志物(CEA、CA125)水平、靶病灶大小、疼痛缓解情况、卡氏功能状态(Karnofsky performance status,KPS)评分、生命质量测定量表(functional assessment of cancer therapy,FACT-O)评分及不良反应发生情况。结果治疗后,研究组ORR显著高于对照组(100.00%vs.40.74%,P<0.001);两组DCR差异无统计学意义(100.00%vs.85.19%,P=0.119)。治疗后3、6、9、12个月,研究组CEA、CA125水平均显著低于对照组(P<0.001);治疗后9、12个月,研究组靶病灶平均最大径显著小于对照组(P<0.01)。研究组疼痛缓解率(92.00%)高于对照组(72.00%),但差异无统计学意义(P=0.141);治疗后12个月KPS评分及FACT-O总体评分均优于对照组(P=0.034)。两组患者治疗相关不良反应主要包括发热、腹痛及恶心呕吐等,其中研究组分别为发热1例、腹痛2例和恶心呕吐1例,对照组发热2例、腹痛1例和恶心呕吐2例,且均未出现严重不良事件。结论超声引导下^(125)I粒子植入联合化疗可显著提高阴道残端复发性卵巢癌局部肿瘤缓解率,改善患者功能状态及生活质量,且安全性良好,可作为该类患者的一种有效个体化治疗选择。
