背景:骨代谢紊乱会引起骨相关疾病的发生,而叉头框转录因子O3可以通过调节氧化应激、自噬水平等来影响骨组织细胞增殖、分化与凋亡,调控骨代谢过程。目的:系统性分析叉头框转录因子O3调控骨代谢及其在骨科疾病中作用机制的相关研究文献...背景:骨代谢紊乱会引起骨相关疾病的发生,而叉头框转录因子O3可以通过调节氧化应激、自噬水平等来影响骨组织细胞增殖、分化与凋亡,调控骨代谢过程。目的:系统性分析叉头框转录因子O3调控骨代谢及其在骨科疾病中作用机制的相关研究文献,为后续以叉头框转录因子O3为靶点治疗骨疾病的研究提供参考。方法:以“(SU=FoxO3a OR SU=Foxo3 OR SU=Forkhead box O3 OR SU=叉头框转录因子O3)AND SU=骨”为检索句在中国知网进行检索,以“主题:(“FoxO3a”)OR主题:(“Foxo3”)OR主题:(“Forkhead box O3”)OR主题:(“叉头框转录因子O3”)AND主题:(“骨”)”为检索句在万方医学数据库进行检索;以“((FoxO3a)OR(Foxo3)OR(Forkhead box O3))AND((bone)OR(Skeleton))”为检索句在PubMed数据库进行检索,排除陈旧、重复、质量较差以及不相关的文献,最终纳入56篇文献进行综述分析。结果与结论:①叉头框转录因子O3与骨髓间充质干细胞:叉头框转录因子O3能够促进成骨谱系的形成,还可通过激活自噬促进早期成骨分化。同时,叉头框转录因子O3在骨髓间充质干细胞中体现抗氧化特性,保护细胞免受氧化应激诱导的衰老。②叉头框转录因子O3与成骨细胞:叉头框转录因子O3在成骨细胞中能通过干扰Wnt/β-连环蛋白通路抑制成骨,同时能激活抗氧化酶保护成熟成骨细胞。叉头框转录因子O3能促进成骨祖细胞的增殖,并通过激活自噬促进成骨分化。③叉头框转录因子O3与破骨细胞:叉头框转录因子O3表达可抵抗氧化应激和激活自噬抑制破骨细胞生成。④叉头框转录因子O3与骨细胞:叉头框转录因子O3可通过抗氧化作用保护骨细胞,还可通过抑制p16和p53信号通路和抑制衰老相关分泌表型来减少骨流失。⑤叉头框转录因子O3与软骨细胞:叉头框转录因子O3在骨关节炎中对软骨细胞起到保护作用,抑制软骨细胞分解或凋亡,促进软骨细胞外基质合成,可抑制软骨细胞肥大;然而,叉头框转录因子O3与Runt相关转录因子1在软骨细胞中高度共表达却会促进软骨祖细胞的早期软骨形成和终末肥大。⑥叉头框转录因子O3通过参与氧化应激抵抗与调控自噬等过程影响骨代谢,参与多类骨相关疾病的病理进程。展开更多
随着大语言模型(large language models,LLMs)(以下简称“大模型”)参数规模的持续增长,微调百亿级参数大模型对计算和存储资源提出了极高要求。传统分布式训练方案通常依赖大量高端GPU和高速互联网络,训练成本极为昂贵。现有单GPU训练...随着大语言模型(large language models,LLMs)(以下简称“大模型”)参数规模的持续增长,微调百亿级参数大模型对计算和存储资源提出了极高要求。传统分布式训练方案通常依赖大量高端GPU和高速互联网络,训练成本极为昂贵。现有单GPU训练方案虽通过张量卸载缓解显存压力,但仍然面临I/O传输效率低和设备利用率不足等问题。传统内核态I/O操作在大规模张量迁移中引入频繁的系统调用和上下文切换,成为制约性能的关键瓶颈;同时,优化器计算无法充分发挥多核CPU的并行能力,难以实现与GPU计算的有效重叠,进一步限制了系统性能。针对上述问题,提出了一种面向大模型训练的异构内存卸载与I/O优化方案HiTrain。首先构建了基于存储性能开发工具包(storage performance development kit,SPDK)的高性能张量存储模块,通过在用户态管理张量数据,避免了内核I/O栈开销,从而提高张量卸载的并发性与吞吐率;其次,设计并实现了基于异步优化器的存储-计算流水线调度模块,通过对优化器的执行进行优化重排来减少GPU等待时间,提高整体训练效率。实验结果表明,在配备单张GPU和非易失性存储器快速固态硬盘(non-volatile memory express solid state drive,NVMe SSD)的服务器上,所提出的方案能够充分利用系统中的存算资源,使得模型训练过程中张量卸载与加载效率提升32.7%,整体训练吞吐提升至现有方案的1.49倍,为低成本大模型训练提供了切实可行的技术路径。展开更多
文摘背景:骨代谢紊乱会引起骨相关疾病的发生,而叉头框转录因子O3可以通过调节氧化应激、自噬水平等来影响骨组织细胞增殖、分化与凋亡,调控骨代谢过程。目的:系统性分析叉头框转录因子O3调控骨代谢及其在骨科疾病中作用机制的相关研究文献,为后续以叉头框转录因子O3为靶点治疗骨疾病的研究提供参考。方法:以“(SU=FoxO3a OR SU=Foxo3 OR SU=Forkhead box O3 OR SU=叉头框转录因子O3)AND SU=骨”为检索句在中国知网进行检索,以“主题:(“FoxO3a”)OR主题:(“Foxo3”)OR主题:(“Forkhead box O3”)OR主题:(“叉头框转录因子O3”)AND主题:(“骨”)”为检索句在万方医学数据库进行检索;以“((FoxO3a)OR(Foxo3)OR(Forkhead box O3))AND((bone)OR(Skeleton))”为检索句在PubMed数据库进行检索,排除陈旧、重复、质量较差以及不相关的文献,最终纳入56篇文献进行综述分析。结果与结论:①叉头框转录因子O3与骨髓间充质干细胞:叉头框转录因子O3能够促进成骨谱系的形成,还可通过激活自噬促进早期成骨分化。同时,叉头框转录因子O3在骨髓间充质干细胞中体现抗氧化特性,保护细胞免受氧化应激诱导的衰老。②叉头框转录因子O3与成骨细胞:叉头框转录因子O3在成骨细胞中能通过干扰Wnt/β-连环蛋白通路抑制成骨,同时能激活抗氧化酶保护成熟成骨细胞。叉头框转录因子O3能促进成骨祖细胞的增殖,并通过激活自噬促进成骨分化。③叉头框转录因子O3与破骨细胞:叉头框转录因子O3表达可抵抗氧化应激和激活自噬抑制破骨细胞生成。④叉头框转录因子O3与骨细胞:叉头框转录因子O3可通过抗氧化作用保护骨细胞,还可通过抑制p16和p53信号通路和抑制衰老相关分泌表型来减少骨流失。⑤叉头框转录因子O3与软骨细胞:叉头框转录因子O3在骨关节炎中对软骨细胞起到保护作用,抑制软骨细胞分解或凋亡,促进软骨细胞外基质合成,可抑制软骨细胞肥大;然而,叉头框转录因子O3与Runt相关转录因子1在软骨细胞中高度共表达却会促进软骨祖细胞的早期软骨形成和终末肥大。⑥叉头框转录因子O3通过参与氧化应激抵抗与调控自噬等过程影响骨代谢,参与多类骨相关疾病的病理进程。
文摘随着大语言模型(large language models,LLMs)(以下简称“大模型”)参数规模的持续增长,微调百亿级参数大模型对计算和存储资源提出了极高要求。传统分布式训练方案通常依赖大量高端GPU和高速互联网络,训练成本极为昂贵。现有单GPU训练方案虽通过张量卸载缓解显存压力,但仍然面临I/O传输效率低和设备利用率不足等问题。传统内核态I/O操作在大规模张量迁移中引入频繁的系统调用和上下文切换,成为制约性能的关键瓶颈;同时,优化器计算无法充分发挥多核CPU的并行能力,难以实现与GPU计算的有效重叠,进一步限制了系统性能。针对上述问题,提出了一种面向大模型训练的异构内存卸载与I/O优化方案HiTrain。首先构建了基于存储性能开发工具包(storage performance development kit,SPDK)的高性能张量存储模块,通过在用户态管理张量数据,避免了内核I/O栈开销,从而提高张量卸载的并发性与吞吐率;其次,设计并实现了基于异步优化器的存储-计算流水线调度模块,通过对优化器的执行进行优化重排来减少GPU等待时间,提高整体训练效率。实验结果表明,在配备单张GPU和非易失性存储器快速固态硬盘(non-volatile memory express solid state drive,NVMe SSD)的服务器上,所提出的方案能够充分利用系统中的存算资源,使得模型训练过程中张量卸载与加载效率提升32.7%,整体训练吞吐提升至现有方案的1.49倍,为低成本大模型训练提供了切实可行的技术路径。
