近期语言模型领域的进展显示,采用Transformer架构的大型预训练模型在自然语言处理应用中表现出优异的技术能力。然而,受限于GPU内存,训练大语言模型(large language models,LLMs)成为了一项挑战。张量并行方法要求单个GPU存储所有激活...近期语言模型领域的进展显示,采用Transformer架构的大型预训练模型在自然语言处理应用中表现出优异的技术能力。然而,受限于GPU内存,训练大语言模型(large language models,LLMs)成为了一项挑战。张量并行方法要求单个GPU存储所有激活值,难以突破内存瓶颈。为解决GPU内存对大语言模型训练的制约并提升训练效率,本文提出一种二维张量并行方法(2D tensor parallelism,TP2D)。2D张量并行将输入数据和参数矩阵分割并分配至4个GPU;采用分布式通信,进行GPU间数据的高速交互,实现真正的分布式并行训练。以GPT-2模型作为基准模型,测试了两种训练方法的软扩展(soft scaling)效率和训练效率。实验表明,当使用4块GPU时,2D张量并行的训练速度是张量并行的1.84倍,软扩展效率达到86%,并降低了内存占用。展开更多
可追溯体系作为控制农产品质量安全的有效方法日益受到世界各国重视,供应链各环节与溯源中心间的异构数据交换是建立以政府监管为中心的农产品溯源系统急需解决的问题。XML(eXtensible Markup Language,可扩展标记语言)是先进的网络语...可追溯体系作为控制农产品质量安全的有效方法日益受到世界各国重视,供应链各环节与溯源中心间的异构数据交换是建立以政府监管为中心的农产品溯源系统急需解决的问题。XML(eXtensible Markup Language,可扩展标记语言)是先进的网络语言标准和网络信息共享的重要工具,采用可扩展标记可描述各种数据结构。该文在分析供应链数据流基础上,总结蔬菜溯源数据模型;以实现数据无缝交换为目标,基于XML构建了VTML(Markup Language for VegetableTraceability,蔬菜溯源信息描述语言),并设计了VTML Schema;应用VTML于蔬菜溯源系统数据交换。结果表明,采用ADO.NET开发数据交换接口,以VTML语言为基础的数据交换模式,通过VTML文档和关系型数据库数据间的映射,屏蔽了数据源间的差异。应用VTML是实现蔬菜溯源数据交换的有效手段。展开更多
为满足汽车进一步智能化的需要,同时支持时间触发与事件触发服务兼具设计与调度灵活性成为汽车总线发展的方向,针对当前现有车上控制器局域网络(Controller area network,CAN)总线不能有效处理时间触发的周期性信息,时间触发的控制器局...为满足汽车进一步智能化的需要,同时支持时间触发与事件触发服务兼具设计与调度灵活性成为汽车总线发展的方向,针对当前现有车上控制器局域网络(Controller area network,CAN)总线不能有效处理时间触发的周期性信息,时间触发的控制器局域网络(Time-triggered CAN,TTCAN)协议具有时间触发功能但缺乏信息调度的灵活性等问题,分析基于动态规划的柔性时间触发控制器局域网络(Flexible time-triggered CAN,FTTCAN),研究FTTCAN双相基本周期结构。分别推导出双相内基于动态规划调度的信息传输时间特性参数分析方法,并基于FTTCAN原理具体设计出纯电动汽车FTTCAN总线控制系统。采用动态规划方法设计出信息调度策略,对信息传输特性进行分析及与CAN方案对比。最后在CAN总线开发系统上进行FTTCAN协议运行试验。对比与试验结果验证了采用FTTCAN的方案兼具时间触发与事件触发服务功能,且具有较好灵活性特点,是汽车总线系统优化设计的好方法。展开更多
文摘可追溯体系作为控制农产品质量安全的有效方法日益受到世界各国重视,供应链各环节与溯源中心间的异构数据交换是建立以政府监管为中心的农产品溯源系统急需解决的问题。XML(eXtensible Markup Language,可扩展标记语言)是先进的网络语言标准和网络信息共享的重要工具,采用可扩展标记可描述各种数据结构。该文在分析供应链数据流基础上,总结蔬菜溯源数据模型;以实现数据无缝交换为目标,基于XML构建了VTML(Markup Language for VegetableTraceability,蔬菜溯源信息描述语言),并设计了VTML Schema;应用VTML于蔬菜溯源系统数据交换。结果表明,采用ADO.NET开发数据交换接口,以VTML语言为基础的数据交换模式,通过VTML文档和关系型数据库数据间的映射,屏蔽了数据源间的差异。应用VTML是实现蔬菜溯源数据交换的有效手段。
