期刊文献+
共找到6篇文章
< 1 >
每页显示 20 50 100
一种利用资源池技术的批量容器算力交付框架
1
作者 施凯 丁宇 范贵生 《微型电脑应用》 2025年第6期199-203,共5页
面对算力资源快速交付需求的持续攀升,云资源提供方通常面临诸多挑战。一方面,用户需要能够即时获得具备弹性差异化配置的容器资源;另一方面,还需保障算力交付链路具备高可用性、强稳定性以及高容错性。为此,提出一种利用资源池技术的... 面对算力资源快速交付需求的持续攀升,云资源提供方通常面临诸多挑战。一方面,用户需要能够即时获得具备弹性差异化配置的容器资源;另一方面,还需保障算力交付链路具备高可用性、强稳定性以及高容错性。为此,提出一种利用资源池技术的批量容器算力交付框架,探究容器在不同工作负载之间实施迁移的可行性,并清晰阐明基于可配置控制器组件的容器生产链路设计方案。实验结果表明,所提框架契合设计原理,并验证了借助资源池技术的容器生产链路具备实施快速资源交付的能力。 展开更多
关键词 容器算力 容器迁移 资源池 Kubernetes 弹性计算
在线阅读 下载PDF
Python在大数据挖掘和分析中的应用研究 被引量:15
2
作者 方骥 谢慧敏 《数字技术与应用》 2020年第9期75-76,81,共3页
本文探讨了数据挖掘技术简述,分析了Python的功能与特点,研究了Python在大数据挖掘、分析中的实际应用情况。
关键词 PYTHON 大数据 挖掘 分析
在线阅读 下载PDF
混部集群资源利用分析 被引量:9
3
作者 葛浙奉 王济伟 +6 位作者 蒋从锋 张纪林 俞俊 林江彬 闫龙川 任祖杰 万健 《计算机学报》 EI CSCD 北大核心 2020年第6期1103-1122,共20页
现代互联网数据中心的规模随应用服务需求的增长而越来越大,但数据中心资源利用率低已逐步成为云计算进一步发展的制约因素.为了提高数据中心的资源利用率,云服务提供商将在线服务和离线批处理作业混合部署到同一个生产集群中.但混合部... 现代互联网数据中心的规模随应用服务需求的增长而越来越大,但数据中心资源利用率低已逐步成为云计算进一步发展的制约因素.为了提高数据中心的资源利用率,云服务提供商将在线服务和离线批处理作业混合部署到同一个生产集群中.但混合部署增加了数据中心管理系统复杂性,对数据中心系统调度和工作负载分配提出了新的挑战.本文从资源使用角度出发,统计分析了阿里巴巴最新发布的包含4034台机器长达8天的混部集群日志数据集,刻画了机器对离线批处理任务与在线服务容器资源分配策略,以及离线批处理作业与在线服务之间的相互干扰.并根据不同的负载特征,以多种方式对机器进行分类,研究机器分工对集群效率提升的意义.通过分析阿里巴巴集群日志数据集,我们发现:(1)集群中43.271%的机器存在容器对CPU核心“超订”现象,而内存不存在“超订”现象;(2)集群中存在“备用节点”,确保集群出现故障时,任务能及时被转移到“备用节点”继续执行;(3)延迟敏感的在线任务的CPU利用率较低,但对内存资源的需求比较高,而离线批处理作业的CPU利用率较高,在线任务和离线任务的资源占用互补;(4)混合部署显著提高了CPU利用率,而内存可能是限制集群性能的主要因素;(5)集群中容器分布存在不平衡性;(6)离线任务的混合部署导致容器内存利用率有所下降,且当在线服务资源需求激增时,调度器缺少一定的容错性和健壮性;(7)离线任务如何部署与容器当前性能紧密相关,尤其是容器CPI指标,与离线任务部署呈现显著相关性.本文对集群负载特性、资源使用及离线和在线任务相互干扰进行研究,有助于其他研究人员对集群系统调度和负载分配分析优化,以提高现代数据中心的资源利用率. 展开更多
关键词 混部集群 资源利用 负载特性 在线服务 批处理作业 调度 服务质量 数据中心
在线阅读 下载PDF
混部数据中心在线离线服务特征分析
4
作者 陈圣蕾 裘翼滔 +6 位作者 蒋从锋 张纪林 俞俊 林江彬 闫龙川 任祖杰 万健 《计算机科学与探索》 CSCD 北大核心 2022年第4期822-834,共13页
为了在降低成本和减少能耗的同时提高云数据中心的资源利用率,目前许多云数据中心都采用了在线服务和离线任务混合部署的方式。虽然混合部署的方式能为数据中心带来许多益处,但它增加了任务调度的复杂性,同时对保障服务的高可靠、低延... 为了在降低成本和减少能耗的同时提高云数据中心的资源利用率,目前许多云数据中心都采用了在线服务和离线任务混合部署的方式。虽然混合部署的方式能为数据中心带来许多益处,但它增加了任务调度的复杂性,同时对保障服务的高可靠、低延迟带来了一系列的挑战。深入分析了阿里巴巴数据中心中某一个含有4034台服务器的集群在8天时间内所有在线服务和离线任务的运行状况。从数据分析结果中得出以下结论:首先,从在线服务的运行情况来看,所有容器的平均CPU利用率存在周期性变化,在每天的早8点到晚9点维持在一个较高水平,并且在每天凌晨4点回落到最低点。其次,对离线任务来说,除去第一天和第八天,剩下6天中任务提交峰值都集中在每天的同一时刻。95%实例的运行时间都在199s以内,但是有0.052%的实例运行时间在1h以上甚至会持续几天。然后,对于应用程序的相关情况,不同应用部署的容器数量存在较大差异,一个应用最多使用629个容器,最少使用1个容器。最后,对服务器、在线任务以及批处理实例进行了聚类分析,相对高资源利用率的容器占了所有容器的绝大部分,低资源利用率、短执行时间的实例则占了总实例的绝大部分。提出的发现和建议有助于数据中心管理者更详细地了解工作负载的特性,从而提高数据中心的资源利用率和各任务的容错性。 展开更多
关键词 数据中心 工作负载特性 在线服务 离线任务 调度
在线阅读 下载PDF
HPN:阿里云大模型训练网络架构 被引量:1
5
作者 钱坤 翟恩南 操佳敏 《中兴通讯技术》 北大核心 2024年第6期63-67,共5页
介绍了阿里云用于大型语言模型(LLM)训练的数据中心网络架构高性能网络(HPN)。HPN通过双上联、多轨、双平面的网络架构设计,避免了单链路故障带来的严重连通性影响,并且避免了哈希极化的产生。实验表明,HPN将LLM训练的端到端性能提升超... 介绍了阿里云用于大型语言模型(LLM)训练的数据中心网络架构高性能网络(HPN)。HPN通过双上联、多轨、双平面的网络架构设计,避免了单链路故障带来的严重连通性影响,并且避免了哈希极化的产生。实验表明,HPN将LLM训练的端到端性能提升超过14.9%。HPN已在阿里的生产环境中部署了超过1年。 展开更多
关键词 大模型训练 网络架构 数据中心网络
在线阅读 下载PDF
COVID-19 data visualization public welfare activity
6
作者 Yiting Wang Ting Wang +4 位作者 Ying Cui Honghui Mei Xiao Wen Jinzhi Lu Wei Chen 《Visual Informatics》 EI 2020年第3期51-54,共4页
The coronavirus disease 2019(COVID-19)pandemic started in early 2020.At the beginning of February,a public welfare activity in epidemic data visualization,jointly launched by China Computer Federation(CCF)(CCF)CAD&... The coronavirus disease 2019(COVID-19)pandemic started in early 2020.At the beginning of February,a public welfare activity in epidemic data visualization,jointly launched by China Computer Federation(CCF)(CCF)CAD&CG Technical Committee,Alibaba Cloud Tianchi(Alibaba Cloud Tianch),JiqiZhixin(JiqiZhixin),Alibaba Cloud DataV(Alibaba Cloud DataV),and DataWhale(DataWhale),was launched with the theme‘‘Fighting the Epidemic with One Mind and Talents like Tianchi.’’Developers in general are expected to focus on several demand scenarios,such as epidemic situation display,epidemic popular science,trend prediction,material-supply situation,and rework and return situation of employees from all sectors and areas,to discover the relationship between complex heterogeneous multi-source data,develop various upbeat works and present useful information to the public in a coherent manner.The entry works take the form of data visualization and are divided into two categories:popular science publicity and application scenarios.The popular science publicity category includes works for the public,focused on epidemic situation display,epidemic popular science publicity,epidemic prevention and control,and others.The application scenario category consists of the works of frontline officers,which can provide anti-epidemic workers with effective data tools for efficient and intuitive epidemic analysis;offer reliable,understandable,and easily transmitted information for disease prevention;and assist governments,enterprises,and institutions in the fight against COVID-19. 展开更多
关键词 RETURN DEVELOPER PREVENTION
原文传递
上一页 1 下一页 到第
使用帮助 返回顶部