基于HYB格式稀疏矩阵与向量乘在CPU+GPU异构系统中的实现与优化 被引量：7

1

作者 阳王东 李肯立 《计算机工程与科学》 CSCD 北大核心 2016年第2期202-209,共8页

稀疏矩阵与向量相乘SpMV是求解稀疏线性系统中的一个重要问题,但是由于非零元素的稀疏性,计算密度较低,造成计算效率不高。针对稀疏矩阵存在的一些不规则性,利用混合存储格式来进行SpMV计算,能够提高对稀疏矩阵的压缩效率,并扩大其适应... 稀疏矩阵与向量相乘SpMV是求解稀疏线性系统中的一个重要问题,但是由于非零元素的稀疏性,计算密度较低,造成计算效率不高。针对稀疏矩阵存在的一些不规则性,利用混合存储格式来进行SpMV计算,能够提高对稀疏矩阵的压缩效率,并扩大其适应范围。HYB是一种广泛使用的混合压缩格式,其性能较为稳定。而随着GPU并行计算得到普遍应用以及CPU日趋多核化,因此利用GPU和多核CPU构建异构并行计算系统得到了普遍的认可。针对稀疏矩阵的HYB存储格式中的ELL和COO存储特征,把两部分数据分别分割到CPU和GPU进行协同并行计算,既能充分利用CPU和GPU的计算资源,又能够发挥CPU和GPU的计算特性,从而提高了计算资源的利用效能。在分析CPU+GPU异构计算模式的特征的基础上,对混合格式的数据分割和共享方面进行优化,能够较好地发挥在异构计算环境的优势,提高计算性能。 展开更多

关键词 GPU 稀疏矩阵 SpMV CUDA 异构计算

在线阅读 下载PDF 职称材料

面向服务框架的船舶引航业务

2

作者 冯锡炜 关沧 +1 位作者 汪俭华 秦航 《上海海事大学学报》 北大核心 2012年第4期20-23,44,共5页

基于船舶引航业务对信息查询的及时性要求很高,在总结国内引航业务基础上,设计引航业务功能流程结构;讨论船舶引航业务面向服务框架,包括资源服务主动发现模型结构、丰富对外接口服务、主动个性化访问信息的方式.核心内容是构建船舶引... 基于船舶引航业务对信息查询的及时性要求很高,在总结国内引航业务基础上,设计引航业务功能流程结构;讨论船舶引航业务面向服务框架,包括资源服务主动发现模型结构、丰富对外接口服务、主动个性化访问信息的方式.核心内容是构建船舶引航业务领域本体,面向服务的软件结构,资源服务主动发现机制和基于语义的发布/订阅匹配算法.将船舶引航业务面向服务框架实施于多个引航业务系统验证,该框架具有很高的兼容性、领域资源访问的主动性和提供个性化服务的广播性. 展开更多

关键词 船舶引航 领域本体 发布 订阅 主动发现 面向服务

在线阅读 下载PDF 职称材料

云计算环境下朴素贝叶斯文本分类算法的实现 被引量：21

3

作者 江小平 李成华 +1 位作者 向文 张新访 《计算机应用》 CSCD 北大核心 2011年第9期2551-2554,2566,共5页

采用分布式编程MapReduce模型研究了文本统一格式预处理、训练、测试以及分类等基于朴素贝叶斯文本分类算法主要计算过程的MapReduce并行化方法,并在Hadoop云计算平台进行了实验。实验结果表明:朴素贝叶斯文本分类算法MapReduce并行化后... 采用分布式编程MapReduce模型研究了文本统一格式预处理、训练、测试以及分类等基于朴素贝叶斯文本分类算法主要计算过程的MapReduce并行化方法,并在Hadoop云计算平台进行了实验。实验结果表明:朴素贝叶斯文本分类算法MapReduce并行化后在Hadoop云计算平台上部署运行,具有较好的加速比,对中文网页文本分类识别率达到了86%。 展开更多

关键词 云计算 并行计算 MapReduce编程模型 文本分类 朴素贝叶斯算法

在线阅读 下载PDF 职称材料

基于纠删码和动态副本策略的HDFS改进系统 被引量：10

4

作者 李晓恺 代翔 +1 位作者 李文杰 崔喆 《计算机应用》 CSCD 北大核心 2012年第8期2150-2153,2158,共5页

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机... 为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。 展开更多

关键词 HADOOP分布式文件系统 分布式存储 数据容灾 负载均衡 动态副本

在线阅读 下载PDF 职称材料

云采购平台虚拟供应商资源动态分配 被引量：5

5

作者 黄莉 丁一 +1 位作者 姚锦元 林国龙 《计算机应用》 CSCD 北大核心 2014年第2期377-381,共5页

重点探讨将云计算技术运用到采购环节中,构建云采购平台,探讨如何分配载有虚拟供应商资源的虚拟机,改善顾客满足情况。首先提出了云采购平台的概念,假设虚拟机载有供应商资源;其次提出了载有虚拟供应商资源的虚拟机分配流程,并且建立模... 重点探讨将云计算技术运用到采购环节中,构建云采购平台,探讨如何分配载有虚拟供应商资源的虚拟机,改善顾客满足情况。首先提出了云采购平台的概念,假设虚拟机载有供应商资源;其次提出了载有虚拟供应商资源的虚拟机分配流程,并且建立模型;然后分别采用最佳递减匹配(BFD)方法和仪跟踪多群粒子群优化(FTMPSO)算法对其求解;最后分析求解结果。采用最佳递减匹配算法时,优先满足的属性不同,得到的顾客满足情况不同;仪跟踪多群粒子群优化算法对虚拟供应商资源进行分配得到的顾客满足率高于用最佳递减匹配算法对虚拟供应商资源进行分配的顾客满足率。 展开更多

关键词 虚拟供应商资源 虚拟机 物理服务器 客户需求 满足率

在线阅读 下载PDF 职称材料

Hadoop任务分配策略的改进 被引量：4

6

作者 黄承真 王雷 +1 位作者 刘小龙 况亚萍 《计算机应用》 CSCD 北大核心 2013年第8期2158-2162,共5页

Hadoop广泛应用于大数据的并行处理,其现有的任务分配策略多面向同构环境,或者没有充分利用集群的全局信息,或者在异构环境下无法兼顾执行效率与算法复杂度。针对这些问题,提出异构环境下的任务分配算法λ-Flow算法,将原先一次完成的任... Hadoop广泛应用于大数据的并行处理,其现有的任务分配策略多面向同构环境,或者没有充分利用集群的全局信息,或者在异构环境下无法兼顾执行效率与算法复杂度。针对这些问题,提出异构环境下的任务分配算法λ-Flow算法,将原先一次完成的任务分配过程划分成多轮,每轮基于当前集群状态,以及上轮任务的执行情况,动态进行任务分配,直至全部任务分配结束,以期达到最优执行效率。通过与其他算法对比实验表明,λ-Flow算法能够更好地适应集群的动态变化,有效减少作业执行时间。 展开更多

关键词 HADOOP MAPREDUCE 任务分配 异构环境 最小费用最大流

在线阅读 下载PDF 职称材料

云模式用户行为关联聚类的协同过滤推荐算法 被引量：9

7

作者 王雪蓉 万年红 《计算机应用》 CSCD 北大核心 2011年第9期2421-2425,共5页

传统的协同过滤推荐算法基于互联网模式单纯从某个角度研究电子商务推荐问题,推荐质量明显不高。为改善推荐效果,提高推荐系统的伸缩性和实用价值,基于研究云模式的用户行为相似性度量公式、用户行为等级函数、关联规则函数,定义关联聚... 传统的协同过滤推荐算法基于互联网模式单纯从某个角度研究电子商务推荐问题,推荐质量明显不高。为改善推荐效果,提高推荐系统的伸缩性和实用价值,基于研究云模式的用户行为相似性度量公式、用户行为等级函数、关联规则函数,定义关联聚类方法,改进相应算法,提出一种云模式用户行为关联聚类的协同过滤推荐算法。最后使用MovieLens和阿里巴巴的云测试数据进行局部实验与全局实验,并对各种算法的实验结果进行对比分析。实验结果表明,该算法推荐效果明显优于传统算法,具有较强的伸缩性和较高的实用价值。 展开更多

关键词 云模式 用户行为 相似性度量 关联规则 聚类 协同过滤推荐

在线阅读 下载PDF 职称材料

海量文件系统中基于特征实现文件多维度浏览 被引量：2

8

作者 贺扬 何连跃 +2 位作者 陈博 徐俊 徐照淼 《计算机工程与科学》 CSCD 北大核心 2017年第5期849-854,共6页

SMDFS可以高效地管理百亿级数量文件。然而针对照片、音乐等海量数据,往往需要从多个维度快速浏览文件,基于目录结构管理海量文件的传统文件组织方式很难满足这一要求。在SMDFS文件系统基础之上,为文件引入特征属性,并提出基于特征的海... SMDFS可以高效地管理百亿级数量文件。然而针对照片、音乐等海量数据,往往需要从多个维度快速浏览文件,基于目录结构管理海量文件的传统文件组织方式很难满足这一要求。在SMDFS文件系统基础之上,为文件引入特征属性,并提出基于特征的海量小文件倒排索引技术和分布索引技术,使SMDFS可根据多个特征快速浏览文件。实验数据表明,支持特征的SMDFS能为海量小文件提供高效管理和多维度快速浏览能力,同时基于文件目录结构访问海量小文件的性能并没有明显下降。 展开更多

关键词 海量小文件 检索 倒排索引 动态重构

在线阅读 下载PDF 职称材料

面向移动设备的温度感知的任务调度算法 被引量：1

9

作者 莫文导 利业鞑 +1 位作者 温昂展 林伟伟 《计算机工程与科学》 CSCD 北大核心 2017年第4期627-633,共7页

由于志愿者分布式计算可以为计算量庞大的科研项目提供足够的计算能力,甚至比超级计算机的计算能力还要强大,因此,志愿者分布式计算技术受到了很多研究人员的关注,很多不同的志愿者分布式计算架构被广泛应用。以往的很多志愿者分布式计... 由于志愿者分布式计算可以为计算量庞大的科研项目提供足够的计算能力,甚至比超级计算机的计算能力还要强大,因此,志愿者分布式计算技术受到了很多研究人员的关注,很多不同的志愿者分布式计算架构被广泛应用。以往的很多志愿者分布式计算架构通常考虑的志愿者主机是PC电脑,或者单纯地把移动设备当作PC电脑一样进行处理。由于移动设备的很多特性跟PC电脑存在着很大的差异,所以很多时候这些志愿者分布式计算架构并不能高效地处理同时拥有PC电脑和移动设备志愿者的志愿计算项目。针对志愿者分布式计算系统上两个主流的志愿者分布式计算任务调度方法——迭代计算的任务调度算法和先来先服务的调度算法FCFS在处理移动设备志愿者计算上存在着的不足,为了提高志愿者分布式计算平台的执行效率,提出了一个面向移动设备的温度感知的任务调度算法TATSA。实验结果表明,TATSA比主流的任务调度算法ISA和FCFS在移动设备志愿者计算时效率明显更高。 展开更多

关键词 任务调度 温度感知 移动设备 志愿者分布式计算

在线阅读 下载PDF 职称材料

“天河一号”大规模科学与工程计算应用 被引量：2

10

作者 雷秀丽 张婷 +4 位作者 赵洋 冯景华 徐斌 孟祥飞 朱小谦 《计算机工程与科学》 CSCD 北大核心 2012年第8期176-183,共8页

安装在国家超级计算天津中心(以下简称天津超算中心)的"天河一号"超级计算机系统是目前世界上最快的超级计算机,已广泛应用于多个高性能计算领域,并取得了一系列具有国际影响力的应用成果。本文主要介绍了"天河一号"... 安装在国家超级计算天津中心(以下简称天津超算中心)的"天河一号"超级计算机系统是目前世界上最快的超级计算机,已广泛应用于多个高性能计算领域,并取得了一系列具有国际影响力的应用成果。本文主要介绍了"天河一号"在石油勘探数据处理、生物信息与生物医药、环境科学、工程仿真、磁约束聚变领域的最新应用成果,其成果表明"天河一号"在上述领域具有良好的可扩展性和并行效率,对自主科技创新和产业技术提升给予了巨大支撑。 展开更多

关键词 天河一号 并行计算 大规模科学计算 工程仿真 GPU

在线阅读 下载PDF 职称材料

基于云计算本体模型的实时库存交易系统设计 被引量：1

11

作者 陈开军 《物流技术》 北大核心 2012年第6期69-71,共3页

针对企业商务交易智能实现的客观需求,研究云计算本体模型,以该模型为开发平台设计企业商务智能在线交易系统,该系统能实现企业信息实时查询在线交易目的。

关键词 云计算 本体技术 数据云 实时库存 模型

在线阅读 下载PDF 职称材料

对企业即时通系统的应用与设计

12

作者 李萍 刘海燕 《煤炭技术》 CAS 北大核心 2013年第5期265-267,共3页

随着internet的出现和发展,电脑网络对人类的生活、工作等产生了巨大的影响,在这个互联网和人们生活联系越来越紧密的时代,通过即时通讯软件进行交流已经逐渐成为一种重要交流方式。系统用Java语言实现,采用C/S模式,以MyEclipse 6.0为... 随着internet的出现和发展,电脑网络对人类的生活、工作等产生了巨大的影响,在这个互联网和人们生活联系越来越紧密的时代,通过即时通讯软件进行交流已经逐渐成为一种重要交流方式。系统用Java语言实现,采用C/S模式,以MyEclipse 6.0为开发工具,配以SQL Server数据库。最后,文章详细叙述了即时系统的主要设计思路,并对其主要功能的实现过程进行详细的描述。 展开更多

关键词 企业即时通 JAVA C S模式 TCP IP

原文传递

异构系统中基于可用性的粒子群任务调度算法

13

作者 李大普 陈光喜 李肯立 《计算机工程与科学》 CSCD 北大核心 2012年第6期44-49,共6页

任务调度技术是并行分布式系统中的关键技术之一,对系统的性能起着重要作用,但通常情况下大型系统的任务调度问题属于NP问题。而现代启发式生物进化算法是找出很多NP问题近似解的有效方法。本文将粒子群算法应用于基于可用性的网格系统... 任务调度技术是并行分布式系统中的关键技术之一,对系统的性能起着重要作用,但通常情况下大型系统的任务调度问题属于NP问题。而现代启发式生物进化算法是找出很多NP问题近似解的有效方法。本文将粒子群算法应用于基于可用性的网格系统调度中,提出了一种调度算法,对算法的性能进行了理论分析和模拟实验。结果表明:和最近文献中的基于可用性的调度算法SSAC相比,所提出的新算法在保证系统资源具有同样的可用性条件下,能够产生更好的调度长度。 展开更多

关键词 并行与分布式处理 异构系统 任务调度 可用性 粒子群算法

在线阅读 下载PDF 职称材料

用于评价推荐系统的多样性指数的研究 被引量：1

14

作者 孙琛恺 安俊秀 《成都信息工程大学学报》 2021年第3期253-258,共6页

针对当今数据量的庞大导致用户获取所需信息困难以及推荐系统评价体系缺乏多样性评价指标的问题,提出基于三部图校准的Herfindahl多样性指数,通过该指标来量化推荐系统的多样性。首先,根据设定好的分类方式进行URL分类;进而设计形成“类... 针对当今数据量的庞大导致用户获取所需信息困难以及推荐系统评价体系缺乏多样性评价指标的问题,提出基于三部图校准的Herfindahl多样性指数,通过该指标来量化推荐系统的多样性。首先,根据设定好的分类方式进行URL分类;进而设计形成“类别URL用户”的三部图;其次,对原本的Herfindahl指数进行改良,减少数量的差异对多样性的影响;最后,结合改良的Herfindahl多样性指数,得到推荐系统的多样性指数。多样性指数的出现有助于在评价推荐系统时,不仅关注推荐的准确与否,而且考虑推荐信息是否全面。实验表明,基于此实验提出的方法所得的改良后的Herfindahl指数可以对推荐系统类别受众多样性进行准确的量化。 展开更多

关键词 计算机软件与理论 推荐系统 Herfindahl指数 多样性指数 URL 三部图

在线阅读 下载PDF 职称材料

基于谈判博弈的分布式协同网络服务布局算法框架

15

作者 程国振 陈梓桓 张靖羽 《安阳工学院学报》 2021年第6期47-51,共5页

当前,互联网承载着大量服务,并被部署于整个网络中。网络服务的最优布局可以有效降低网络延迟,最大化用户效用,有助于保持互联网及其应用的良好运行。然而,由于服务实例的数量增长,请求模式及网络状态视图的动态变化,网络服务的最优布... 当前,互联网承载着大量服务,并被部署于整个网络中。网络服务的最优布局可以有效降低网络延迟,最大化用户效用,有助于保持互联网及其应用的良好运行。然而,由于服务实例的数量增长,请求模式及网络状态视图的动态变化,网络服务的最优布局难以计算。参考市场上的分布式讨价还价活动,将网络服务布局问题建模为纳什谈判博弈,并设计了一种基于讨价还价理论(bargain theory)的分布式协同网络服务布局算法,通过网络各节点的协同获取网络全局状态,求解服务的最优布局。仿真结果表明算法框架可以通过调节基本量以实现用户体验与网络效用之间的均衡。 展开更多

关键词 网络服务 谈判理论 分布式布局 梯度映射 纳什谈判解

在线阅读 下载PDF 职称材料

一种中断驱动系统的时间约束验证方法

16

作者 鞠秀芳 《新疆大学学报（自然科学版）》 CAS 2018年第2期188-194,共7页

中断是嵌入式系统进行实时响应的重要机制.以测试为基础的传统方法在处理中断驱动的系统时,由于系统可能的运行轨迹空间无穷,其有效性受到很大的影响.本文基于线性混成自动机有界验证技术提出一种对中断驱动系统的时间约束进行验证的方... 中断是嵌入式系统进行实时响应的重要机制.以测试为基础的传统方法在处理中断驱动的系统时,由于系统可能的运行轨迹空间无穷,其有效性受到很大的影响.本文基于线性混成自动机有界验证技术提出一种对中断驱动系统的时间约束进行验证的方法,应用线性混成自动机对中断驱动的系统建模,将时间约束验证问题转换成线性混成自动机上的路径可达性判定问题,并借助模型检验工具BACH来进行验证,以周期性中断源驱动的嵌入式系统为例,说明了方法的可行性和有效性. 展开更多

关键词 中断驱动的系统 时间约束 验证 线性混成自动机

在线阅读 下载PDF 职称材料

虚拟化在余热发电数据平台的应用

17

作者 路林涛 《科技创新与生产力》 2022年第4期116-119,123,共5页

本文根据太钢余热发电数据平台在运行过程中出现的服务器运行负荷不均衡、接口扩展占用资源高、系统可维护性差等问题进行分析,提出了基于应用虚拟化技术的数据软硬件平台的设计方案,即采用虚拟化方式将平台数据进行整体迁移,经过合理... 本文根据太钢余热发电数据平台在运行过程中出现的服务器运行负荷不均衡、接口扩展占用资源高、系统可维护性差等问题进行分析,提出了基于应用虚拟化技术的数据软硬件平台的设计方案,即采用虚拟化方式将平台数据进行整体迁移,经过合理的系统配置,在保证现有系统可靠迁移的基础上,减少服务器数量,指出新的虚拟化平台提升了数据转接处理能力、服务器和应用扩展能力,使整个余热发电数据平台的可靠性和业务连续性得到保证。 展开更多

关键词 余热发电 虚拟化 VMWARE

在线阅读 下载PDF 职称材料