面向Dataflow的异构集群混合式资源调度框架研究 被引量：6

1

作者 汤小春 赵全 +4 位作者 符莹 朱紫钰 丁朝 胡小雪 李战怀 《软件学报》 EI CSCD 北大核心 2022年第12期4704-4726,共23页

Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有... Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有效的CPU-GPU资源解耦方式,降低了资源使用效率.在分析现有的集群资源调度框架的基础上,设计并实现了一种可以感知批处理/流处理应用的混合式资源调度框架HRM.它以共享状态架构为基础,采用乐观封锁协议和悲观封锁协议相结合的方式,确保流处理作业和批处理作业的不同资源要求.在计算节点上,提供CPU-GPU资源的灵活绑定,采用队列堆叠技术,不但满足流处理作业的实时性需求,也减少了反馈延迟并实现了GPU资源的共享.通过模拟大规模作业的调度,结果显示,HRM的调度延迟只有集中式调度框架的75%左右;使用实际负载测试,批处理与流处理共享集群时,使用HRM调度框架,CPU资源利用率提高25%以上;而使用细粒度作业调度方法,不但GPU利用率提高2倍以上,作业的完成时间也能够减少50%左右. 展开更多

关键词 数据流模型 批处理 流处理 作业感知 CPU-GPU 队列堆叠

在线阅读 下载PDF 职称材料

H^(2)-LLM:面向基于异构混合键合的低批次大语言模型推理的硬件-数据流协同探索

2

作者 李聪 尹奕涵 孙广宇 《计算》 2025年第8期48-54,101,共8页

针对边缘端低批次大语言模型推理需求,现有近存处理架构设计因计算能力受限而加速效果不佳。为此,本研究提出了异构混合键合的低批次大语言模型(heterogeneous hybrid-bonding-basedlow-batch LLM,H^(2)-LLM),一种基于混合键合的异构加... 针对边缘端低批次大语言模型推理需求,现有近存处理架构设计因计算能力受限而加速效果不佳。为此,本研究提出了异构混合键合的低批次大语言模型(heterogeneous hybrid-bonding-basedlow-batch LLM,H^(2)-LLM),一种基于混合键合的异构加速器。H^(2)-LLM通过创新的异构架构设计对混合键合的计算能力与带宽进行权衡,并提出了以数据为中心的数据流抽象方法以充分挖掘低批次推理的加速潜力。利用设计空间探索框架,自动优化架构配置。相比现有片内近存处理架构和数据流实现,H^(2)-LLM在性能和能效上均实现了显著提升。 展开更多

关键词 大语言模型 混合键合 近存处理 异构加速 数据流优化 边缘计算

在线阅读 下载PDF 职称材料

基于数据流的大图中频繁模式挖掘算法研究 被引量：7

3

作者 汤小春 樊雪枫 +1 位作者 周佳文 李战怀 《计算机学报》 EI CSCD 北大核心 2020年第7期1293-1311,共19页

随着单个图数据规模的扩大以及应用领域的扩展,大规模单图的频繁模式挖掘的需求越来越强烈.传统的单机环境已经无法满足大规模图数据挖掘的要求,而现有的并行或者分布式环境下的挖掘方法,普遍受到并行性以及数据倾斜等问题的限制,论文... 随着单个图数据规模的扩大以及应用领域的扩展,大规模单图的频繁模式挖掘的需求越来越强烈.传统的单机环境已经无法满足大规模图数据挖掘的要求,而现有的并行或者分布式环境下的挖掘方法,普遍受到并行性以及数据倾斜等问题的限制,论文在分析了现有的频繁模式挖掘算法后,提出了一种基于数据流的单个大图频繁模式挖掘方法.首先,建立基于数据流的频繁模式挖掘模型,将MapReduce模型中的“批”数据变成“微批”数据,提高了数据处理的并行度,并且其迭代方式也满足频繁子图挖掘的反单调性;其二,设计了数据流模型中的频繁模式检查、子图实例扩展以及正规编码计算等操作,实现了基于数据流模型的频繁模式挖掘算法;其三,为解决正规编码计算中的复杂性问题,提出了基于不变关系的正规编码计算策略以及基于编码树的优化策略,优化正规编码比未优化编码的计算性能提升了30%,基于编码树的优化策略比原始编码计算策略在性能上提升了10%;最后,对涉及的相关算法进行了实验测试,实验证明,算法提高了频繁模式挖掘的并行性,大幅度减少了大图的搜索空间,降低了正规编码的计算时间,相比于传统算法大规模单图中频繁模式挖掘的效率提升了30%. 展开更多

关键词 图挖掘 频繁模式 数据流模型 并行算法 编码树

在线阅读 下载PDF 职称材料

数据流计算环境下的集群资源管理技术 被引量：3

4

作者 汤小春 符莹 +2 位作者 丁朝 毛安琪 李战怀 《大数据》 2020年第3期87-100,共14页

以集群为基础的高性能计算的发展经历了3个阶段的演化,即计算子系统与存储子系统的分离、计算子系统与存储子系统的融合以及以数据并行为基础的dataflow编程模型。随着Spark、Flink等数据流编程模型在大数据计算领域的广泛使用,计算作... 以集群为基础的高性能计算的发展经历了3个阶段的演化,即计算子系统与存储子系统的分离、计算子系统与存储子系统的融合以及以数据并行为基础的dataflow编程模型。随着Spark、Flink等数据流编程模型在大数据计算领域的广泛使用,计算作业类型千变万化,如何保证各种数据流计算作业对集群资源的共享使用是集群资源管理的核心,也是降低基础设施成本的主要手段。分析集群资源管理的历史变化,从数据流编程模型的角度出发,对HoD、集中式、双层调度、分布式以及混合式管理展开了深入的探索,介绍了其各自的优缺点以及应用现状,为数据流计算环境下的集群资源管理和调度的使用或者研发提供一定的参考和借鉴。 展开更多

关键词 数据流模型 集群资源 调度框架 大数据

在线阅读 下载PDF 职称材料

数据流计算研究进展与概述 被引量：2

5

作者 范志华 李文明 +1 位作者 叶笑春 范东睿 《数据与计算发展前沿》 CSCD 2021年第5期65-81,共17页

【目的】本文追溯数据流计算的起源,就数据流计算理论和系统的相关研究背景、关键技术展开介绍。【文献范围】本文整理上世纪60年代至今数据流计算相关的研究文献。【方法】从数据流的起源、软件系统、硬件架构研究进展三个方面介绍了... 【目的】本文追溯数据流计算的起源,就数据流计算理论和系统的相关研究背景、关键技术展开介绍。【文献范围】本文整理上世纪60年代至今数据流计算相关的研究文献。【方法】从数据流的起源、软件系统、硬件架构研究进展三个方面介绍了数据流计算的重要工作和关键技术。【结果】对数据流计算的发展趋势和挑战进行了分析与总结。【结论】本文将对未来数据流计算的研究提供参考,希望给该领域的研究人员带来一定的启发。 展开更多

关键词 数据流执行模型 数据流软件系统 数据流硬件架构

在线阅读 下载PDF 职称材料

基于数据流的指令级功耗建模方法 被引量：2

6

作者 曹庆年 田泽 强新建 《探测与控制学报》 CSCD 北大核心 2010年第1期19-22,29,共5页

在SoC系统中,嵌入式CPU内部的复杂性和应用需求使得其指令级功耗建模十分困难,为此提出了一种基于数据流的指令级功耗建模方法,考虑到了CPU内部信号变化对功耗的影响。采用包括了所有指令类型的7个算法程序作为样本的验证结果显示该模... 在SoC系统中,嵌入式CPU内部的复杂性和应用需求使得其指令级功耗建模十分困难,为此提出了一种基于数据流的指令级功耗建模方法,考虑到了CPU内部信号变化对功耗的影响。采用包括了所有指令类型的7个算法程序作为样本的验证结果显示该模型具有较快的执行速度和稳定的计算精度,可以为低功耗EDA软件设计提供指导。 展开更多

关键词 数据流 功耗建模 指令级 SOC 嵌入式

在线阅读 下载PDF 职称材料

医疗信息系统集成模型研究 被引量：6

7

作者 吕旭东 段会龙 《生物医学工程学杂志》 EI CAS CSCD 北大核心 2005年第1期108-112,共5页

医疗环境的复杂性决定了大量异构医疗信息系统的存在 ,系统集成不可避免。现有的医疗通讯标准往往都只解决了某一个方面的集成问题 ,不能提供一个全面的集成解决方案。本研究在对医疗信息系统集成应用进行分析的基础上 ,提出了医疗信息... 医疗环境的复杂性决定了大量异构医疗信息系统的存在 ,系统集成不可避免。现有的医疗通讯标准往往都只解决了某一个方面的集成问题 ,不能提供一个全面的集成解决方案。本研究在对医疗信息系统集成应用进行分析的基础上 ,提出了医疗信息系统集成模型 HIM(Healthcare integration m odel) ,并进一步对 HIM中的数据流集成框架、功能集成框架和界面集成框架分别进行了设计。它为系统集成提供了一个立体的解决方案 ,不但在纵向上包含了集成应用的三个侧面 ,而且在横向上涵盖了整个医疗领域。 展开更多

关键词 医疗信息系统集成模型 数据流集成 功能集成 医疗环境 服务器

暂未订购

异构多核计算系统的Codelet任务调度策略 被引量：2

8

作者 裴颂文 吕春龙 +1 位作者 宁钟 顾春华 《计算机应用研究》 CSCD 北大核心 2019年第5期1433-1436,1440,共5页

Codelet数据流计算模型在处理大规模并行计算任务时效果显著,但该模型目前缺少在异构多核环境中的任务调度策略。因此,提出了一种在异构多核环境下基于蚁群算法的Codelet任务调度策略。该调度策略将启发式算法与蚁群算法相融合,在发挥... Codelet数据流计算模型在处理大规模并行计算任务时效果显著,但该模型目前缺少在异构多核环境中的任务调度策略。因此,提出了一种在异构多核环境下基于蚁群算法的Codelet任务调度策略。该调度策略将启发式算法与蚁群算法相融合,在发挥各自优势的同时克服了启发式算法不能得出最优解的缺陷以及蚁群算法初始信息匮乏的问题。实验结果表明,智能蚁群任务调度策略相比Codelet运行时系统中原生的动态调度和静态调度策略具有更高的执行效率。 展开更多

关键词 数据流计算 Codelet模型 异构多核 蚁群算法 任务调度

在线阅读 下载PDF 职称材料

一种基于Petri网原理的数据流模型研究 被引量：1

9

作者 赵阳 易先清 罗雪山 《计算机科学》 CSCD 北大核心 2008年第11期189-191,共3页

数据是系统信息资源的主要表现形式,在信息系统的系统设计和系统分析过程中,数据流建模是一个不可缺少的核心环节。从分析数据资源的特点出发,重点介绍了一种基于Petri网原理的新型的数据流程建模方法——数据流Petri网(DSPN),给出了数... 数据是系统信息资源的主要表现形式,在信息系统的系统设计和系统分析过程中,数据流建模是一个不可缺少的核心环节。从分析数据资源的特点出发,重点介绍了一种基于Petri网原理的新型的数据流程建模方法——数据流Petri网(DSPN),给出了数据流Petri网模型的形式化定义和图形表示,并以求解裴波那契数列第n项数值为例,详细说明了数据流Petri网模型在数据流程建模上的表达能力和建模特点。 展开更多

关键词 数据资源 数据流 PETRI网 建模

在线阅读 下载PDF 职称材料

基于构件和数据流的可视化元计算环境 被引量：1

10

作者 李国东 王东奎 +1 位作者 杨海荣 张德富 《计算机科学》 CSCD 北大核心 2002年第10期139-143,共5页

1.介绍 1992年Smarr和Catlett首先提出了元计算的概念[1],他们认为,元计算就是把分布在广域网上的各种计算资源集合起来,并以一个整体的计算环境的形式提供给用户.元计算系统不但能提高系统整体的计算能力,而且它还集成了一些高性能专... 1.介绍 1992年Smarr和Catlett首先提出了元计算的概念[1],他们认为,元计算就是把分布在广域网上的各种计算资源集合起来,并以一个整体的计算环境的形式提供给用户.元计算系统不但能提高系统整体的计算能力,而且它还集成了一些高性能专用设备,使得很多普通用户也有机会能够使用它们. 展开更多

关键词 计算机网络 局域网 INTERNET 构件 数据流 可视化元计算环境

在线阅读 下载PDF 职称材料

EDFUSE:一个基于异步事件驱动的FUSE用户级文件系统框架 被引量：3

11

作者 段翰聪 王勇涛 李林 《计算机科学》 CSCD 北大核心 2012年第B06期389-391,共3页

开源FUSE文件系统用户模块实现方式采用多线程并发模型,在高并发条件下,线程间的同步将降低系统的吞吐率,增加响应时间。基于流水线分段数据通信思想和异步事件网络驱动模型,消除线程间的同步,通过优化文件和元数据缓存来提高缓存命中... 开源FUSE文件系统用户模块实现方式采用多线程并发模型,在高并发条件下,线程间的同步将降低系统的吞吐率,增加响应时间。基于流水线分段数据通信思想和异步事件网络驱动模型,消除线程间的同步,通过优化文件和元数据缓存来提高缓存命中率等方式,实现了异步事件驱动的FUSE用户级文件系统的用户态框架。实验结果表明,在大量请求环境下系统的吞吐率得到提高。 展开更多

关键词 用户级文件系统 多线程模型 异步事件驱动 流水线

在线阅读 下载PDF 职称材料

大数据云平台数据流量优化管理仿真 被引量：4

12

作者 周力臻 《计算机仿真》 CSCD 北大核心 2016年第12期462-465,共4页

对大数据云平台数据流量进行有效管理,可以更好地提升云网络环境的服务质量。对云平台数据流量进行管理时,流量的最优分流是最重要的环节,需要获取流量任务的动态优先级,根据不同的优先级进行流量管理,但是传统方法依据目标流量数据在... 对大数据云平台数据流量进行有效管理,可以更好地提升云网络环境的服务质量。对云平台数据流量进行管理时,流量的最优分流是最重要的环节,需要获取流量任务的动态优先级,根据不同的优先级进行流量管理,但是传统方法依据目标流量数据在流量数据节点传输的情况,对数据节点的流量进行计算完成流量管理,但是难以获取平台数据流量子任务动态优先级,不能根据优先级对流量进行动态调整,数据流量管理效果较差。提出一种大数据云平台数据流量优化管理模型。模型首先对平台数据流量分流任务的样本数据进行分析,计算总平台数据流量分流任务量,对当前状态下网络平台数据流量分流子任务量进行分类,获得平台数据流量分流动态优先级任务。对平台数据流量分流任务不同优先级指标进行规则化处理,组建各分流子任务优先级标准矩阵,给出全部平台数据流量分流任务的不同指标标准差,利用分流任务动态优先级权重因子计算分流平台数据流量数据任务的效率,融合粒子群理论对组建的平台数据流量分流模型进行迭代寻优,利用寻优的结果组建大数据云平台数据流量优化管理模型。仿真结果表明,所提模型可以大幅度提升云网络环境的服务质量。 展开更多

关键词 大数据分析 平台数据流量 最优分流模型

在线阅读 下载PDF 职称材料

基于Petri Nets的数据流结构设计与模拟 被引量：1

13

作者 瞿俊杰 陈咏恩 《同济大学学报（自然科学版）》 EI CAS CSCD 北大核心 2004年第3期411-415,共5页

数据流结构被广泛应用于数据流信号处理算法的硬件实现中 .通过建立数据流结构的PetriNets模型 ,动态模拟各个硬件处理单元在不同数据率输入信号下的状态 ,以此确定数据流结构中最佳的设计参数 。

关键词 数据流结构 PETRI NETS 硬件建模

在线阅读 下载PDF 职称材料

从面向功能到面向对象模型的转换策略研究 被引量：3

14

作者 付强 陈福生 《计算机工程与设计》 CSCD 北大核心 2007年第4期763-765,共3页

有不少软件公司在软件开发过程中同时使用了面向功能的和面向对象的技术,例如在开发某一系统时,在采用了面向功能的分析模式后又使用了面向对象的设计方法,因此找到一种方法来实现从一种模式向另一种模式的转换是相当有必要的。提出了... 有不少软件公司在软件开发过程中同时使用了面向功能的和面向对象的技术,例如在开发某一系统时,在采用了面向功能的分析模式后又使用了面向对象的设计方法,因此找到一种方法来实现从一种模式向另一种模式的转换是相当有必要的。提出了一种灵活可行的从面向功能的分析模型到面向对象的设计模型的转换策略。 展开更多

关键词 面向功能 面向对象 分析模型 设计模型 转换策略 数据流图

在线阅读 下载PDF 职称材料

数据流可视化语言的运行模型

15

作者 随阳轶 林君 +1 位作者 张晓拓 王世隆 《吉林大学学报（工学版）》 EI CAS CSCD 北大核心 2009年第6期1635-1640,共6页

提出了基于事件的异步运行模型(EADF),并给出了该模型的文法描述、调度算法以及在自主研制的面向虚拟仪器领域的DFVPL:LabScene2.0中的实现方法。以地面核磁共振找水仪的仿真系统为实例进行了分析说明。基于EADF的DFVPL减少了程序员在... 提出了基于事件的异步运行模型(EADF),并给出了该模型的文法描述、调度算法以及在自主研制的面向虚拟仪器领域的DFVPL:LabScene2.0中的实现方法。以地面核磁共振找水仪的仿真系统为实例进行了分析说明。基于EADF的DFVPL减少了程序员在并行计算上的设计,对于可静态规划的循环、计算量大的运算、网络和本地I/O资源的获取上性能有显著的提高。 展开更多

关键词 计算机软件 数据流 运行模型 数据流可视化语言 虚拟仪器

在线阅读 下载PDF 职称材料

面向最终用户的两级编程模型 被引量：1

16

作者 周鹏 刘金刚 《计算机工程与设计》 CSCD 北大核心 2012年第2期804-810,共7页

为适应构造混搭应用时用户对数据的动态变化的需求,在电子数据表和数据流的基础上,提出了一种面向最终用户的两级编程模型,采用基于电子数据表的自上而下的构造模式和基于数据流的自下而上的自适应修改模式构造混搭应用,该方式不仅可以... 为适应构造混搭应用时用户对数据的动态变化的需求,在电子数据表和数据流的基础上,提出了一种面向最终用户的两级编程模型,采用基于电子数据表的自上而下的构造模式和基于数据流的自下而上的自适应修改模式构造混搭应用,该方式不仅可以为用户提供电子数据表风格的数据呈现和编程方式,而且对数据流提供一组混搭修改机制支持用户快速撤销操作序列、更新组合应用以适应用户需求的变化,降低了构造混搭应用的复杂度,实验结果表明,该编程模型提高了混搭应用的效率。 展开更多

关键词 两级编程模型 最终用户 数据流 电子数据表 混搭

在线阅读 下载PDF 职称材料

学习分析系统构建研究 被引量：20

17

作者 马晓玲 邢万里 +1 位作者 冯翔 吴永和 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2014年第2期1-19,39,共20页

学习分析目前应用于教育的多个方面,但是还缺乏一个完整、清晰、可实施的学习数据系统.本文尝试构建一个开放的、全面的学习分析系统.综述了该领域研究近年的发展,并对若干重要概念进行了定义,给出了学习分析系统和数据的时空与交互演化... 学习分析目前应用于教育的多个方面,但是还缺乏一个完整、清晰、可实施的学习数据系统.本文尝试构建一个开放的、全面的学习分析系统.综述了该领域研究近年的发展,并对若干重要概念进行了定义,给出了学习分析系统和数据的时空与交互演化.着重分析了学习分析系统论域(LASUoD)、形式化建模学习分析系统信息空间模型[ΣR,ΣCR,ΣMT,ΣA,ΣW,ΣC],构建了学习分析系统架构,并分析了该系统中数据流程.提出了学习分析对象数据模型、学习分析系统本体(LASO)框架及学习分析系统标准组谱,以实现学习分析系统应用的互操作.最后,为了说明学习分析系统应用情况,展示了一个基于开源学习管理系统Sakai的学习分析实例. 展开更多

关键词 学习分析对象 学习分析系统 形式化建模 信息空间模型 系统架构 数据流分析 学习分析本体 学习分析标准

在线阅读 下载PDF 职称材料

基于构件的数据流软件可靠性模型

18

作者 徐钦桂 刘桂雄 《计算机科学》 CSCD 北大核心 2011年第7期134-138,共5页

基于构件的数据流软件由输入数据激活的构件确定程序执行路径,其可靠性受输入数据分布特性的影响,难以采用基于状态或基于路径等传统模型进行评测。提出一个结合构件执行频度和操作剖面的可靠性模型,其从分析数据流程序结构入手,通过定... 基于构件的数据流软件由输入数据激活的构件确定程序执行路径,其可靠性受输入数据分布特性的影响,难以采用基于状态或基于路径等传统模型进行评测。提出一个结合构件执行频度和操作剖面的可靠性模型,其从分析数据流程序结构入手,通过定义组合节点,将程序表示成多级层次结构的形式。根据构件间数据流和控制流关系,确定实际激活的构件,计算其执行频度,并将操作剖面沿着数据流向本层和下层构件传递。利用基于深度优先的递归算法思想,按照相反顺序,逐层估算各级组合节点的可靠性,最后获得整个软件的实际可靠性。应用实例表明,模型能有效地估算基于构件数据流软件的实际可靠性,反映输入接口有效数据就绪状态及分布特性。 展开更多

关键词 软件可靠性 体系结构可靠性模型 数据流软件 操作剖面

在线阅读 下载PDF 职称材料

数据流Java并行程序设计模型的设计、实现及运行时优化 被引量：6

19

作者 刘弢 范彬 +1 位作者 吴承勇 张兆庆 《软件学报》 EI CSCD 北大核心 2008年第9期2181-2190,共10页

提出了一种具有数据流特征的Java并行程序设计模型,并针对该模型提出了一种基于运行时信息反馈的自适应优化算法,使得运行时系统可以利用数据流程序所暴露出的数据并行性,加速程序的运行.此外,在该模型中加入了数据流多态的概念,扩展了... 提出了一种具有数据流特征的Java并行程序设计模型,并针对该模型提出了一种基于运行时信息反馈的自适应优化算法,使得运行时系统可以利用数据流程序所暴露出的数据并行性,加速程序的运行.此外,在该模型中加入了数据流多态的概念,扩展了该模型的面向对象特性.在一个实际的开放源码Java虚拟机中实现了上述程序设计模型及优化方法.在实际多核多线程机器上的实验结果表明,所提出的程序设计模型及优化能够充分利用硬件的并行处理能力,显著地提高了程序的性能. 展开更多

关键词 数据流 并行程序设计模型 可管理运行时环境 运行时优化

在线阅读 下载PDF 职称材料

基于JGraph的图像处理编程平台的实现 被引量：3

20

作者 杨林蛟 张鑫 《机电工程》 CAS 2011年第8期978-982,共5页

为了实现一个图像处理可视化编程平台,首先在数据流模型的基础上,构建了一个树形数据流模型和调度算法,并使用该模型作为图像处理可视化编程平台的基础运行模型;然后在开源软件JGraph的基础上,给出了平台的总体设计、基本图元设计和具... 为了实现一个图像处理可视化编程平台,首先在数据流模型的基础上,构建了一个树形数据流模型和调度算法,并使用该模型作为图像处理可视化编程平台的基础运行模型;然后在开源软件JGraph的基础上,给出了平台的总体设计、基本图元设计和具体实现方法。实验结果表明,与传统的图像处理编程软件相比较,该平台易于掌握,创建图像处理程序更简单、更快速,结果一目了然。 展开更多

关键词 组件 可视化编程 数据流模型 图像处理

在线阅读 下载PDF 职称材料