基于RDD重用度的Spark自适应缓存优化策略

1

作者 潘顺杰 于俊洋 +2 位作者 王龙葛 李涵 翟锐 《计算机工程》 北大核心 2025年第7期190-198,共9页

基于内存进行作业计算的Spark分布式计算框架并不考虑作业的中间计算结果,容易造成高频访问的数据块丢失,在迭代作业类型中表现更为明显。Spark通过LinkedHashMap提供的哈希表实现最近最少使用(LRU)算法的缓存功能,最久未被使用的元素... 基于内存进行作业计算的Spark分布式计算框架并不考虑作业的中间计算结果,容易造成高频访问的数据块丢失,在迭代作业类型中表现更为明显。Spark通过LinkedHashMap提供的哈希表实现最近最少使用(LRU)算法的缓存功能,最久未被使用的元素被移动到顶部并优先被删除,且造成数据重算。针对Spark使用的LRU缓存替换算法造成的高频访问但当前未被使用的热点数据被替换出缓存的问题,提出一种基于弹性分布式数据集(RDD)重用度的Spark自适应缓存优化策略(LCRD),该策略包括自动缓存算法和缓存自动清理算法。首先,自动缓存算法在作业执行前对Spark的有向无环图(DAG)进行分析,计算RDD的重用频率、RDD的算子复杂度等数据,并对影响执行效率的相关因素进行量化,根据重用度模型进行计算,在作业执行中,应用程序将重用度较高的数据块进行缓存;其次,在发生内存瓶颈或RDD缓存无效时,缓存自动清理算法遍历缓存队列,并对低频访问的数据块进行清理。实验结果表明,在选取amazon0302、email-EuAll、web-Google、wiki-Talk等4种公开数据集执行PageRank迭代作业时,与LRU相比,LCRD的执行效率平均分别提升10.7%、8.6%、17.9%和10.6%,内存利用率平均分别提升3%、4%、3%和5%。所提策略能够有效提高Spark的执行效率,同时提升内存利用率。 展开更多

关键词 并行计算 Spark框架 缓存替换 最近最少使用算法 大数据

在线阅读 下载PDF 职称材料

LRU近似算法的研究 被引量：7

2

作者 李芳 徐丽 陈亮亮 《现代电子技术》 2009年第10期36-38,共3页

计算机内存管理的LRU置换算法在实际使用中需要硬件的支持,因而其应用受到一定限制。为了更加方便地推广应用这种算法,在深入分析LRU算法、特点的基础上,综合利用LRU与SC算法的各自优点,研究了在无硬件支持条件下LRU置换算法的实现技术... 计算机内存管理的LRU置换算法在实际使用中需要硬件的支持,因而其应用受到一定限制。为了更加方便地推广应用这种算法,在深入分析LRU算法、特点的基础上,综合利用LRU与SC算法的各自优点,研究了在无硬件支持条件下LRU置换算法的实现技术,给出LRU的近似算法——NFU算法的软件实现方法。该近似算法能较好地模拟LRU算法,其应用可提高计算机内存的工作效率。 展开更多

关键词 内存管理 页面置换 lru算法 NFU算法

在线阅读 下载PDF 职称材料

一种基于近似LRU算法的高缓方案 被引量：4

3

作者 鲍东星 李晓明 《计算机工程》 CAS CSCD 北大核心 2007年第9期272-274,共3页

提出了一个用于扩充高缓块管理的近似LRU算法。利用该算法,设计了一个可过滤LRU数据块的扩充高缓方案——LRU块过滤高缓(LBF高缓)。仿真结果显示,LBF高缓的性能优于类似结构的扩充高缓(如牺牲高缓和辅助高缓),与具有2倍容量的直接映像... 提出了一个用于扩充高缓块管理的近似LRU算法。利用该算法,设计了一个可过滤LRU数据块的扩充高缓方案——LRU块过滤高缓(LBF高缓)。仿真结果显示,LBF高缓的性能优于类似结构的扩充高缓(如牺牲高缓和辅助高缓),与具有2倍容量的直接映像高缓相比性能有所提高。 展开更多

关键词 高缓性能 命中率 lru算法

在线阅读 下载PDF 职称材料

一种基于有限记忆多LRU的Web缓存替换算法 被引量：6

4

作者 钮俊清 郑浩然 +1 位作者 李恒 王煦法 《小型微型计算机系统》 CSCD 北大核心 2008年第6期1010-1014,共5页

Web缓存的核心是缓存内容的替换算法.在动态不确定的网络环境下,本文提出一种基于有限记忆的多LRU(LH-MLRU)Web缓存替换算法,它是一种低开销、高性能和适应性的算法.LH-MLRU综合考虑各项因素对Web对象使用多个LRU队列进行分类管理,引入... Web缓存的核心是缓存内容的替换算法.在动态不确定的网络环境下,本文提出一种基于有限记忆的多LRU(LH-MLRU)Web缓存替换算法,它是一种低开销、高性能和适应性的算法.LH-MLRU综合考虑各项因素对Web对象使用多个LRU队列进行分类管理,引入Web对象最近被访问的历史作为缓存内容替换的一个关键因素,来预测对象可能再次被访问的概率.通过周期性的训练参数可以适应动态不确定的网络环境.轨迹驱动的仿真实验表明LH-MLRU在各项性能指标上均优于其他算法,可以显著的提高Web缓存的性能. 展开更多

关键词 网络缓存 替换算法 有限记忆 多lru 轨迹驱动

在线阅读 下载PDF 职称材料

LRU算法探析 被引量：6

5

作者 轩春青 王芳 《电脑学习》 2009年第3期102-103,共2页

本文分析、比较LRU算法,并就实际应用提出改进方案。

关键词 页面置换算法 lru算法

在线阅读 下载PDF 职称材料

操作系统LRU页面置换算法的实现 被引量：1

6

作者 乌兰图雅 《内蒙古大学学报（自然科学版）》 CAS 北大核心 2015年第5期553-560,共8页

针对程序的页面访问序列实例,给出了OPT、FIFO、Clock和LRU页面置换算法的缺页次数和缺页中断率,并且LRU算法具有非常明显的优点,最接近理想状态.然后重点讨论LRU页面置换的软硬件实现方法及设计特点,并通过实例模拟LRU页面置换过程.

关键词 页面置换算法 lru 缺页中断 算法实现 模拟

原文传递

浅谈页面置换算法之LRU算法 被引量：4

7

作者 张春红 《廊坊师范学院学报》 2006年第4期76-78,共3页

在页式虚拟存储系统中,较常用的页面置换算法有RG、NUR、LFU、OPT、FIFO、LRU,其中LRU算法是一种最通用的有效算法,最接近于理想状态。在实际应用中,LRN算法有多种实现方法,和其它几种页面置换算法相比较存在明显的优点。

关键词 页面置换算法 lru算法 缺页率

在线阅读 下载PDF 职称材料

LRU淘汰算法的一种实现设想

8

作者 王松 何正芬 《楚雄师范学院学报》 2007年第6期21-26,共6页

本文主要讨论一种从LRU与LFU淘汰算法中变形得到的一种求缺页中断的设想。

关键词 lru LFU 淘汰算法 缺页中断

在线阅读 下载PDF 职称材料

高压缩V-LRU算法的研究与实现 被引量：1

9

作者 董磊 岑俊龙 +2 位作者 涂志娣 李可 梁松海 《微电子学》 CAS CSCD 北大核心 2011年第5期731-735,740,共6页

提出并实现了基于四路组相联高速缓存的高压缩V-LRU算法。该算法将有效位和近似LRU标志位压缩到只有4位,可以大大减少电路面积,且高速缓存的缺失率基本保持不变。在高速缓存容量为8kByte时,高压缩V-LRU算法的缺失率与7-bit位比较近似V-... 提出并实现了基于四路组相联高速缓存的高压缩V-LRU算法。该算法将有效位和近似LRU标志位压缩到只有4位,可以大大减少电路面积,且高速缓存的缺失率基本保持不变。在高速缓存容量为8kByte时,高压缩V-LRU算法的缺失率与7-bit位比较近似V-LRU算法、5-bit位复用近似V-LRU算法基本相同,而相对于9-bit近似V-LRU算法也只增加大约0.9%。基于SMIC 0.13μm工艺,高压缩V-LRU算法的电路面积相对于9-bit、7-bit和5-bit V-LRU算法,分别减少10 925.8μm2、6 415.5μm2和2 142.1μm2。而且,如果增加高速缓存的容量,4种近似V-LRU算法缺失率的差别将变得更小,但是,高压缩V-LRU算法的电路面积优势将会更加明显。 展开更多

关键词 高压缩V-lru算法 近似lru算法 4路组相联 高速缓存 缺失率

原文传递

基于Linux系统的页面替换算法

10

作者 李佳琪 《软件》 2025年第4期139-141,共3页

本文基于Linux操作系统,设计并实现了OPT、FIFO、LRU、Clock、改进Clock等页面替换算法。研究的目的是通过模拟页面访问序列,分析各算法的性能表现。每种算法在相同条件下执行,重点考察其缺页率、缺页次数等性能指标。程序设计中,使用... 本文基于Linux操作系统,设计并实现了OPT、FIFO、LRU、Clock、改进Clock等页面替换算法。研究的目的是通过模拟页面访问序列,分析各算法的性能表现。每种算法在相同条件下执行,重点考察其缺页率、缺页次数等性能指标。程序设计中,使用模块化编程,确保代码结构清晰,易于维护和调试。通过多次测试,比较不同算法在不同负载下的效果,为操作系统的内存管理提供理论支持。 展开更多

关键词 页面替换算法 OPT lru 改进Clock LINUX

在线阅读 下载PDF 职称材料

LRU页面置换算法的改进与实现 被引量：4

11

作者 赵俊化 胡金霞 《计算机工程》 CAS CSCD 2012年第17期24-27,共4页

为简化嵌入式虚拟内存的实现,改善嵌入式虚拟内存的性能,在对常见页面置换算法进行对比分析的基础上,提出一种改进的最久未使用页面置换算法。该算法基于内存管理单元、跨页访问计数器、访问次序寄存器、溢出中断处理等软硬件相结合的... 为简化嵌入式虚拟内存的实现,改善嵌入式虚拟内存的性能,在对常见页面置换算法进行对比分析的基础上,提出一种改进的最久未使用页面置换算法。该算法基于内存管理单元、跨页访问计数器、访问次序寄存器、溢出中断处理等软硬件相结合的技术。实验结果表明,该算法能提高嵌入式系统的页面置换效率,提升系统的整体性能,可广泛应用于各种物联网系统和嵌入式系统。 展开更多

关键词 物联网 页面置换算法 最久未使用 改进型Clock算法 溢出中断 跨页访问 内存管理单元

在线阅读 下载PDF 职称材料

一种位复用近似LRU替换算法的分析与研究

12

作者 涂志娣 董磊 梁松海 《微电子学》 CAS CSCD 北大核心 2010年第4期607-611,共5页

提出并实现了4-way组相联高速缓存设计[1]中能够减少电路复杂性、节省Valid RAM空间的5-bit位复用近似LRU算法,其基本方法是通过位比较对4-way数据访问先后进行排序、对Valid位和比较位进行复用。给出了不命中时的替换选择电路逻辑和通... 提出并实现了4-way组相联高速缓存设计[1]中能够减少电路复杂性、节省Valid RAM空间的5-bit位复用近似LRU算法,其基本方法是通过位比较对4-way数据访问先后进行排序、对Valid位和比较位进行复用。给出了不命中时的替换选择电路逻辑和通过VHDL实现后的测试结果。相关结果表明,该算法实现电路简单,占用面积小,且命中率高:在指令高速缓存设计中,高速缓存大小为1 kB时,测试的平均命中率为90.2%,4 kB时为92.3%,16 kB时为94.2%。 展开更多

关键词 近似lru算法 组相联 高速缓存 位复用 命中率

原文传递

基于LRU算法高速缓存的设计与实现 被引量：3

13

作者 黄明志 《现代计算机》 2012年第11期7-9,12,共4页

阐述LRU算法的基本原理,提出在.NET Framework平台上基于LRU算法的高速缓存的设计思路,并给出一个通用、高性能、GB级、线程安全和支持泛型的LRUCache缓存类的具体实现方法。

关键词 高速缓存 lru算法 哈希表 双向链表

在线阅读 下载PDF 职称材料

一种基于伪LRU的新型共享Cache划分机制 被引量：3

14

作者 倪亚路 周晓方 《电子学报》 EI CAS CSCD 北大核心 2013年第4期681-684,共4页

本文提出了一种基于伪LRU方法的新型共享Cache动态划分策略PLRU-SCP.本文提出的划分策略在分析电路中给出了基于二叉树的新型分析方法,在划分电路中使用了一种非遍历的划分算法.并提出了一种新型共享Cache结构.本文提出的新型划分策略... 本文提出了一种基于伪LRU方法的新型共享Cache动态划分策略PLRU-SCP.本文提出的划分策略在分析电路中给出了基于二叉树的新型分析方法,在划分电路中使用了一种非遍历的划分算法.并提出了一种新型共享Cache结构.本文提出的新型划分策略比基于LRU方法的不划分共享Cache策略和效用最优的划分策略的性能分别提高了11.05%和8.66%. 展开更多

关键词 共享CACHE 伪lru替换方法 二叉树分析 非遍历划分算法

在线阅读 下载PDF 职称材料

一种基于LRU算法改进的缓存方案研究与实现 被引量：2

15

作者 廖鑫 《电子工程师》 2008年第7期46-48,共3页

LRU(最近最少使用)替换算法在单处理器结构的许多应用中被广泛使用。然而在多处理器结构中,传统LRU算法对降低共享缓存的缺失率并不是最优的。文中研究了基本的缓存块替换算法,在分析LRU算法的基础上,提出基于LRU算法及访问概率改进的... LRU(最近最少使用)替换算法在单处理器结构的许多应用中被广泛使用。然而在多处理器结构中,传统LRU算法对降低共享缓存的缺失率并不是最优的。文中研究了基本的缓存块替换算法,在分析LRU算法的基础上,提出基于LRU算法及访问概率改进的缓存方案,综合考虑最近使用次数和访问频率来决定候选的替换块,增强了替换算法对多处理器的适应性。 展开更多

关键词 缓存 lru 替换算法 多处理器

在线阅读 下载PDF 职称材料

Cache替换算法LRU和2Q的深度分析 被引量：1

16

作者 张恒瑞 王红 《现代计算机》 2017年第3期17-19,共3页

Cache替换算法是内存和CPU交互时速度保证的关键,传统的LRU算法在处理偶然性数据访问时造成缓存污染严重,但其实现简单,命中率和效率尚可,故成为现今大多情况下使用的算法;2Q算法通过设置两个队列,A1队列通过暂存数据减弱偶发性数据的影... Cache替换算法是内存和CPU交互时速度保证的关键,传统的LRU算法在处理偶然性数据访问时造成缓存污染严重,但其实现简单,命中率和效率尚可,故成为现今大多情况下使用的算法;2Q算法通过设置两个队列,A1队列通过暂存数据减弱偶发性数据的影响,实现同样简单且有不错的性能。通过编制的词法分析器分析程序代码得来的数据进行算法性能的比较。 展开更多

关键词 Cache替换算法 lru 2Q 命中率 性能

在线阅读 下载PDF 职称材料

基于开放架构的SaaS服务平台数据管理技术研究 被引量：5

17

作者 国艳群 韩敏 孙林夫 《电子科技大学学报》 EI CAS CSCD 北大核心 2015年第2期295-298,305,共5页

为解决Saa S平台面临的数据安全及分布式数据管理等问题,提出了基于开放架构的Saa S服务平台系统应用框架;在此基础上,对数据应用进行了抽象建模,以优化缓存管理策略的思路解决网络环境下的数据访问问题。通过将传统LRU算法与SIZE算法... 为解决Saa S平台面临的数据安全及分布式数据管理等问题,提出了基于开放架构的Saa S服务平台系统应用框架;在此基础上,对数据应用进行了抽象建模,以优化缓存管理策略的思路解决网络环境下的数据访问问题。通过将传统LRU算法与SIZE算法相结合,提出了LRU-RSIZE算法,对开放Saa S服务平台的数据访问进行管理,并进行仿真分析。开放Saa S服务架构与LRU-RSIZE算法相结合,可有效地解决用户数据的按需存储与管理问题,并对增强用户的应用体验具有重要的意义。 展开更多

关键词 缓存管理 数据管理 lru算法 lru-RSIZE算法 SAAS

在线阅读 下载PDF 职称材料

基于Android的智能外卖点餐系统的设计与实现 被引量：6

18

作者 胡坤 魏晓旭 +2 位作者 曹宏宇 邢建华 宋占伟 《吉林大学学报（信息科学版）》 CAS 2016年第6期732-736,共5页

为提升互联网餐饮行业的服务质量,更好地满足客户随时随地点餐的需求,基于Android Studio开发环境,采用C/S架构,以及Gradle和Genymotion等开发工具,开发出以智能手机为媒介的外卖点餐系统。最终实现了用户的菜单浏览、收藏、下单、用户... 为提升互联网餐饮行业的服务质量,更好地满足客户随时随地点餐的需求,基于Android Studio开发环境,采用C/S架构,以及Gradle和Genymotion等开发工具,开发出以智能手机为媒介的外卖点餐系统。最终实现了用户的菜单浏览、收藏、下单、用户中心以及摇一摇选餐等功能。测试结果表明,该系统具有良好的用户交互体验,操作简捷方便,具有广泛的使用前景。 展开更多

关键词 ANDROID系统 二级缓存与异步加载 lru算法

在线阅读 下载PDF 职称材料

优化的R-树缓冲管理算法 被引量：2

19

作者 陈晟 景宁 孙茂印 《计算机学报》 EI CSCD 北大核心 1999年第5期496-501,共6页

在分析Ｒ－树操作特性和ＬＲＵ算法的基础上，提出了一种新的基于ＬＲＵ的Ｒ－树缓冲管理算法ＰＩＮ－ＬＲＵ．该算法对Ｒ－树访问路径上的节点进行标记，动态地在缓冲区中将访问路径上的节点加“钉”和释放“钉”，从面尽可能减少不必... 在分析Ｒ－树操作特性和ＬＲＵ算法的基础上，提出了一种新的基于ＬＲＵ的Ｒ－树缓冲管理算法ＰＩＮ－ＬＲＵ．该算法对Ｒ－树访问路径上的节点进行标记，动态地在缓冲区中将访问路径上的节点加“钉”和释放“钉”，从面尽可能减少不必要的内－外存数据交换，提高Ｒ－树缓冲管理的效率．实验表明，ＰＩＮ－ＬＲＵ算法在磁盘Ｉ／Ｏ和页面访问命中率等方面均优于ＬＲＵ算法． 展开更多

关键词 R-树 缓冲管理 lru算法 数据结构

在线阅读 下载PDF 职称材料

LZW压缩算法的改进及其参数优化分析 被引量：11

20

作者 王泉 齐春 +1 位作者 罗新民 梁嵩 《重庆邮电学院学报（自然科学版）》 2005年第3期351-355,371,共6页

采用数据压缩技术可以有效地提高数据的传输率。针对LZW字典压缩算法,提出了新的改进方案。主要根据待压缩文件新进输入字符的相关性进行LRU表项淘汰及对阈值判断操作进行了改进,并对改进算法中出现的3个参数进行了单参数优化分析。最... 采用数据压缩技术可以有效地提高数据的传输率。针对LZW字典压缩算法,提出了新的改进方案。主要根据待压缩文件新进输入字符的相关性进行LRU表项淘汰及对阈值判断操作进行了改进,并对改进算法中出现的3个参数进行了单参数优化分析。最后对改进算法和原有2种算法的最终压缩比进行了比较,实验结果表明,改进算法的压缩比优于原有2种算法。 展开更多

关键词 LZW算法 lru淘汰原则 闽值判断 最终压缩比

在线阅读 下载PDF 职称材料