期刊文献+
共找到2,185篇文章
< 1 2 110 >
每页显示 20 50 100
基于Spark的电影推荐系统设计
1
作者 杨健 马赞博 《牡丹江师范学院学报(自然科学版)》 2026年第1期29-36,共8页
设计一款基于Spark平台的电影推荐系统.采用协同过滤与基于内容推荐相结合的混合推荐策略,解决传统单一推荐方法的固有局限性;利用Spark分布式框架的内存计算能力,处理大规模用户行为数据.实验结果表明,基于Spark的电影推荐系统在推荐... 设计一款基于Spark平台的电影推荐系统.采用协同过滤与基于内容推荐相结合的混合推荐策略,解决传统单一推荐方法的固有局限性;利用Spark分布式框架的内存计算能力,处理大规模用户行为数据.实验结果表明,基于Spark的电影推荐系统在推荐准确性和处理效率上均有显著提升. 展开更多
关键词 spark 电影推荐系统 协同过滤 混合推荐 分布式计算
在线阅读 下载PDF
Bright Sparks of Single-Atom and Nano-Islands in Catalysis:Breaking Activity-Stability Trade-Off
2
作者 Xinyu Liu Suhua Chen +5 位作者 Shenglian Luo Bo Li Jiajie Wang Gaoxia Zhang Yuqi Zhu Jianping Zou 《Nano-Micro Letters》 2026年第5期181-216,共36页
Single-atom catalysts(SACs)are among the most cutting-edge catalysts in the multiphase catalysis track due to their unique geometrical and electronic properties,the highest atom utilization efficiency,and uniform acti... Single-atom catalysts(SACs)are among the most cutting-edge catalysts in the multiphase catalysis track due to their unique geometrical and electronic properties,the highest atom utilization efficiency,and uniform active sites.SACs have been facing an unresolved problem in practical applications:the opposing contradiction of activity-stability.The successful development of single-atom nano-islands(SANIs)cleverly combines the ultra-high atom utilization efficiency of SACs with the confinement effect and structural stability of nano-island structures,realizing the“moving but not aggregation”of SACs,which fundamentally solves this inherent contradiction.Although research on the precise loading of single atoms on nano-islands continues to advance,existing reviews have not yet established a closed-loop cognitive framework encompassing“models-synthesis-high stability mechanisms-high activity essence-applications.”This work fills this critical gap by systematically integrating the basic conceptual models and cutting-edge synthesis strategies of SANIs,focusing on revealing the underlying mechanisms by which SANIs overcome the stability bottleneck of SACs,elucidating the role of nano-islands and their synergistic mechanisms to clarify the high activity essence,and establishing the structure-activity relationship between atomic confinement effects and macroscopic performance,ultimately achieving breakthrough validation across catalytic systems.This review aims to open new perspectives,drive a paradigm shift in understanding the multi-dimensional advantages of SANIs,and thereby spur breakthrough progress in this frontier field. 展开更多
关键词 Single-atom catalysts Nano-islands Bright sparks Mechanisms Interactions
在线阅读 下载PDF
Advancements in titanium nanocomposites:Microstructure and fretting wear resistance via spark plasma sintering
3
作者 Basant Lal Abhijit Dey 《International Journal of Minerals,Metallurgy and Materials》 2026年第1期265-281,共17页
This study investigated enhancing the wear resistance of Ti6Al4V alloys for medical applications by incorporating Ti C nanoreinforcements using advanced spark plasma sintering(SPS). The addition of up to 2.5wt% Ti C s... This study investigated enhancing the wear resistance of Ti6Al4V alloys for medical applications by incorporating Ti C nanoreinforcements using advanced spark plasma sintering(SPS). The addition of up to 2.5wt% Ti C significantly improved the mechanical properties, including a notable 18.2% increase in hardness(HV 332). Fretting wear tests against 316L stainless steel(SS316L) balls demonstrated a 20wt%–22wt% reduction in wear volume in the Ti6Al4V/Ti C composites compared with the monolithic alloy. Microstructural analysis revealed that Ti C reinforcement controlled the grain orientation and reduced the β-phase content, which contributed to enhanced mechanical properties. The monolithic alloy exhibited a Widmanstätten lamellar microstructure, while increasing the Ti C content modified the wear mechanisms from ploughing and adhesion(0–0.5wt%) to pitting and abrasion(1wt%–2.5wt%). At higher reinforcement levels, the formation of a robust oxide layer through tribo-oxide treatment effectively reduced the wear volume by minimizing the abrasive effects and plastic deformation. This study highlights the potential of SPS-mediated Ti C reinforcement as a transformative approach for improving the performance of Ti6Al4V alloys, paving the way for advanced medical applications. 展开更多
关键词 Ti6Al4V alloy TiC particle MICROSTRUCTURE wear mechanism spark plasma sintering
在线阅读 下载PDF
人工智能在高职“Spark技术”课程教学改革中的应用
4
作者 庄义钿 《无线互联科技》 2026年第2期108-113,共6页
当前,高职“Spark技术”课程教学存在学生前置知识不扎实、能力分化、考核方式缺乏针对性、项目案例孤立等问题,导致学生的技能与企业的需求脱节。文章结合项目驱动与成果导向教育(Outcome Based Education,OBE)理念,将生成式人工智能(A... 当前,高职“Spark技术”课程教学存在学生前置知识不扎实、能力分化、考核方式缺乏针对性、项目案例孤立等问题,导致学生的技能与企业的需求脱节。文章结合项目驱动与成果导向教育(Outcome Based Education,OBE)理念,将生成式人工智能(Artificial Intelligence Generated Content,AIGC)融入课程教学,引入领域专用大语言模型SQLCoder-7B-2构建智能查询流程。教学案例借助Selenium技术获取租房信息,渗透“数据采集—数据清洗—数据分析”的大数据思维,详细阐述“课前—课中—课后”三阶段教学路径。该模式能有效降低Spark SQL编程学习难度,助力学生专注数据分析思维与AI工具应用能力培养,为大数据专业培育人工智能素养复合型人才提供可行教学范式。 展开更多
关键词 spark技术” 教学案例改革 项目驱动式 人工智能 大语言模型
在线阅读 下载PDF
基于Spark的电影推荐系统设计与实现 被引量:1
5
作者 高双喜 曹淑服 孙永明 《河北省科学院学报》 2025年第2期1-5,共5页
本研究针对互联网上影视作品数量的指数级增长,提出一种基于Spark分布式框架的电影推荐系统,以解决日益严重的电影信息过载问题。系统利用Spark平台作为计算框架,通过ALS协同过滤算法构建一个电影推荐模型,并使用MovieLens数据集进行了... 本研究针对互联网上影视作品数量的指数级增长,提出一种基于Spark分布式框架的电影推荐系统,以解决日益严重的电影信息过载问题。系统利用Spark平台作为计算框架,通过ALS协同过滤算法构建一个电影推荐模型,并使用MovieLens数据集进行了训练。实验结果表明,该系统可根据用户历史数据和实时动作快速准确预测用户个人喜好,同时也解决了传统推荐系统的数据稀疏性和冷启动问题。 展开更多
关键词 推荐算法 spark 协同过滤 ALS
在线阅读 下载PDF
基于Q学习的Spark自动调节内存管理器
6
作者 张军 顾皓元 《计算机工程与设计》 北大核心 2025年第5期1487-1493,共7页
为有效解决Apache Spark中静态和统一内存管理器适应性差、JVM垃圾内存回收频繁等问题,提出一种基于Q学习的Spark自动调节内存管理器。采用Q学习自动调优算法,根据不同的工作负载、任务需求和系统状态,在全局范围内实现内存分配的动态... 为有效解决Apache Spark中静态和统一内存管理器适应性差、JVM垃圾内存回收频繁等问题,提出一种基于Q学习的Spark自动调节内存管理器。采用Q学习自动调优算法,根据不同的工作负载、任务需求和系统状态,在全局范围内实现内存分配的动态调整。内存分配算法结合Q学习自动调优算法的决策和空闲内存,响应块管理器和任务内存请求,确保内存高效分配与利用。实验结果表明,新的内存管理器在Spark任务执行效率上获得了较明显的性能提升。 展开更多
关键词 Apache spark 静态内存管理器 统一内存管理器 JVM垃圾内存回收 Q学习 内存分配动态调整 任务执行效率
在线阅读 下载PDF
基于Spark的实时入侵检测系统实现
7
作者 李华 张巧林 魏光杏 《无线互联科技》 2025年第12期58-61,共4页
文章设计的实时入侵检测系统是由日志聚合、日志分发、日志处理与入侵检测、高速缓存数据库、Web控制器和可视化视图6个组件构成。该系统利用Spark技术对Web访问日志进行聚合,结合大数据技术对聚合的访问日志进行处理和分析,完成对Web... 文章设计的实时入侵检测系统是由日志聚合、日志分发、日志处理与入侵检测、高速缓存数据库、Web控制器和可视化视图6个组件构成。该系统利用Spark技术对Web访问日志进行聚合,结合大数据技术对聚合的访问日志进行处理和分析,完成对Web攻击的判断。经过对该系统测试,检测正确率达到95%以上,这为网络管理者下一步决策提供较好的参考。 展开更多
关键词 网络安全 spark 入侵检测
在线阅读 下载PDF
基于改进Spark MLlib的校园学生课程行为预测研究
8
作者 余战秋 《延边大学学报(自然科学版)》 2025年第4期91-97,共7页
针对智慧校园数据挖掘中存在的高维稀疏数据处理效率低、时空关联分析不足等问题,设计了一个基于改进Spark MLlib的数据挖掘系统.系统由感知层、网络层、数据层和应用层构成.研究了改进的TDDBSCAN聚类算法、STAM时空异常度量算法和D-Apr... 针对智慧校园数据挖掘中存在的高维稀疏数据处理效率低、时空关联分析不足等问题,设计了一个基于改进Spark MLlib的数据挖掘系统.系统由感知层、网络层、数据层和应用层构成.研究了改进的TDDBSCAN聚类算法、STAM时空异常度量算法和D-Apriori关联规则挖掘算法在学生群体行为分析中的应用效果,结果显示:相比传统DBSCAN算法,改进的TD-DBSCAN在处理100万条行为序列数据时,聚类处理时间从286.5s降至184.3s,内存占用降低至12.1GB,准确率提升了6.3个百分点;相比基准方法,STAM的异常检测时间从165.2s降至95.7s;相比传统Apriori算法,D-Apriori的规则挖掘准确率提升了14.1个百分点,处理时间缩短至198.4s.系统在教室、图书馆和食堂3个场景对学生行为数据进行挖掘分析表明,该分布式数据挖掘框架能有效提高校园场景资源的预测与智能管理能力,验证了系统框架的可行性和有效性.研究结果可为智慧校园的精细化运用提供良好技术参考. 展开更多
关键词 spark MLlib 智慧校园 学生课程行为序列 数据挖掘 预测模型
在线阅读 下载PDF
基于SPARK方法的高职网络设备配置课程企业化团队教学改革实践
9
作者 毛万胜 朱栎 《安徽冶金科技职业学院学报》 2025年第4期80-82,共3页
高职“网络设备配置与管理”课程作为计算机网络技术专业的核心实践课程,在培养学生网络设备操作、网络架构搭建及故障排除能力方面具有重要作用。当前该课程教学存在学生基础薄弱、学习兴趣不足、教学内容与职业需求脱节、评价体系单... 高职“网络设备配置与管理”课程作为计算机网络技术专业的核心实践课程,在培养学生网络设备操作、网络架构搭建及故障排除能力方面具有重要作用。当前该课程教学存在学生基础薄弱、学习兴趣不足、教学内容与职业需求脱节、评价体系单一等问题,导致人才培养质量难以满足行业需求。本文提出基于SPARK方法的企业化团队教学改革方案,通过模拟企业运作(Simulated)、项目实践驱动(Practice)、多元评价激励(Active)、职业角色体验(Role-playing)、知识能力内化(Knowledge)五维联动,构建“学岗深度衔接”的教学体系。实践表明,改革后学生课程满意度提升至94.3%,1+X证书通过率达89%,就业相关度从20%升至48%,显著提升了学生的实践能力与职业竞争力,为高职实践性课程教学改革提供了可借鉴的实践路径。 展开更多
关键词 spark方法 企业化团队 网络设备配置 实践教学 高职教育
在线阅读 下载PDF
一种基于Spark的分布式FFT计算实现方法
10
作者 姚琳 高天昊 《计算机与网络》 2025年第3期207-211,共5页
快速傅里叶变换(Fast Fourier Transform,FFT)是数字信号处理的基础算法,在雷达信号处理、通信信号处理、数字图像处理等信号处理的各个领域应用广泛。随着传感器能力的提升,信号采样文件体量日益增大,单机处理难以满足工程实际需求。... 快速傅里叶变换(Fast Fourier Transform,FFT)是数字信号处理的基础算法,在雷达信号处理、通信信号处理、数字图像处理等信号处理的各个领域应用广泛。随着传感器能力的提升,信号采样文件体量日益增大,单机处理难以满足工程实际需求。针对这一问题,设计实现了基于快速通用可扩展的分布式引擎(Spark)的分布式FFT计算方法,对该方法的实现步骤进行了详细阐述,并对实验结果同单机运行结果进行了对比分析。实验结果表明了本文算法的有效性,可为其他信号处理算法的分布式计算实现提供借鉴。 展开更多
关键词 信号处理 spark 快速傅里叶变换 分布式计算
在线阅读 下载PDF
Potential Off-Grid User Prediction System Based on Spark 被引量:2
11
作者 LI Xuebing SUN Ying +4 位作者 ZHUANG Fuzhen HE Jia ZHANG Zhao ZHU Shijun HE Qing 《ZTE Communications》 2019年第2期26-37,共12页
With the increasingly fierce competition among communication operators,it is more and more important to make an accurate prediction of potential off grid users.To solve the above problem,it is inevitable to consider t... With the increasingly fierce competition among communication operators,it is more and more important to make an accurate prediction of potential off grid users.To solve the above problem,it is inevitable to consider the effectiveness of learning algo rithms,the efficiency of data processing,and other factors.Therefore,in this paper,we,from the practical application point of view,propose a potential customer off grid predic tion system based on Spark,including data pre processing,feature selection,model build ing,and effective display.Furthermore,in the research of off grid system,we use the Spark parallel framework to improve the gcForest algorithm which is a novel decision tree ensemble approach.The new parallel gcForest algorithm can be used to solve practical problems,such as the off grid prediction problem.Experiments on two real world datasets demonstrate that the proposed prediction system can handle large scale data for the off grid user prediction problem and the proposed parallel gcForest can achieve satisfying per formance. 展开更多
关键词 data MINING OFF grid prediction spark parallel computing deep FOREST
在线阅读 下载PDF
Fabrication of Ti_2AlC by Spark Plasma Sintering from Elemental Powders and Thermodynamics Analysis of Ti-Al-C System 被引量:1
12
作者 王苹 《Journal of Wuhan University of Technology(Materials Science)》 SCIE EI CAS 2007年第2期325-328,共4页
A ternary-layered carbide Ti2AlC material could be synthesized by spark plasma sintering(SPS) technology using elemental powder mixture of Ti, Al and active carbon. By means of XRD and SEM, phases were identified an... A ternary-layered carbide Ti2AlC material could be synthesized by spark plasma sintering(SPS) technology using elemental powder mixture of Ti, Al and active carbon. By means of XRD and SEM, phases were identified and microscopically evaluated. The experimental results show that the main phase in the product was fully crystallized Ti2AlC with small particle size when sintered at 1200℃. The synthesis temperature of SPS was 200-400℃ lower than that of hot pressing (HP) or hot isostatic pressing (HIP). Through thermodynamics calculations, the mechanism of Ti2AlC was studied by calculating changes of Gibbs free energy of reactions. 展开更多
关键词 TI2ALC spark plasma sintering elemental powder thermodynamics analysis
在线阅读 下载PDF
基于RDD重用度的Spark自适应缓存优化策略
13
作者 潘顺杰 于俊洋 +2 位作者 王龙葛 李涵 翟锐 《计算机工程》 北大核心 2025年第7期190-198,共9页
基于内存进行作业计算的Spark分布式计算框架并不考虑作业的中间计算结果,容易造成高频访问的数据块丢失,在迭代作业类型中表现更为明显。Spark通过LinkedHashMap提供的哈希表实现最近最少使用(LRU)算法的缓存功能,最久未被使用的元素... 基于内存进行作业计算的Spark分布式计算框架并不考虑作业的中间计算结果,容易造成高频访问的数据块丢失,在迭代作业类型中表现更为明显。Spark通过LinkedHashMap提供的哈希表实现最近最少使用(LRU)算法的缓存功能,最久未被使用的元素被移动到顶部并优先被删除,且造成数据重算。针对Spark使用的LRU缓存替换算法造成的高频访问但当前未被使用的热点数据被替换出缓存的问题,提出一种基于弹性分布式数据集(RDD)重用度的Spark自适应缓存优化策略(LCRD),该策略包括自动缓存算法和缓存自动清理算法。首先,自动缓存算法在作业执行前对Spark的有向无环图(DAG)进行分析,计算RDD的重用频率、RDD的算子复杂度等数据,并对影响执行效率的相关因素进行量化,根据重用度模型进行计算,在作业执行中,应用程序将重用度较高的数据块进行缓存;其次,在发生内存瓶颈或RDD缓存无效时,缓存自动清理算法遍历缓存队列,并对低频访问的数据块进行清理。实验结果表明,在选取amazon0302、email-EuAll、web-Google、wiki-Talk等4种公开数据集执行PageRank迭代作业时,与LRU相比,LCRD的执行效率平均分别提升10.7%、8.6%、17.9%和10.6%,内存利用率平均分别提升3%、4%、3%和5%。所提策略能够有效提高Spark的执行效率,同时提升内存利用率。 展开更多
关键词 并行计算 spark框架 缓存替换 最近最少使用算法 大数据
在线阅读 下载PDF
Measuring Fuel Stratification in Cylinder of a Spark Ignition Engine by a Two-Tracer PLIF System
14
作者 LI Yufeng ZHAO Hua 《工程热物理学报》 EI CAS CSCD 北大核心 2013年第9期1755-1761,共7页
A two-tracer PLIF system was developed to measure fuel stratification in cylinder of a spark ignition engine which is achieved by producing a strong tumbling flow and introducing two fuels through two separate intake ... A two-tracer PLIF system was developed to measure fuel stratification in cylinder of a spark ignition engine which is achieved by producing a strong tumbling flow and introducing two fuels through two separate intake ports.Two tracers,3-pentanone and N,N-dimethylaniline(DMA),were doped in two fuels,hexane and iso-octane,respectively.A spectroscopic test result showed that when subject to irradiation by a XeCl Excimer laser(308 nm),3-pentanone and DMA emit fluorescence within different wavelength regions.Their fluorescence can be separated by two band-pass optical filters and recorded into a single intensified CCD camera through a specially designed image doubling system.The advantage of the measurement method is that both fuel distributions in cylinder can be visualized by one shot.Measurement results showed that two fuels were well stratified in the cylinder. 展开更多
关键词 spark ignition engine PLIF Charge stratification
原文传递
The Densification of Cu/Ti System by Spark Plasma Sintering
15
作者 张金咏 《Journal of Wuhan University of Technology(Materials Science)》 SCIE EI CAS 2005年第2期83-85,共3页
In order to unclose the dynamics of SPS densification, a special sintering sample (Cu/Ti wires compact) was designed. Characters of the shrinkage rates during sintering process and microstructures of products fabricat... In order to unclose the dynamics of SPS densification, a special sintering sample (Cu/Ti wires compact) was designed. Characters of the shrinkage rates during sintering process and microstructures of products fabricated by the spark plasma sintering(SPS) and hot-press sintering were investigated. The experimental results reveal that a higher temperature field is formed at the connected area and conductive net of the compact. These high-temperature parts deformed more easily than other parts, which is believed to be the main cause of SPS fast densification, according to a hard-core and soft-hell material model. 展开更多
关键词 spark plasma sintering (SPS) DENSIFICATION MODELING
在线阅读 下载PDF
Enhanced thermoelectric performance of spark plasma sintered p-type Ca_(3-x)Y_(x)Co_(4)O_(9+δ)systems
16
作者 J.S.Cha D.H.Kim +1 位作者 H.Y.Hong K.Park 《Journal of Materials Science & Technology》 SCIE EI CAS CSCD 2020年第20期212-222,共11页
Highly textured dense Ca3-xYxCo4 O9+δ(0≤x≤0.3)samples were fabricated by combining sol-gel process with spark plasma sintering(SPS).Y^3+substitution for Ca^2+simultaneously increased the Seebeck coefficient and red... Highly textured dense Ca3-xYxCo4 O9+δ(0≤x≤0.3)samples were fabricated by combining sol-gel process with spark plasma sintering(SPS).Y^3+substitution for Ca^2+simultaneously increased the Seebeck coefficient and reduced the thermal conductivity.The latter was attributed to the increase in lattice anharmonicity,structural distortion,and grain boundary area,which enhanced the phonon scattering.Ca2.7Y0.3Co4 O9+δshowed the largest dimensionless figure-of-merit(ZT=0.194)at 1073 K because it had the largest Seebeck coefficient and the lowest thermal conductivity.This ZT value was 55%larger than that of undoped Ca3 Co4 O9(0.125 at 1073 K).Therefore,Y^3+substitution,sol-gel powder synthesis,and SPS are highly effective for enhancing the thermoelectric prope rties of Ca_(3)Co_(4)O_(9). 展开更多
关键词 Electrical conductivity Ca_(3)Co_(4)O_(9) Thermoelectric properties Seebeck coefficient Thermal conductivity spark plasma sintering
原文传递
自适应的Spark数据均衡分区方法
17
作者 何玉林 吴东彤 黄哲学 《电子学报》 北大核心 2025年第8期2764-2778,共15页
Spark作为通用的计算引擎,以其简单、快速、可扩展的优势,被广泛地应用于大数据的处理和分析中.然而,Spark默认采用哈希分区或范围分区对数据进行划分,导致其在处理键倾斜分布的数据时,常常出现各分区数据量严重不均衡的问题.诸多优化... Spark作为通用的计算引擎,以其简单、快速、可扩展的优势,被广泛地应用于大数据的处理和分析中.然而,Spark默认采用哈希分区或范围分区对数据进行划分,导致其在处理键倾斜分布的数据时,常常出现各分区数据量严重不均衡的问题.诸多优化方法被提出,如迁移分区、贪心分区、反馈分区等,但往往存在数据传输量大、额外计算成本高、运行时间长等问题.为更好地缓解键倾斜分布问题带来的影响,本文提出了一种自适应的Spark数据均衡分区方法.该方法引入了奖惩思想对数据分区过程进行适当调控,同时对于数据量较大的键进行分割,使得各个分区的数据量相对均衡.该方法首先对数据采样并预估键权重.其次,按照键权重对样本数据降序排列,确保所有分区都有初始数据.再次,根据奖惩分配策略,自适应地更新各个分区的分配概率,并将待分配的键指向分配概率最高的分区.对于超过分区容量的键的数据,则分割为多个部分且指向不同分区.在所有样本数据分配完成后,获得自适应分区方案.在实际分区时,对于样本中出现的键对应的数据按照自适应分区方案进行分配;对于未出现的键对应的数据,则按照哈希方法进行分区.最后,通过实验验证,基于新方法设计的自适应均衡分区器(Adaptive Data Balanced Partitioner,ADBP)能够有效缓解键倾斜的负面影响.在真实数据集上,ADBP的WordCount程序总运行时间比自带分区器Hash、Range分别平均缩短了1.51%、29.90%,比现有基于学习自动机的自适应哈希分区器(Learning Automata Hash Partitioner,LAHP)、对倾斜的中间数据块进行拆分合并(Splitting and Combination algorithm for skew Intermediate Data block,SCID)算法、粗粒度放置和细粒度放置(Fined-Coarse Grained Intermediate Data Placement,FCGIDP)算法分别平均缩短了8.12%、21.64%、19.62%. 展开更多
关键词 数据倾斜 均衡分区 自适应分区 奖惩分配 spark
在线阅读 下载PDF
Spark SQL在日志数据文件分析中的应用
18
作者 贺奇 庞晶源 +2 位作者 张羽 付琦 陈兆新 《电脑编程技巧与维护》 2025年第9期116-118,136,共4页
公司和组织在每日对系统进行运营与维护的过程中都会产生大量的日志数据文件。为了能够保持业务的高效运行,这些公司或组织往往需要分析日志文件来知道设施是否已经达到了运行潜力的最大值。简述了日志数据的收集与处理方法,讨论了Spark... 公司和组织在每日对系统进行运营与维护的过程中都会产生大量的日志数据文件。为了能够保持业务的高效运行,这些公司或组织往往需要分析日志文件来知道设施是否已经达到了运行潜力的最大值。简述了日志数据的收集与处理方法,讨论了Spark SQL在日志分析中的优势,使用Python和Spark SQL对日志数据进行探索和可视化,并进行案例说明,为运维人员准确掌握系统运行状况提供参考。 展开更多
关键词 spark技术 日志数据 PYTHON语言
在线阅读 下载PDF
Spark架构下基于改进深度聚类的用户日负荷分类方法 被引量:1
19
作者 徐寿亮 徐剑 《现代电力》 北大核心 2025年第3期411-420,共10页
负荷聚类是电力系统管理的重要技术之一,通过聚类来挖掘用户的用电模式可以帮助电力系统管理者更好地理解和优化电力系统的运行,提高其效率和经济性。目前,在负荷数据海量化与复杂化趋势下,传统的负荷聚类方法难以高效、精确地处理海量... 负荷聚类是电力系统管理的重要技术之一,通过聚类来挖掘用户的用电模式可以帮助电力系统管理者更好地理解和优化电力系统的运行,提高其效率和经济性。目前,在负荷数据海量化与复杂化趋势下,传统的负荷聚类方法难以高效、精确地处理海量高维的负荷数据。因此,提出一种Spark分布式计算架构下基于改进深度聚类的日负荷分类方法。首先,利用卷积神经网络自编码器获取用户具有代表性的特征向量,送入K-means的聚类层完成负荷聚类,接着将特征提取模型和聚类模型联合优化,组成深度聚类模型。其次,考虑了处于负荷类别边界的边缘负荷样本对神经网络的不利影响,引入自步学习技术,并设计了一个新的损失函数。最后,将大数据技术与深度聚类算法结合,利用Spark分布式计算平台实现深度聚类算法的并行计算。通过算例验证,所提算法在聚类效果和处理效率上都优于传统算法。 展开更多
关键词 居民负荷 日负荷聚类 深度聚类 spark平台 并行计算
原文传递
并发式Spark消息分发器
20
作者 何玉林 林泽杰 +2 位作者 徐毓阳 成英超 黄哲学 《深圳大学学报(理工版)》 北大核心 2025年第3期317-325,I0012,I0013,共11页
在大数据计算框架Spark中,驱动器采用迭代式消息分发机制,会增加任务提交的时间开销,影响任务执行的启动时间,限制了任务执行的并发性,导致多个执行器处于空闲等待状态,造成计算资源的浪费.使用线程池调度策略,构建一种高效且轻量级的... 在大数据计算框架Spark中,驱动器采用迭代式消息分发机制,会增加任务提交的时间开销,影响任务执行的启动时间,限制了任务执行的并发性,导致多个执行器处于空闲等待状态,造成计算资源的浪费.使用线程池调度策略,构建一种高效且轻量级的并发式Spark消息分发器.与迭代式Spark消息分发器不同,并发式消息分发器更加关注且更适合调度开销较大的细粒度任务作业,通过解析包含执行器重要信息的元数据,获取任务列表及各个任务对应的执行器标识,创建线程池并为每个任务启动异步计算,从而实现并发式任务分发,在保证系统稳定和任务顺利执行的前提下,最大程度地减少任务分发的时间开销.在虚拟机构建的仿真集群环境上,通过与迭代式消息分发器进行对比,证实了并发式消息分发器的良好效果.实验结果表明,在内存保持不变的前提下,并发式Spark消息分发器可减少约9%的任务执行时间,同时能提高约5%的中央处理器的利用率.并发式Spark消息分发器有效解决了迭代式消息分发机制针对细粒度任务分发的时间开销过大和计算资源浪费的问题. 展开更多
关键词 并行处理 大数据计算 spark通信机制 消息分发 细粒度任务 线程池调度
在线阅读 下载PDF
上一页 1 2 110 下一页 到第
使用帮助 返回顶部