期刊文献+
共找到184篇文章
< 1 2 10 >
每页显示 20 50 100
Batch process monitoring based on WGNPE–GSVDD related and independent variables 被引量:1
1
作者 Yongyong Hui Xiaoqiang Zhao 《Chinese Journal of Chemical Engineering》 SCIE EI CAS CSCD 2018年第12期2549-2561,共13页
In many batch processes, there are related or independence relationships among process variables. The traditional monitoring method usually carries out a single statistical model according to the related or independen... In many batch processes, there are related or independence relationships among process variables. The traditional monitoring method usually carries out a single statistical model according to the related or independent method, and in the feature extraction there is not fully taken into account the characterization of fault information, it will make the process monitoring ineffective, so a fault monitoring method based on WGNPE(weighted global neighborhood preserving embedding)–GSVDD(greedy support vector data description) related and independent variables is proposed. First, mutual information method is used to separate the related variables and independent variables. Secondly, WGNPE method is used to extract the local and global structures of the related variables in batch process and highlight the fault information, GSVDD method is used to extract the process information of the independent variables quickly and effectively. Finally, the statistical monitoring model is established to achieve process monitoring based on WGNPE and GSVDD. The effectiveness of the proposed method was verified by the penicillin fermentation process. 展开更多
关键词 batch process Monitoring RELATED and INDEPENDENT VARIABLES Global-local Support VECTOR data DESCRIPTION
在线阅读 下载PDF
基于Spring Batch构建企业级大数据批处理应用研究
2
作者 解志君 王小刚 翟世臣 《信息化研究》 2016年第6期6-11,共6页
传统的企业联机分析处理(OLAP)主要基于关系型数据库,存在实时分析瓶颈。随着企业数据的爆炸性增长,需要采用大数据分析实现从"业务驱动"向"数据驱动"的转变,充分挖掘海量数据中有价值的信息。而要实现"大数据... 传统的企业联机分析处理(OLAP)主要基于关系型数据库,存在实时分析瓶颈。随着企业数据的爆炸性增长,需要采用大数据分析实现从"业务驱动"向"数据驱动"的转变,充分挖掘海量数据中有价值的信息。而要实现"大数据"分析,企业迫切需要构建高效的大数据管理平台。文章引入Spring Batch核心框架,通过剖析其对文件和数据库的读写操作,重点研究基于Spring Batch开发批处理程序的方法和技巧,从而高效构建高内聚、低耦合的企业大数据批处理应用。 展开更多
关键词 Spring批处理 大数据 批处理 企业级
在线阅读 下载PDF
基于SpringBatch框架的数据批量处理在决策分析系统中的应用
3
作者 徐杨 周文彬 《电子测量技术》 2016年第4期145-151,共7页
通常企业决策分析系统需要对关键业务信息进行批处理操作,而这些业务的批处理操作是在没有用户进行交互的情况下对大量复杂的信息进行自动处理。为了解决批处理数据操作效率低下的问题,本文在对SpringBatch框架进行深入的研究和分析的... 通常企业决策分析系统需要对关键业务信息进行批处理操作,而这些业务的批处理操作是在没有用户进行交互的情况下对大量复杂的信息进行自动处理。为了解决批处理数据操作效率低下的问题,本文在对SpringBatch框架进行深入的研究和分析的基础上,选用SpringBatch框架,开源作业调度库Quartz以及关系型数据库MySQL和非关系型数据库Cassandra,设计并实现了高效批处理的决策分析系统。同时本文还对该系统进行相关性能测试,测试结果证明使用SpringBatch框架的决策分析系统批数据处理能力得到了极大的提升。 展开更多
关键词 Springbatch 批量处理 决策分析系统
在线阅读 下载PDF
基于点云的生猪体尺参数自动提取方法
4
作者 黄霞 余松科 +2 位作者 刘兴明 张博 朱锋博 《农业机械学报》 北大核心 2025年第8期496-506,共11页
家畜体尺参数在动物优选育种、健康监测及性能遗传研究等领域中具有至关重要的地位,体尺参数的自动测量是数字化农业的重要研究方向。本文依托双深度相机测量系统,采集生猪点云数据,开发一种能够自动识别和提取生猪特征点、特征面以及... 家畜体尺参数在动物优选育种、健康监测及性能遗传研究等领域中具有至关重要的地位,体尺参数的自动测量是数字化农业的重要研究方向。本文依托双深度相机测量系统,采集生猪点云数据,开发一种能够自动识别和提取生猪特征点、特征面以及体尺参数的算法。鉴于生猪点云数据常伴有严重的噪声问题,与传统单一滤波方法相比,本文提出一种多滤波器叠加的滤波算法;为实现生猪特征点和特征面的自动检测,与单一视角计算特征点不同,提出一种基于侧视和俯视轮廓线凹凸性的特征点自动提取算法和基于躯干剖面积变化趋势的特征面自动提取算法;针对现有体尺参数种类有限且拟合精度不足的问题,成功地从生猪点云数据中自动提取17个体尺参数和12种常见形状因子。为验证算法有效性,对20头生猪的200组点云数据进行了详尽分析,结果表明:平均滤波总误差为3.84%,在原始点云精度达到0.036 mm的条件下,生猪体尺参数的平均测量误差仅为2.46%。此外,对生猪的17个几何参数和12个形状因子进行了基于主成分的权重分析,探讨了不同体尺参数和形状因子在生猪几何形态分析中的权重。本研究为动物三维表型参数的高通量测量提供了一种有效方法,不仅提升了测量的精度和效率,还为动物优选育种和健康监测等领域的深入研究提供了有力支持。 展开更多
关键词 猪只 体尺 点云 数据批处理 多滤波器叠加
在线阅读 下载PDF
建筑玻璃光谱数据批处理方法及程序实现
5
作者 程励辉 丁可 邓东明 《广东建材》 2025年第2期84-87,共4页
为规范建筑玻璃光谱测试的原始数据处理流程、提高处理效率,本文分析建筑光谱原始数据的处理要求及存在的问题,提出一种普遍适用的原始光谱文件命名约定、数据批处理方法和流程。本文提出的处理方法将数据处理划分为原始光谱文件分组整... 为规范建筑玻璃光谱测试的原始数据处理流程、提高处理效率,本文分析建筑光谱原始数据的处理要求及存在的问题,提出一种普遍适用的原始光谱文件命名约定、数据批处理方法和流程。本文提出的处理方法将数据处理划分为原始光谱文件分组整理和合成标准光谱文件两个阶段,使用正则表达式从原始光谱文件名提取样品编号、试样编号、测试波段等信息、识别文件,进而实现自动、批量完成原始光谱文件分组和合成标准光谱文件。批处理程序应用结果表明本文提出的光谱原始文件命名约定、匹配表达式具有普遍适用性,优化后的光谱数据处理时间基本与试样数量无关、效率远远高于目前采用的数据模板处理方式,处理方法和批处理程序具有一定的参考价值和推广意义。 展开更多
关键词 建筑玻璃 光谱数据 批处理
在线阅读 下载PDF
基于Python的航空发动机试验数据处理与分析
6
作者 姚甜 成剑 徐艳冰 《科技资讯》 2025年第12期23-26,共4页
结合航空发动机试验数据批量处理的需要,基于Python程序设计语言,完成了某航空发动机试验数据处理程序的开发,并通过示例进行了验证。结果表明,基于Python的发动机试验数据处理方法能够高效地完成数据处理和分析任务,特别是对于长周期... 结合航空发动机试验数据批量处理的需要,基于Python程序设计语言,完成了某航空发动机试验数据处理程序的开发,并通过示例进行了验证。结果表明,基于Python的发动机试验数据处理方法能够高效地完成数据处理和分析任务,特别是对于长周期试验数据,自动化批处理不仅能够减少技术人员的重复劳动,还可以避免人为低级错误,提升数据处理的可靠性,从而为航空发动机设计人员分析试验数据提供参考。 展开更多
关键词 Python程序 航空发动机 试验数据 批量处理
在线阅读 下载PDF
Python在农村乱占耕地建房数据汇交中的运用
7
作者 王文才 《现代信息科技》 2025年第11期87-91,共5页
为解决农村乱占耕地建房数据汇交中人工处理数据效率低、易出错的问题,探索优化数据处理及批量处理的方法,文章运用Python语言,结合ArcPy和Docx模块,编写自动化程序,实现数据批量处理。自动化程序数据处理时间均远低于人工操作且自动化... 为解决农村乱占耕地建房数据汇交中人工处理数据效率低、易出错的问题,探索优化数据处理及批量处理的方法,文章运用Python语言,结合ArcPy和Docx模块,编写自动化程序,实现数据批量处理。自动化程序数据处理时间均远低于人工操作且自动化程序随处理数据增加效率提升,人工操作则效率降低,显著降低时间与劳动成本。该方法有效降低数据汇交时间与成本,提高处理效率和准确率,减轻工作强度。程序具备可拓展性,可应用于类似场景。后续将完善程序功能,提升普适性与可靠性,为相关数据处理提供更好支撑。 展开更多
关键词 数据汇交 数据处理 批处理 PYTHON
在线阅读 下载PDF
一种基于VBA宏语言快速生成批量证书的方法
8
作者 贾文涵 李建勤 +1 位作者 周杨杰 危永福 《计量与测试技术》 2025年第7期51-54,共4页
随着计量技术机构的计量业务日益增加,计量检定工作的时效性亟待突破。本文介绍了以Excel为平台,以VBA编程技术为基础,针对检定原始记录数据快速生成批量证书的方法,并进行试验验证。结果表明:该方法不仅能有效提高检定人员的工作效率... 随着计量技术机构的计量业务日益增加,计量检定工作的时效性亟待突破。本文介绍了以Excel为平台,以VBA编程技术为基础,针对检定原始记录数据快速生成批量证书的方法,并进行试验验证。结果表明:该方法不仅能有效提高检定人员的工作效率和数据处理的正确率,而且能对计量工作的发展起到一定推动作用。 展开更多
关键词 Excel VBA 数据处理 批量证书 膜式燃气表
在线阅读 下载PDF
测井解释结论数据转换为岩性敏感曲线 数据软件的开发
9
作者 赵笑航 王景德 +4 位作者 董一 吴泉全 孙静 冯丽涛 葛厚贶 《石油管材与仪器》 2025年第4期105-109,共5页
为了提高储层预测精度,综合运用测井解释结论数据,需要将测井解释结论数据转换为岩性敏感曲线数据。而Jason软件对岩性敏感曲线数据格式有严格要求,以前人工利用Excel软件对大量的测井解释结论数据进行数据转换、文件的拆分合并需要较... 为了提高储层预测精度,综合运用测井解释结论数据,需要将测井解释结论数据转换为岩性敏感曲线数据。而Jason软件对岩性敏感曲线数据格式有严格要求,以前人工利用Excel软件对大量的测井解释结论数据进行数据转换、文件的拆分合并需要较长时间,同时人工转换极易出现错误,需要反复核验,影响工作效率。针对这一问题,对测井解释结论数据转换为岩性敏感曲线数据的方法进行研究,通过Python语言开发软件,实现了快速、批量的数据转换,提高了工作效率。 展开更多
关键词 岩性敏感曲线 数据转换 文件拆分 数据替换 批量处理
在线阅读 下载PDF
面向异构实时仿真的FastDDS高性能优化方法研究
10
作者 刘聪平 宋威 +1 位作者 方建 刘飞 《系统仿真学报》 北大核心 2025年第7期1865-1878,共14页
FastDDS在高频数据流场景下存在一定的局限,主要表现为锁竞争、上下文切换带来的性能开销影响仿真效果,以及在强实时性需求下多节点的配置复杂性影响实验效率。本文提出了一种基于批处理可扩展循环队列(BSCQ)的性能优化方法。该方法采... FastDDS在高频数据流场景下存在一定的局限,主要表现为锁竞争、上下文切换带来的性能开销影响仿真效果,以及在强实时性需求下多节点的配置复杂性影响实验效率。本文提出了一种基于批处理可扩展循环队列(BSCQ)的性能优化方法。该方法采用无锁算法替代传统的互斥锁机制,减少锁竞争和死锁问题,结合批处理技术改善数据局部性,提升缓存命中率和内存利用率,有效降低数据传输延迟并提高系统吞吐量。引入冒险指针技术,保障批处理内存管理的安全性,避免内存泄漏风险。实验结果表明:优化方案在小消息和高并发场景中表现出显著优势,其吞吐量和延迟指标均优于现有的基线方案。此外,该方法不依赖于第三方软件环境,具有较强的通用性和移植性,可与硬件优化或其他高性能协议相结合,进一步提升系统性能。 展开更多
关键词 异构实时仿真 数据分发服务 无锁算法 批处理 冒险指针
原文传递
大数据处理技术在风电机组齿轮箱故障诊断与预警中的应用 被引量:66
11
作者 张少敏 毛冬 王保义 《电力系统自动化》 EI CSCD 北大核心 2016年第14期129-134,共6页
风电机组状态监测数据具有量大、多源、异构、复杂、增长迅速的电力大数据特点。现有的故障诊断与预警方法在处理大数据时难以在保证精度情况下进行快速处理,故提出了结合Storm实时流数据处理和Spark内存批处理技术的风电机组在线故障... 风电机组状态监测数据具有量大、多源、异构、复杂、增长迅速的电力大数据特点。现有的故障诊断与预警方法在处理大数据时难以在保证精度情况下进行快速处理,故提出了结合Storm实时流数据处理和Spark内存批处理技术的风电机组在线故障诊断与预警模型。以齿轮箱故障诊断与预警为例阐释该模型,引入了Storm处理状态监测数据流,设计了流数据处理的Topology结构;引入Spark,利用弹性分布式数据集(RDD)编程模型实现了朴素贝叶斯(NB)算法和反向传播(BP)算法对设备状态信息进行故障诊断与预测。实验结果显示,该故障诊断与预测方法在保证精度的前提下具有较好的加速比,也证明了该故障诊断与预警模型的有效性和可行性。 展开更多
关键词 风电机组 故障诊断 故障预警 弹性分布式数据集 内存批处理 流数据处理
在线阅读 下载PDF
基于变点检测理论的制丝过程稳态识别方法 被引量:4
12
作者 马晓龙 何雪平 +8 位作者 刘继辉 张云飞 许磊 杨晶津 崔宇翔 李兴绪 李达 李宽 王慧 《烟草科技》 EI CAS CSCD 北大核心 2017年第9期84-91,102,共9页
为实现卷烟制丝工序批过程数据稳态的智能识别,提出了一种基于变点检测理论的制丝过程稳态识别方法。以"云烟"某一规格卷烟制丝过程全批次数据为研究对象,首先利用均值方差变点检测模型和PELT算法动态划分子区间,然后根据工... 为实现卷烟制丝工序批过程数据稳态的智能识别,提出了一种基于变点检测理论的制丝过程稳态识别方法。以"云烟"某一规格卷烟制丝过程全批次数据为研究对象,首先利用均值方差变点检测模型和PELT算法动态划分子区间,然后根据工艺标准设定子区间方差和(或)均值的阈值,通过筛选出符合阈值条件的子区间从而形成稳态数据集,最后与现行的两种稳态截取规则识别的数据集进行测度指标对比分析。结果表明:(1)不同稳态识别方式对制丝批过程数据测度的准确性影响较大;(2)基于变点检测理论的稳态识别方法适应性较好,识别效果较优;(3)通过信息系统内置的R语言程序,将基于变点检测理论的稳态识别方法与Shapiro-Wilk正态性检验相结合,可实现在线智能判别过程能力。该方法的建立为制丝过程稳态的智能识别提供了技术支持。 展开更多
关键词 卷烟生产 制丝过程 批过程数据 变点检测 稳态识别
在线阅读 下载PDF
步进MPCA及其在间歇过程监控中的应用 被引量:8
13
作者 谢磊 何宁 王树青 《高校化学工程学报》 EI CAS CSCD 北大核心 2004年第5期643-647,共5页
针对多向主元分析法(MPCA)在间歇过程监控过程中需要预测过程未来输出的困难,提出了一种新的步进多向主元分析方法。该方法通过建立一系列的PCA模型,避免了对预估过程变量未来输出的需要,通过引入遗忘因子能够自然地处理多阶段间歇过程... 针对多向主元分析法(MPCA)在间歇过程监控过程中需要预测过程未来输出的困难,提出了一种新的步进多向主元分析方法。该方法通过建立一系列的PCA模型,避免了对预估过程变量未来输出的需要,通过引入遗忘因子能够自然地处理多阶段间歇过程的情况。对于多阶段链霉素发酵过程的监控表明,相对于普通MPCA,步进MPCA能够更精确地对过程故障行为进行描述。 展开更多
关键词 多向主元分析(MPCA) 步进多向主元分析 间歇过程监控 链霉素发酵
在线阅读 下载PDF
LAS测井数据解析与批量转换方法研究 被引量:7
14
作者 郭海敏 樊鹤 张宫 《石油天然气学报》 CAS CSCD 2013年第4期89-91,167,共3页
LAS测井数据是目前测井领域比较通用的数据交换格式,该格式采用ASCII文本格式,易于计算机程序分析。目前多数测井数据处理平台对LAS格式具有较好的支持,但同时也存在一些问题。利用VisualStudio2010平台,采用C#语言开发了一套LAS测井数... LAS测井数据是目前测井领域比较通用的数据交换格式,该格式采用ASCII文本格式,易于计算机程序分析。目前多数测井数据处理平台对LAS格式具有较好的支持,但同时也存在一些问题。利用VisualStudio2010平台,采用C#语言开发了一套LAS测井数据解析的辅助程序。该程序能够方便地对LAS格式测井数据进行辅助处理,解决了LAS格式测井曲线的合并、换行模式切换以及批量转换等问题。利用该程序对几口井进行了测试,结果表明该程序操作便捷,具有良好的人机交互界面,批量处理功能能够显著提高工作效率。 展开更多
关键词 LAS格式 批量处理 测井数据
在线阅读 下载PDF
基于代理缓存的流媒体动态调度算法研究 被引量:23
15
作者 覃少华 李子木 +1 位作者 蔡青松 胡建平 《计算机学报》 EI CSCD 北大核心 2005年第2期185-194,共10页
该文研究了在 Internet环境下通过代理服务器将流媒体从源服务器传输到多个客户端时的骨干网络及服务器带宽消耗问题.在分析了传统多媒体流动态调度算法不足的基础上,提出了基于代理服务器协助的补丁预取与服务调度算法(P3S2A).由代理... 该文研究了在 Internet环境下通过代理服务器将流媒体从源服务器传输到多个客户端时的骨干网络及服务器带宽消耗问题.在分析了传统多媒体流动态调度算法不足的基础上,提出了基于代理服务器协助的补丁预取与服务调度算法(P3S2A).由代理服务器通过单播连接从源服务器中获取流媒体数据,然后通过组播方式转发给客户端.同时根据当前客户请求到达的分布状况,代理服务器为后续到达的客户请求进行补丁预取及缓存.理论分析及实验结果表明,与传统的动态调度方法相比,该文提出的算法能够在不消耗更多的缓存空间的情况下,更有效地节省骨干网络的带宽资源,特别是在访问请求强度较高的情况下,效果更为突出. 展开更多
关键词 流媒体 批处理补丁 代理缓存 补丁预取 调度算法
在线阅读 下载PDF
高校实验室信息统计中准确、高效的数据处理方法初探——以北京化工大学研发的管理软件为基础 被引量:5
16
作者 吴云峰 文体健 陈实 《实验技术与管理》 CAS 2008年第7期101-103,共3页
高等学校每年都需要上报实验室信息统计数据,数据录入的工作量较大,而且在2006年教育部修订了信息统计的指标体系后,对以往的数据还需要作一定的调整。文章以简化输入、提高效率为目的,阐述了几种快速处理数据的方法。
关键词 实验室信息统计 批量处理 数据处理
在线阅读 下载PDF
CTD数据预处理、批处理的编程实现 被引量:4
17
作者 郭心顺 匡晓迪 范洪涛 《实验技术与管理》 CAS 北大核心 2009年第3期94-96,共3页
根据人工剔除CTD数据的原理,通过Fortran语言编程,实现了数据剔除的程序自动实现,节省大量时间、大幅提高工作效率的同时,也避免了数据处理过程中的处理者主观因素对数据处理结果的影响,实现了数据处理的可重复性,使得CTD原始数据的批... 根据人工剔除CTD数据的原理,通过Fortran语言编程,实现了数据剔除的程序自动实现,节省大量时间、大幅提高工作效率的同时,也避免了数据处理过程中的处理者主观因素对数据处理结果的影响,实现了数据处理的可重复性,使得CTD原始数据的批处理得以实现。从而,大大缩短了原始数据转化为经过质量控制且方便应用于科学研究的数据所需的时间,调查数据的科学价值,也因此得到及时、充分地体现。 展开更多
关键词 海鸟CTD预处理 批处理 数据剔除
在线阅读 下载PDF
海量数据快速批量处理的研究与实现 被引量:9
18
作者 吴建平 杨建国 《计算机应用研究》 CSCD 北大核心 2004年第12期240-242,共3页
对海量数据快速大批量抽取和大批量处理进行研究,给出根据不同要求指定的具有一定共性特征的数据集进行交互式批量处理和批量加工的实现方法。
关键词 数据库 批量处理 海量数据
在线阅读 下载PDF
敏捷供应链中基于多代理的Legacy系统封装技术 被引量:8
19
作者 刘敏 李彪 张申生 《上海交通大学学报》 EI CAS CSCD 北大核心 2001年第2期197-200,共4页
为解决敏捷供应链中各异构 Legacy系统的封装、集成问题 ,分析了直接数据库存取、基于函数与过程的调用、基于多代理封装等 3种 Legacy系统封装方案 ,采用 CORBA、智能代理技术构造了基于多代理的 Legacy系统封装框架 ,以实现系统的功... 为解决敏捷供应链中各异构 Legacy系统的封装、集成问题 ,分析了直接数据库存取、基于函数与过程的调用、基于多代理封装等 3种 Legacy系统封装方案 ,采用 CORBA、智能代理技术构造了基于多代理的 Legacy系统封装框架 ,以实现系统的功能与信息集成 .在 Windows环境下实现了构成内封装适配器的网络通信代理、服务分解代理与监控执行代理等 3个智能代理 . 展开更多
关键词 敏捷供应链 代理 Legacy系统 封装
在线阅读 下载PDF
上一页 1 2 10 下一页 到第
使用帮助 返回顶部