期刊文献+
共找到100篇文章
< 1 2 5 >
每页显示 20 50 100
强化标准化实现地震勘探新跨越
1
作者 代伟平 邓艺 +2 位作者 张志锋 郭智慧 周家宇 《物探装备》 2025年第2期110-113,117,共5页
地震勘探作为油气资源开发的关键手段,在复杂地表环境、地下构造及海量数据处理等挑战下,标准化成为提升勘探效率的核心驱动力。标准化贯穿生产、管理、技术各环节,是联系各部门的纽带,也是提升质量、效益的基础。当前地震勘探面临地表... 地震勘探作为油气资源开发的关键手段,在复杂地表环境、地下构造及海量数据处理等挑战下,标准化成为提升勘探效率的核心驱动力。标准化贯穿生产、管理、技术各环节,是联系各部门的纽带,也是提升质量、效益的基础。当前地震勘探面临地表复杂化、地下构造精细化、工农矛盾突出、数据处理庞大等难题,而标准化体系滞后、人才短缺等问题进一步制约发展。强化标准化可形成统一应对策略,优化流程设计、数据处理及技术方法,推动技术创新。通过建立标准化设计、野外流程、数据处理模块及观测系统,显著提升了施工效率与质量,日均生产炮数大幅增长,并在复杂地区实现技术突破。标准化与科研成果结合,如检波器组合高差优化,有效解决传统标准脱离实际的问题。未来需持续完善标准体系,培养专业人才,推动地震勘探在高效、安全、可持续轨道上发展。 展开更多
关键词 标准化 海量数据 瓶颈 情报 新跨越
在线阅读 下载PDF
可扩展分布式关系型云数据库方案 被引量:6
2
作者 王献美 吴迪冲 +1 位作者 朱泽飞 李仁旺 《华中科技大学学报(自然科学版)》 EI CAS CSCD 北大核心 2012年第S1期124-127,共4页
为满足云数据库高并发、高可扩展和高可用性的需求,在分析各种关系型和NOSQL数据库的基础上,借鉴关系型数据的便捷性与NOSQL的可扩展性,提出了一种可扩展性的关系型云数据库方案.该方案提出了全新的系统架构、数据库读写流程、数据合并... 为满足云数据库高并发、高可扩展和高可用性的需求,在分析各种关系型和NOSQL数据库的基础上,借鉴关系型数据的便捷性与NOSQL的可扩展性,提出了一种可扩展性的关系型云数据库方案.该方案提出了全新的系统架构、数据库读写流程、数据合并流程、数据模型和数据结构与存储,并对其系统架构理论存在瓶颈进行分析.最后对数据一致性、可用性和线上运行性能进行分析,结果表明此方案可行. 展开更多
关键词 云数据库 可拓展性 SSTable 海量数据存储 分布式事务
原文传递
一种支持网络硬盘存储系统的大数据传输技术 被引量:7
3
作者 周娇 傅颖勋 +1 位作者 刘青昆 舒继武 《小型微型计算机系统》 CSCD 北大核心 2014年第2期329-333,共5页
随着网络的迅速发展和普及,网络硬盘存储系统的应用越来越广泛.但现有的网络硬盘存储系统在超大数据文件传输、传输过程的内存占有率、数据安全性及断点续传等方面仍存在着一些缺陷.针对这些问题提出一种高效便捷的DTOSS(Data Transmiss... 随着网络的迅速发展和普及,网络硬盘存储系统的应用越来越广泛.但现有的网络硬盘存储系统在超大数据文件传输、传输过程的内存占有率、数据安全性及断点续传等方面仍存在着一些缺陷.针对这些问题提出一种高效便捷的DTOSS(Data Transmission in Online Storage System)数据传输技术.DTOSS数据传输技术基于服务器端的目录树结构,利用分块传输的思想,实现了超大数据文件的传输.同时DTOSS技术还提高了数据的安全性,压缩了传输过程中的内存开销,并实现了超大数据文件的断点续传.实验结果表明,DTOSS技术以64MB作为单个数据块大小可以达到最大的传输速率,此条件下的内存开销大约为67MB,并能节省约2/3的中断重传时间. 展开更多
关键词 网络硬盘存储系统 超大数据传输 DTOSS技术 断点续传 内存消耗
在线阅读 下载PDF
基于三维GIS的海量地形数据存储和调度的研究 被引量:15
4
作者 唐桂文 张庆娟 +1 位作者 王功明 苏玉扬 《测绘科学》 CSCD 北大核心 2008年第3期110-112,120,共4页
地形数据用来表达地形起伏特征,如何有效地存储和调度海量地形数据是三维GIS研究热点之一。本文基于金字塔影像、分片分块的方法组织三维地形数据,以此基础开发了基于三维显示平台和通用数据库(DBMS)的空间数据中间件,通过空间数据中间... 地形数据用来表达地形起伏特征,如何有效地存储和调度海量地形数据是三维GIS研究热点之一。本文基于金字塔影像、分片分块的方法组织三维地形数据,以此基础开发了基于三维显示平台和通用数据库(DBMS)的空间数据中间件,通过空间数据中间件对数据库进行地形数据的读写,实现了三维地形数据的存储和调度。 展开更多
关键词 海量地形数据 金字塔影像 数据分块 LOD 数据存储 数据调度
在线阅读 下载PDF
数据挖掘在审计信息分析中的应用 被引量:12
5
作者 王忠 武哲 《计算机应用研究》 CSCD 北大核心 2005年第2期167-169,193,共4页
介绍了应用数据挖掘实现审计数据总体分析流程,并提出了一种应用模糊神经网络与遗传算法相结合的方法来解决在海量数据条件下的审计数据的总体分析问题。
关键词 海量数据 计算机审计 数据挖掘 模糊神经网络 遗传算法 审计数据 总体分析
在线阅读 下载PDF
Oracle数据库中大型表查询优化的研究 被引量:10
6
作者 徐红如 张正义 胡予濮 《现代电子技术》 2003年第17期4-6,共3页
对海量数据进行访问查询时 ,常常遇到系统响应时间过长 ,占用系统资源过多的问题。本文结合实例着重对 Oracle数据库中的查询优化进行了研究 ,测试结果表明采用的方法是很有效的 ,大大缩短了测试用例表的响应时间 ,最后对海量数据的优... 对海量数据进行访问查询时 ,常常遇到系统响应时间过长 ,占用系统资源过多的问题。本文结合实例着重对 Oracle数据库中的查询优化进行了研究 ,测试结果表明采用的方法是很有效的 ,大大缩短了测试用例表的响应时间 ,最后对海量数据的优化方法提出了实用性的建议。 展开更多
关键词 ORACLE数据库 海量数据 查询优化 响应时间 数据查询
在线阅读 下载PDF
一种海量数据的分析技术——符号数据分析及应用 被引量:19
7
作者 胡艳 王惠文 《北京航空航天大学学报(社会科学版)》 2004年第2期40-44,共5页
传统的统计分析方法在处理海量数据方面存在很大的局限性。为了解决这一问题,符号数据分析(symbolicdataanalysis,SDA)方法被提出并得到了迅速的发展。SDA方法对传统的数据概念做了本质性的扩张,运用'数据打包'的理念,对海量的... 传统的统计分析方法在处理海量数据方面存在很大的局限性。为了解决这一问题,符号数据分析(symbolicdataanalysis,SDA)方法被提出并得到了迅速的发展。SDA方法对传统的数据概念做了本质性的扩张,运用'数据打包'的理念,对海量的原始数据在不破坏其原有内在逻辑关系的前提下,可以进行变量和样本点空间的双重降维,并将传统的统计分析技术扩展到符号数据分析体系中。符号数据的方法体系是知识发现和数据管理领域的最新研究方向之一,目前在国内鲜有相关的研究资料。文章详细阐述了符号数据因素分析技术的原理和概念,并以中国股票市场为案例研究背景,结果表明,SDA因素分析技术对综合简化大规模多维数据系统是十分有效的。 展开更多
关键词 符号数据分析(SDA) 海量数据 数据打包 双重降维 股票市场
在线阅读 下载PDF
轨道交通领域大数据的关键技术研究 被引量:4
8
作者 张浩 石琦 +1 位作者 徐启禄 朱东升 《都市快轨交通》 北大核心 2016年第6期8-10,共3页
介绍轨道交通领域综合监控系统数据的存储、提取及运算过程,并以北京、南京等为例分析当前存在的效率问题,提出采用map-reduce分布式运算以及窗口算法,解决中心大数据量信息处理的效率问题。介绍map-reduce算法原理以及窗口算法,对采用... 介绍轨道交通领域综合监控系统数据的存储、提取及运算过程,并以北京、南京等为例分析当前存在的效率问题,提出采用map-reduce分布式运算以及窗口算法,解决中心大数据量信息处理的效率问题。介绍map-reduce算法原理以及窗口算法,对采用传统方式解决大数据的同步问题进行分析,提出利用简化的map-reduce任务分发解决轨道交通数据的处理效率问题,最后对其应用领域进行扩展,可推广到轨道交通领域任何的分布式应用中。 展开更多
关键词 城市轨道交通 大数据 MAP-REDUCE 分布式运算 窗口算法 大数据量信息处理 运维指挥系统
在线阅读 下载PDF
一种区间数的因子分析技术及其在证券市场中的应用 被引量:5
9
作者 胡艳 王惠文 《数理统计与管理》 CSSCI 北大核心 2004年第4期53-58,共6页
传统的因子分析技术能够有效地对高维变量空间进行降维处理,但它对于样本空间却缺乏行之有效的降维效果.为了解决这一问题,一种针对大量样本数据、新的因子分析技术———区间数因子分析技术(intervaldatafactoranalysis,IFA)被提出并... 传统的因子分析技术能够有效地对高维变量空间进行降维处理,但它对于样本空间却缺乏行之有效的降维效果.为了解决这一问题,一种针对大量样本数据、新的因子分析技术———区间数因子分析技术(intervaldatafactoranalysis,IFA)被提出并得到了迅速的发展。IFA方法对传统的数据概念做了本质性的扩张,运用'数据打包'的理念,对海量原始数据在不破坏其原有内在逻辑关系的前提下,可以进行变量和样本点维度的双重降维。本文详细阐述了区间数因子分析技术的原理,并以中国股票市场为案例研究背景,结果表明IFA分析技术对大规模多维数据系统做综合简化是十分有效的。 展开更多
关键词 区间数因子分析技术 海量样本 双重降维 数据打包 股票市场
在线阅读 下载PDF
飞行试验数据自检测系统软件设计 被引量:7
10
作者 许应康 彭国金 刘威 《现代电子技术》 北大核心 2015年第6期31-35,共5页
在飞行试验过程中,因缺乏对海量试飞原始数据和预处理结果数据的快速检查和故障定位,导致试飞工程师分析数据的难度急剧增加,影响试飞型号任务的高效进行。在此针对上述问题对飞行试验数据进行自检测技术研究,设计了一个基于参数信息专... 在飞行试验过程中,因缺乏对海量试飞原始数据和预处理结果数据的快速检查和故障定位,导致试飞工程师分析数据的难度急剧增加,影响试飞型号任务的高效进行。在此针对上述问题对飞行试验数据进行自检测技术研究,设计了一个基于参数信息专家数据库的原始数据与预处理结果数据的自动化检测系统软件。该软件可对原始数据进行自动化检测,同时依据专家数据库的自定义判据,对预处理结果数据进行自动化检测和计算处理。经过软件测试和应用,该软件能够有效地解决原始数据和预处理结果数据中的数据异常和错误,提高试飞工程师对海量试飞数据的分析效率。 展开更多
关键词 专家数据库 海量数据 自检测 飞行试验
在线阅读 下载PDF
海量数据的组织与管理方法研究 被引量:3
11
作者 曾文 李颖 +3 位作者 韩红旗 张运良 徐红姣 翟娟华 《情报工程》 2016年第1期109-113,共5页
随着信息技术的发展,需要存储和传播的信息数据量越来越大,数据的种类和形式越来越丰富,数据资源呈现规模大、多源性、多语言等特点,使得海量数据资源的组织和管理面临极大的挑战。本文分析和阐述海量数据资源在组织与管理等方面的问题... 随着信息技术的发展,需要存储和传播的信息数据量越来越大,数据的种类和形式越来越丰富,数据资源呈现规模大、多源性、多语言等特点,使得海量数据资源的组织和管理面临极大的挑战。本文分析和阐述海量数据资源在组织与管理等方面的问题和方法,并介绍在相关领域的研究工作和体会。 展开更多
关键词 海量数据 数据资源 词表 组织工具
在线阅读 下载PDF
高密度地震资料在准噶尔盆地的应用及面临的问题 被引量:5
12
作者 潘龙 林娟 +1 位作者 罗勇 崔琴 《物探化探计算技术》 CAS CSCD 2016年第5期637-642,共6页
高密度地震勘探技术是近年来在国外发展较快的一种地震方法,相比以往的地震勘探技术具有明显的优势,信噪比、分辨率能够大幅提高,能够更细致刻画地质目标。这里详细分析了高密度地震勘探技术在准噶尔盆地面临的困难,论述了准噶尔盆地高... 高密度地震勘探技术是近年来在国外发展较快的一种地震方法,相比以往的地震勘探技术具有明显的优势,信噪比、分辨率能够大幅提高,能够更细致刻画地质目标。这里详细分析了高密度地震勘探技术在准噶尔盆地面临的困难,论述了准噶尔盆地高密度地震勘探资料处理技术的现状,指出了在准噶尔盆地实施高密度地震勘探应该具备的基本条件,还需要开发和完善一些必备的配套技术。 展开更多
关键词 高密度地震勘探 准噶尔盆地 可控震源滑动扫描 谐波干扰 海量地震数据
在线阅读 下载PDF
一种面向大型地理栅格数据的并行处理框架 被引量:6
13
作者 杨典华 潘欣 《国防科技大学学报》 EI CAS CSCD 北大核心 2013年第6期152-156,共5页
随着高分辨率数据获取技术的发展,地理栅格数据的数据量不断增大,串行计算方式无法快速处理大型栅格数据,因此需要通过并行技术提高效率。传统开发过程将算法与进程调度、内存管理以及数据I/O混杂在一起的编程方式,对程序员要求较高,代... 随着高分辨率数据获取技术的发展,地理栅格数据的数据量不断增大,串行计算方式无法快速处理大型栅格数据,因此需要通过并行技术提高效率。传统开发过程将算法与进程调度、内存管理以及数据I/O混杂在一起的编程方式,对程序员要求较高,代码质量不易控制。提出了一种面向大型地理栅格数据的并行处理框架,利用核心类的真实和虚拟两种读取方式,实现了大型数据的分步骤、分块的快速加载和写入,并将所有的并行任务调度、进程间的数据传输过程以及特定的栅格算法步骤归结为任务;通过该框架可以将算法本身与并行调度、磁盘I/O等底层操作分离,使算法编写者可以专注于算法本身,降低开发难度,提高代码质量,解决了快速编写大型地理栅格数据算法程序的目的。实验表明,本框架可实现较好的并行效果,并显著降低代码量、提高软件质量。 展开更多
关键词 栅格图像 超大型地理数据 MPI 并行处理框架
在线阅读 下载PDF
图形图像融合的海量建筑绘制 被引量:3
14
作者 周杨 胡校飞 +2 位作者 靳彩娇 张龙 陈安东 《中国图象图形学报》 CSCD 北大核心 2018年第7期1072-1080,共9页
目的城市3维模型数据海量且结构复杂,缺乏一个高效完善的可视化系统往往是影响数字城市应用的瓶颈之一。通常利用多层次细节(LOD)与调度算法减少每一帧绘制的数据量来提高绘制效率,当场景规模足够大时,即使采用复杂的优化算法也难以取... 目的城市3维模型数据海量且结构复杂,缺乏一个高效完善的可视化系统往往是影响数字城市应用的瓶颈之一。通常利用多层次细节(LOD)与调度算法减少每一帧绘制的数据量来提高绘制效率,当场景规模足够大时,即使采用复杂的优化算法也难以取得较好的效果。为此,本文在传统算法基础上,提出一种图形图像融合的海量建筑物场景绘制方法。方法提出并采用视域分级绘制策略,将视椎体平行分割为感兴趣区域、次感兴趣区域和非感兴趣区域,感兴趣区域采用图形实时绘制方法,使用离屏渲染技术将次感兴趣和非感兴趣区域绘制在纹理图像中,每一帧绘制完成后将二者进行顾及深度信息的融合,实现完整场景渲染。结果使用公开的纽约市区CityGML文件作为实验数据,数据包含了118 195个LOD1和LOD2级别的建筑物模型。分别构建多组不同建筑数量的场景进行帧率统计实验,绘制帧率都达到20帧/s以上。算法实现了视觉无损失的场景完整渲染,并与Cesium平台进行对比实验,证明算法有效且系统运行流畅。结论图形图像融合的绘制方法,既保持了图形渲染的漫游连续性,同时也具有图像渲染的场景复杂度无关的优点。实验结果表明,针对大规模的低分辨率建筑模型场景,算法可以有效提高系统的渲染能力,在性能相对较低的硬件条件下也能实现海量建筑物实体模型的流畅漫游,并达到视觉无损失的场景完整绘制。 展开更多
关键词 城市3维 图形图像融合 大规模场景 海量数据 城市建筑
原文传递
多级地理空间网格框架及其关键技术初探 被引量:11
15
作者 关丽 吕雪锋 《地理与地理信息科学》 CSSCI CSCD 北大核心 2011年第3期1-6,共6页
为了有效管理、组织和利用海量空间数据,解决存储架构与现有空间数据结构不一致的矛盾,在融合国内外各种球面剖分模型优点基础上,设计了一种多级地理空间网格框架。该网格框架以地图分幅划分方式为基础,利用经纬度间隔对全球进行层次性... 为了有效管理、组织和利用海量空间数据,解决存储架构与现有空间数据结构不一致的矛盾,在融合国内外各种球面剖分模型优点基础上,设计了一种多级地理空间网格框架。该网格框架以地图分幅划分方式为基础,利用经纬度间隔对全球进行层次性剖分,形成遥感数据、测绘数据及其他空间数据的统一组织框架。通过对网格单元的地址与属性编码,实现空间数据的直接存储和索引,从而完成对空间信息的无缝拼接与多尺度管理。最后阐述了实现地理空间网格框架的关键技术,包括空时一体化技术、计算集群存储技术和空间索引技术等。 展开更多
关键词 多级地理空间网格框架 海量空间数据组织 EMD编码 地图分幅
在线阅读 下载PDF
远程大数据量下载方法的研究与实现 被引量:2
16
作者 林庆 黄鑫 《计算机工程与设计》 CSCD 北大核心 2009年第18期4211-4213,共3页
在进行远程大数据量下载时,UDP协议能提供更高的数据流量,但UDP协议在数据传输时不具备错误纠正功能和重传机制,不具备传输可靠性保障,可以在UDP协议的基础上对应用层数据进行私有协议的封装,设计出一种新型的私有可靠型UDP协议。并在... 在进行远程大数据量下载时,UDP协议能提供更高的数据流量,但UDP协议在数据传输时不具备错误纠正功能和重传机制,不具备传输可靠性保障,可以在UDP协议的基础上对应用层数据进行私有协议的封装,设计出一种新型的私有可靠型UDP协议。并在该协议的基础上创新出针对性的下载机制,可根据不同的网络丢包率自适应触发补发机制或重发机制,实现终端和远程服务器之间的大数据量高速、可靠的传输,最后给出了相关测试数据与分析。 展开更多
关键词 大数据量 私有协议 可靠型用户数据报协议 自适应 补发机制 重发机制
在线阅读 下载PDF
基于ArcGlobe的水土流失三维查询分析系统 被引量:2
17
作者 谈晓军 兰建萍 《水土保持研究》 CSCD 北大核心 2007年第5期125-128,共4页
在以往水土流失应用系统中,查询分析主要建立在二维地理信息系统的基础上。主要研究在三维数据模型基础上实现查询,利用层次细节水平(LOD)方法以及海量数据动态调度方法解决海量数据的提取、调度,以ArcSDE作为空间数据引擎来管理和高... 在以往水土流失应用系统中,查询分析主要建立在二维地理信息系统的基础上。主要研究在三维数据模型基础上实现查询,利用层次细节水平(LOD)方法以及海量数据动态调度方法解决海量数据的提取、调度,以ArcSDE作为空间数据引擎来管理和高效访问空间数据,通过GIS组件实现三维数据的可视化。以此应用到湖北省水土保持综合查询系统中,结果表明系统能在三维模型基础上有效地对全省水土流失相关信息的查询统计。 展开更多
关键词 水土流失 地理信息系统 层次细节 海量数据 三维查询
在线阅读 下载PDF
基于NoSQL的数据库技术分析 被引量:11
18
作者 权治 宋晶晶 《无线电工程》 2013年第9期4-6,27,共4页
由于Web2.0的快速发展,非关系型、分布式数据存储得到了快速的发展。针对传统关系型数据库逐渐暴露出的性能瓶颈,介绍了非关系型数据库(Non_relational Database,NoSQL)模型及NoSQL数据库,对NoSQL数据库具有的特点做了简单定义,阐述了No... 由于Web2.0的快速发展,非关系型、分布式数据存储得到了快速的发展。针对传统关系型数据库逐渐暴露出的性能瓶颈,介绍了非关系型数据库(Non_relational Database,NoSQL)模型及NoSQL数据库,对NoSQL数据库具有的特点做了简单定义,阐述了NoSQL数据库的存储方式,论证了NoSQL比较于传统关系数据库的优点,并介绍了著名的CAP理论。针对NoSQL的大数据量存储机制,总结了主流解决方案的共同特点及共同技术,并对数据库的性能测试结果进行了分析。 展开更多
关键词 NOSQL CAP理论 一致性哈希 大型数据存储
在线阅读 下载PDF
经济犯罪侦查中的大数据思维研究 被引量:28
19
作者 程科 《中国人民公安大学学报(社会科学版)》 北大核心 2018年第4期39-46,共8页
大数据思维是人类通过数据采集、处理、分析和可视化等大数据技术手段来解决客观问题时产生的一种思维态度和逻辑范畴。随着经济犯罪侦查和大数据技术的深度融合,经济犯罪侦查工作已经成为数据密集型科学发现的应用领域。第四代科学研... 大数据思维是人类通过数据采集、处理、分析和可视化等大数据技术手段来解决客观问题时产生的一种思维态度和逻辑范畴。随着经济犯罪侦查和大数据技术的深度融合,经济犯罪侦查工作已经成为数据密集型科学发现的应用领域。第四代科学研究范式对当前的大数据侦查工作有极其重要的理论价值。数据驱动理念、相关性研究理论、从"未知"中发掘价值、数据核心主义都是大数据思维的重要内容。大数据侦查以数据精确反映客观世界为前提,印证了世界是普遍联系的哲学原理并在实践中还原联系的全貌。大数据侦查思维体现了唯物辩证法对事物客观、全面、整体、系统性的认识和把握。未来,大数据思维的应用体现在强大数据后台赋能地方经侦队伍;通过类罪模型的迭代优化使情报研判越来越智能化;大数据预测功能也能洞悉经济犯罪的发展趋势,服务地方经济建设。 展开更多
关键词 经济犯罪侦查 大数据思维 第四范式 数据密集型科学
原文传递
海量数据云存储优化模式的设计与仿真 被引量:3
20
作者 宋亮 连冬艳 卜春霞 《计算机仿真》 CSCD 北大核心 2016年第4期232-235,共4页
在对海量数据云存储优化过程中,由于海量数据具有数据量大,伸缩性强的数据节点特征,使得海量数据客户端和云存储服务器之间网络带宽存在干扰。传统的海量数据云存储模式由于受到干扰对网络节点数据包的影响,导致无法实现海量数据的有效... 在对海量数据云存储优化过程中,由于海量数据具有数据量大,伸缩性强的数据节点特征,使得海量数据客户端和云存储服务器之间网络带宽存在干扰。传统的海量数据云存储模式由于受到干扰对网络节点数据包的影响,导致无法实现海量数据的有效云存储,降低云存储的存储效率。提出采用分布式计算的海量数据云存储优化模式,首先从海量数据的管理人手,对空间数据和非空间数据的不同特点进行分析,塑造一种分布式的存储模式,在通过分布式数据虚拟化管理和面向信息汇聚的数据调度机制,完成对海量数据的云存储,并给出云存储结构图及分布式元数据集的基本结构。然后采用定向随机游走规则传输网络中各源数据包,在源数据包抵达所要访问的网络节点后,从全部邻居节中选择一个节点继续进行访问。仿真结果表明,所提方法提高存储效率提供了依据。 展开更多
关键词 海量数据 云存储 模式 仿真
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部