一种基于NoSQL的地图瓦片数据存储技术 被引量：33

1

作者 陈超 王亮 +3 位作者 闫浩文 仇阿根 李玉祥 朱芳菲 《测绘科学》 CSCD 北大核心 2013年第1期142-143,159,共3页

本文首先介绍了NoSQL(非关系型数据库)的起源与发展,对比其与关系型数据库的优缺点,提出了基于NoSQL的地图瓦片数据存储策略,通过实验对比分析了面向文档型的NoSQL数据库产品Mongo DB与SQL Serv-er 2000在瓦片入库与并发访问性能上的差... 本文首先介绍了NoSQL(非关系型数据库)的起源与发展,对比其与关系型数据库的优缺点,提出了基于NoSQL的地图瓦片数据存储策略,通过实验对比分析了面向文档型的NoSQL数据库产品Mongo DB与SQL Serv-er 2000在瓦片入库与并发访问性能上的差异。研究结果表明,Mongo DB在海量空间数据存储与并发访问方面具有明显的高效性。 展开更多

关键词 NOSQL 地图瓦片 Mongo DB 四叉树 SQL SERVER 2000

原文传递

基于MongoDB的前置通信平台大数据存储机制 被引量：15

2

作者 史玉良 王相伟 +2 位作者 梁波 朱伟义 吕梁 《电网技术》 EI CSCD 北大核心 2015年第11期3176-3181,共6页

为应对用电信息大数据存储和处理的挑战,构建了关系数据库与Mongo DB数据库混合存储的云存储架构。首先,根据用电数据存储容量和速率的需求,提出基于Mongo DB的前置通信平台大数据存储机制,并从数据存储、可用性、均衡策略和读写分离4... 为应对用电信息大数据存储和处理的挑战,构建了关系数据库与Mongo DB数据库混合存储的云存储架构。首先,根据用电数据存储容量和速率的需求,提出基于Mongo DB的前置通信平台大数据存储机制,并从数据存储、可用性、均衡策略和读写分离4个方面分析了其中的关键技术和优化机制。然后,针对目前Mongo DB数据均衡策略的不足,结合数据节点负载的差异,对均衡策略进行优化,实现了数据量和负载的动态均衡。前置通信平台的实践应用分析验证了基于Mongo DB的大数据存储机制具有高并发读写性能和良好的可行性。 展开更多

关键词 用电信息采集系统 云存储 Mongo DB

原文传递

一种基于ANTLR的MongoDB数据库SQL转化模型 被引量：12

3

作者 李常青 谷建华 《西北工业大学学报》 EI CAS CSCD 北大核心 2017年第1期143-147,共5页

作为非关系型数据的典型存储和管理模型,NoSQL(not only structured query language)技术随着大数据发展浪潮已成为研究热点之一。通过对著名NoSQL数据库MongoDB特点的分析,针对其缺乏SQL(structured query language)访问接口的不足,提... 作为非关系型数据的典型存储和管理模型,NoSQL(not only structured query language)技术随着大数据发展浪潮已成为研究热点之一。通过对著名NoSQL数据库MongoDB特点的分析,针对其缺乏SQL(structured query language)访问接口的不足,提出了一种基于ANTLR的MongoDB数据库SQL转化模型,并重点研究了该模型的分层构成、SQL解析、语义转换以及运行机制。基于该模型,设计开发了原型系统,对该模型的效果进行了验证,达到了预期的目标。这一研究成果的突出贡献在于,它可以使得软件开发人员对MongoDB数据库的学习曲线变得平坦,减少了编制程序的工作量,提高了软件的开发效率。 展开更多

关键词 SQL NO SQL Mongo DB 大数据 转化模型 ANTLR

在线阅读 下载PDF 职称材料

基于MongoDB的分布式地质灾害数据存储策略 被引量：1

4

作者 牛千 唐亚明 王佳运 《城市地理》 2017年第10X期80-80,共1页

根据地质灾害数据数据量大,更新速度快,种类多样等特点,提出Mongo DB分布式存储策略。探讨了基于Mongo DB的分布式地质灾害数据存储策略。为解决地质灾害相关数据存取的性能、管理等问题提供了一个思路。

关键词 地质灾害 MONGODB shards mongos GridFS

在线阅读 下载PDF 职称材料

电网图形数据管理MongoDB数据库的应用 被引量：5

5

作者 赵越 李培 +1 位作者 王震 张声圳 《计算机系统应用》 2017年第3期239-243,共5页

国家电网公司正推进资产全寿命周期管理体系建设,电网GIS图形作为电网的信息化表征,为了实现电网异动信息的全过程管理,通过电网图形多时态多级管理机制,同时引入Mongo DB非关系型数据库,提升了数据读写效率,最终满足电网各业务部门海... 国家电网公司正推进资产全寿命周期管理体系建设,电网GIS图形作为电网的信息化表征,为了实现电网异动信息的全过程管理,通过电网图形多时态多级管理机制,同时引入Mongo DB非关系型数据库,提升了数据读写效率,最终满足电网各业务部门海量数据信息化应用的性能需求. 展开更多

关键词 电网图形 多时态多级 分布式及分片 Mongo DB

在线阅读 下载PDF 职称材料

中医电子病历大数据服务平台设计与研究 被引量：4

6

作者 生慧 王振国 《山东中医药大学学报》 2017年第5期402-405,共4页

通过对中医电子病历大数据服务平台的功能、技术和安全需求进行分析,设计出多层次的中医电子病历大数据服务平台,该平台具有数据采集、数据共享存储、数据分析、保证数据安全的功能,能够为个体化医疗与精准医疗、方药知识发现、治未病... 通过对中医电子病历大数据服务平台的功能、技术和安全需求进行分析,设计出多层次的中医电子病历大数据服务平台,该平台具有数据采集、数据共享存储、数据分析、保证数据安全的功能,能够为个体化医疗与精准医疗、方药知识发现、治未病、个体化疗效评价等方面提供便利,在保证中医特色和数据安全的前提下,实现中医电子病历核心数据的开放、共享、分析与应用。 展开更多

关键词 中医电子病历 大数据 数据采集 Mongo DB数据挖掘

暂未订购

基于大数据分析的多航线实时调度算法分析 被引量：2

7

作者 张恒杰 张玉松 《舰船科学技术》 北大核心 2020年第6期46-48,共3页

海上航运公司为了降低航运成本,提高航运效率,必须对集装箱运输船的航线进行高效的管理,通过合理的集装箱航线调度,可以降低集装箱船舶的资源空置率,从而使自己在航运竞争中获得优势。由于海上航线数据量非常大,对船舶进行高效的航线调... 海上航运公司为了降低航运成本,提高航运效率,必须对集装箱运输船的航线进行高效的管理,通过合理的集装箱航线调度,可以降低集装箱船舶的资源空置率,从而使自己在航运竞争中获得优势。由于海上航线数据量非常大,对船舶进行高效的航线调度必须要借助大数据技术。本文主要针对船舶多航线的实时调度算法进行研究,基于Mongo数据库架构,建立了海上集装箱运输船的多航线调度系统。 展开更多

关键词 航线调度 Mongo数据库 算法 大数据

在线阅读 下载PDF 职称材料

NoSQL数据库技术在移动互联网中的应用 被引量：2

8

作者 马豫青 李晓宇 《平顶山学院学报》 2013年第2期60-63,共4页

对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过... 对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过Web向移动互联网用户提供高效服务的系统.实验证明,NoSQL数据库技术在移动互联网应用中有着明显的优势与广阔的应用前景. 展开更多

关键词 移动计算 NOSQL数据库 Mongo数据库 SNS社交网站 SQLITE嵌入式数据库

在线阅读 下载PDF 职称材料

基于MongoDB的Web信息采集系统应用研究 被引量：1

9

作者 孙美卫 《湖南邮电职业技术学院学报》 2017年第2期35-38,共4页

在降低成本、效率加大的情况下如何处理海量数据,是目前急需解决的重要问题。文章首先分析如何将Web日志存储到MongDB中,然后将其直接内置到MapReduce,将分析结果存储为文件以供业务人员查询分析,最后对日志分析系统进行性能测试。测试... 在降低成本、效率加大的情况下如何处理海量数据,是目前急需解决的重要问题。文章首先分析如何将Web日志存储到MongDB中,然后将其直接内置到MapReduce,将分析结果存储为文件以供业务人员查询分析,最后对日志分析系统进行性能测试。测试结果表明:在挖掘Web日志数据的情况下,能将数据中的主要访问模式进行系统化更新,从而为网站的结构模式采集提供有效信息。 展开更多

关键词 Mongo DB Web信息采集系统 日志分析

在线阅读 下载PDF 职称材料

MongoDB数据库中自动分片技术应用研究 被引量：2

10

作者 牛倩 《数字技术与应用》 2016年第6期112-112,共1页

Mongo DB为了提高处理大数据量时的性能,提供了自动分片的技术。Mongo DB的分片是集合级别的,根据基于分区的片键可以将数据集合均匀的分布在各片上。文中在研究Mongo DB特点的基础上,着重分析自动分片技术的应用。对比普通和分片情况下... Mongo DB为了提高处理大数据量时的性能,提供了自动分片的技术。Mongo DB的分片是集合级别的,根据基于分区的片键可以将数据集合均匀的分布在各片上。文中在研究Mongo DB特点的基础上,着重分析自动分片技术的应用。对比普通和分片情况下的Mongo DB性能,提出使用基于分区的Mongo DB自动分片技术可以提高数据量较大时的性能,使Mongo DB更稳定。对比片索引和普通索引的性能,提出对于使用非常频繁的查询或写操作,应使用基于片键的索引,可以大幅度提高Mongo DB的性能。 展开更多

关键词 Mongo DB 自动分片 性能测试 非关系型数据库

在线阅读 下载PDF 职称材料

基于开源GIS的城市非点源污染负荷模拟研究 被引量：5

11

作者 巴特 杨昆 +1 位作者 朱彦辉 何毅 《环境科学与技术》 CAS CSCD 北大核心 2015年第11期233-238,共6页

随着点源污染不断得到控制,非点源污染在城市水污染中所占的比重逐步增大,通过建立城市非点源污染负荷模拟系统,可以从空间上了解城市非点源污染产生和扩散过程,为治理非点源污染提供数据依据。该研究在借鉴目前城市非点源污染模型与GI... 随着点源污染不断得到控制,非点源污染在城市水污染中所占的比重逐步增大,通过建立城市非点源污染负荷模拟系统,可以从空间上了解城市非点源污染产生和扩散过程,为治理非点源污染提供数据依据。该研究在借鉴目前城市非点源污染模型与GIS集成应用的基础上,针对商业GIS组件开发成本较高、开放性较差、开发灵活性较弱以及SWMM模型本身空间分析能力弱和空间可视化表达效果差等问题,借助开源GIS组件DotSpatial和MongoDB数据库,实现GIS与SWMM模型的紧密集成,并以MongoDB数据库为数据交互中心管理模型数据,开发出具有开发出低成本、扩展性强、高开放、灵活度高等特点的城市非点源污染负荷模拟系统。该研究选择昆明市东风东路片区作为研究区域,并用实测降雨数据进行模拟分析,结果表明系统具有良好的实用性。 展开更多

关键词 DOT SPATIAL 城市非点源污染 SWMM Mongo DB

原文传递

分布式数据库聚合计算性能优化 被引量：10

12

作者 肖子达 朱立谷 +1 位作者 冯东煜 张迪 《计算机应用》 CSCD 北大核心 2017年第5期1251-1256,共6页

针对分布式数据库在分析应用方面的聚合计算性能较低的问题,以MongoDB数据库为研究实例,提出了一种基于片键和索引的数据库性能提升方法。首先,通过分析业务特征指导选择的片键字段,该字段需要保证数据在分片节点上的均匀布局;其次,通... 针对分布式数据库在分析应用方面的聚合计算性能较低的问题,以MongoDB数据库为研究实例,提出了一种基于片键和索引的数据库性能提升方法。首先,通过分析业务特征指导选择的片键字段,该字段需要保证数据在分片节点上的均匀布局;其次,通过研究分布式数据库的索引效率,利用删除查询字段索引的方法进一步提升计算性能,该方法能充分利用硬件资源提高聚合计算的性能。实验结果表明,采用高基数粒度的分片片键能够让数据在集群上均匀地分布在各个数据节点上,而舍弃索引使用全表查询能够有效提高聚合计算的速度,聚合计算优化方法能够有效提高聚合计算的性能。 展开更多

关键词 NO SQL Mongo DB MAPREDUCE 聚合计算 性能优化

在线阅读 下载PDF 职称材料

基于MongoDB的蛋白质组学大数据存储系统设计 被引量：5

13

作者 张琳 谭军 白明泽 《计算机应用》 CSCD 北大核心 2016年第A01期232-236,共5页

蛋白质组学质谱数据具有关系复杂、数据量大、查询方式多样等一系列的特点。在研究蛋白质组学质谱数据时,传统的存储系统一般采用文件和关系型数据库存储数据,往往需要预定义数据表结构,难以实现动态增加多样化蛋白质组信息的功能。此外... 蛋白质组学质谱数据具有关系复杂、数据量大、查询方式多样等一系列的特点。在研究蛋白质组学质谱数据时,传统的存储系统一般采用文件和关系型数据库存储数据,往往需要预定义数据表结构,难以实现动态增加多样化蛋白质组信息的功能。此外,关系型数据库的集群架构关系复杂,维护成本高,代码处理也复杂。为解决传统存储系统在海量蛋白质组学数据的存储和访问的效率瓶颈问题,应用No SQL非关系型数据库,提出了一种基于Mongo DB分布式数据库存储结构的蛋白质组学数据存储系统设计方案。通过系统的功能测试、性能测试,结果表明,随着数据量和访问量的上升,Mongo DB显示出了更高的性能和更快的处理速度,该平台能够改善传统的文件存储和关系数据库存储所暴露的部分性能问题。 展开更多

关键词 蛋白质组学 大数据 Mongo DB No SQL 关系数据库

在线阅读 下载PDF 职称材料

基于MongoDB的调查决策系统数据存储方案设计

14

作者 周霞 张伟男 时壮 《电脑知识与技术（过刊）》 2016年第3X期18-19,共2页

之前绝大多数调查决策系统都采用传统的关系型数据库进行数据存储;现今大数据时代来临,各类非关系型的数据库开始崭露头角,并在应用中所占比重愈来愈大。Mongo DB就是其中的后起之秀。因此,尝试使用非关系型数据库Mongo DB来作为调查决... 之前绝大多数调查决策系统都采用传统的关系型数据库进行数据存储;现今大数据时代来临,各类非关系型的数据库开始崭露头角,并在应用中所占比重愈来愈大。Mongo DB就是其中的后起之秀。因此,尝试使用非关系型数据库Mongo DB来作为调查决策系统的数据存储是非常有现实意义的。该文为大家呈现基于Mongo DB这个面向文档的非关系型数据库来设计投票及所包含问题的数据存储,在详细介绍其内嵌和引用这两种解决方式基础上最终给出后台的数据存储方案。 展开更多

关键词 非关系型 数据库 Mongo DB 调查决策 数据存储

在线阅读 下载PDF 职称材料

基于Scrapy的分布式爬虫系统的设计与实现 被引量：18

15

作者 李代祎 谢丽艳 +1 位作者 钱慎一 吴怀广 《湖北民族学院学报（自然科学版）》 CAS 2017年第3期317-322,共6页

随着互联网的快速发展,其信息量和相关服务也随之快速增长.如何从海量的信息中快速、准确地抓取所需要的信息变得越来越重要,因此负责互联网信息收集工作的网络爬虫将面临着巨大的机遇和挑战.目前国内外一些大型搜索引擎只给用户提供不... 随着互联网的快速发展,其信息量和相关服务也随之快速增长.如何从海量的信息中快速、准确地抓取所需要的信息变得越来越重要,因此负责互联网信息收集工作的网络爬虫将面临着巨大的机遇和挑战.目前国内外一些大型搜索引擎只给用户提供不可制定的搜索服务,而单机的网络爬虫又难当重任,因此可定制性强、信息采集速度快和规模大的分布式网络爬虫便应运而生.通过对原有Scrapy框架的学习和研究,将Scrapy和Redis结合改进原有的爬虫框架,设计并实现了一个基于Scrapy框架下的分布式网络爬虫系统,然后将从安居客、58同城、搜房等网站抓取的二手房信息存入MongoDB中,便于对数据进行进一步的处理和分析.结果表明基于Scrapy框架下的分布式网络爬虫系统同单机网络爬虫系统相比效率更高且更稳定. 展开更多

关键词 Scrapy 分布式 Scrapy-Reids 网络爬虫 Mongo DB 数据存储

在线阅读 下载PDF 职称材料

基于Node.js和MongoDB实现地理国情样本库系统

16

作者 牛艳霞 马秉斌 《科技传播》 2015年第8期131 145-,145,共2页

本文主要论述了如何基于Node.js与Mongo DB数据库建立地理国情样本库系统,完成对地理国情普查成果中样本点数据的统一存储、查询和管理,并介绍了系统功能架构及实现。

关键词 地理国情样本库系统 Node.js Mongo DB

在线阅读 下载PDF 职称材料

虚拟现实技术在城市景观设计中的动态仿真

17

作者 殷石 《佳木斯大学学报（自然科学版）》 CAS 2024年第9期29-32,73,共5页

针对城市景观设计中动态仿真的效率不高、精确度不足的问题,提出基于虚拟现实技术的城市景观动态仿真模型。以Mongo DB数据库为依据构建城市景观虚拟现实动态仿真模型的整体框架,并结合Open GL进行城市景观的三维设计。为保证城市景观... 针对城市景观设计中动态仿真的效率不高、精确度不足的问题,提出基于虚拟现实技术的城市景观动态仿真模型。以Mongo DB数据库为依据构建城市景观虚拟现实动态仿真模型的整体框架,并结合Open GL进行城市景观的三维设计。为保证城市景观动态仿真的准确度,结合Rank变换进行城市景观单元匹配以及相机参数优化。通过相对误差以及仿真模型的性能测试,基于虚拟现实技术的城市景观动态仿真模型准确度更高,相应时间较快。通过改进模型能够有效提高城市景观设计的动态仿真质量,提升工作效率。 展开更多

关键词 城市景观设计 虚拟现实技术 Mongo DB数据库 动态仿真 Open GL

在线阅读 下载PDF 职称材料

基于MongoDB的信息集成系统的设计与实现 被引量：6

18

作者 仝义明 黄蔚 李戴维 《信息技术》 2015年第2期125-129,133,共6页

数据量急剧增长的同时,数据的存放也愈发分散,传统系统无法完成多源异构数据的集中存储与处理。针对该情况,文中设计并实现了一个基于MongoDB的多源信息集成系统。该系统通过数据集成将存放在不同地点的数据进行数据采集与转化,利用Mong... 数据量急剧增长的同时,数据的存放也愈发分散,传统系统无法完成多源异构数据的集中存储与处理。针对该情况,文中设计并实现了一个基于MongoDB的多源信息集成系统。该系统通过数据集成将存放在不同地点的数据进行数据采集与转化,利用MongoDB集群分布式存储海量数据并提供统一检索,实现了数据的共享。最后,对系统进行了索引优化与性能实验。实践表明,系统具有灵活度高,扩展性好,容错性强等特点,具有较强的实用价值。 展开更多

关键词 数据集成 数据共享 Mongo DB 分布式系统

在线阅读 下载PDF 职称材料

基于Mongo DB的众包数据索引方法探讨 被引量：2

19

作者 蔡为 杨再华 +3 位作者 顾英哲 徐雯婷 郭涛 秦昆 《地理空间信息》 2018年第6期32-34,共3页

服务于小城镇智慧规划管理的众包数据具有数据类型多样、数据量巨大的特点,必须建立合适的索引,才能满足快速检索和查询的需要。以面向文档型数据存储的开源数据库Mongo DB为基础,对基于Mongo DB的众包数据索引方法进行探索,分析了利用... 服务于小城镇智慧规划管理的众包数据具有数据类型多样、数据量巨大的特点,必须建立合适的索引,才能满足快速检索和查询的需要。以面向文档型数据存储的开源数据库Mongo DB为基础,对基于Mongo DB的众包数据索引方法进行探索,分析了利用地理空间索引B+树、Geo Hash和多层次索引等进行众包数据索引的方法。 展开更多

关键词 Mongo DB数据库 空间查询 分布式处理 空间索引

在线阅读 下载PDF 职称材料

BEPC-Ⅱ新型数据存档软件系统设计 被引量：4

20

作者 乔予思 雷革 《核电子学与探测技术》 北大核心 2017年第2期152-155,共4页

介绍了BEPC-Ⅱ新型数据存档软件系统的设计和实现。该系统设有以非关系型数据库MongoDB为平台的数据采集存储引擎和一套跨平台使用的查询绘图软件,用于对存档数据进行方便、快速的查询和图形化显示。实验测试结果表明该系统具有较好的... 介绍了BEPC-Ⅱ新型数据存档软件系统的设计和实现。该系统设有以非关系型数据库MongoDB为平台的数据采集存储引擎和一套跨平台使用的查询绘图软件,用于对存档数据进行方便、快速的查询和图形化显示。实验测试结果表明该系统具有较好的写入效率和查询性能,能够实现BEPCⅡ或其他加速器系统运行实时数据的存档、查询、绘图等功能。 展开更多

关键词 Mongo DB 存档 查询

在线阅读 下载PDF 职称材料