涂俊英,李志敏

• 1:湖北工程学院计算机与信息科学学院

摘要(Abstract)：

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。

关键词(KeyWords)： 云计算;非结构化;大数据;均衡控制;运行流程;存储系统设计

Abstract:

Keywords:

基金项目(Foundation):

作者(Author): 涂俊英,李志敏

DOI: 10.16652/j.issn.1004-373x.2018.01.039

参考文献(References)：

• [1]陈志华,刘晓勇.云计算下大数据非结构的稳定性检索方法[J].现代电子技术,2016,39(6):58-61.CHEN Zhihua,LIU Xiaoyong.Methods of unstructured big data stability retrieval in cloud computing[J].Modern electronics technique,2016,39(6):58-61.
• [2]吴凯峰,刘万涛,李彦虎,等.基于云计算的电力大数据分析技术与应用[J].中国电力,2015,48(2):111-116.WU Kaifeng,LIU Wantao,LI Yanhu,et al.Cloud-computing based power big data analysis technology and its application[J].Electric power,2015,48(2):111-116.
• [3]王敬东.面向大数据的数字图书馆数据库缓存模型设计[J].图书情报工作,2014,58(22):95-99.WANG Jingdong.Design of digital library database cache model oriented to big data[J].Library and information service,2014,58(22):95-99.
• [4]李洪奇,朱丽萍,孙国玉,等.面向海量小文件的分布式存储系统设计与实现[J].计算机工程与设计,2016,37(1):86-92.LI Hongqi,ZHU Liping,SUN Guoyu,et al.Design and implementation of distributed mass small file storage system[J].Computer engineering and design,2016,37(1):86-92.
• [5]吴燕波,薛琴,向大为,等.云平台下的No SQL分布式大数据存储技术与应用[J].现代电子技术,2016,39(9):44-47.WU Yanbo,XUE Qin,XIANG Dawei,et al.No SQL distributed big data storage technology and its application under cloud platform[J].Modern electronics technique,2016,39(9):44-47.
• [6]刘帆.关系数据库中实时高效元数据存储算法优化研究[J].科学技术与工程,2017,17(17):255-260.LIU Fan.A relational database real-time efficient data storage algorithm optimization research[J].Science technology and engineering,2017,17(17):255-260.
• [7]杨俊杰,廖卓凡,冯超超.大数据存储架构和算法研究综述[J].计算机应用,2016,36(9):2465-2471.YANG Junjie,LIAO Zhuofan,FENG Chaochao.Survey on big data storage framework and algorithm[J].Journal of computer applications,2016,36(9):2465-2471.
• [8]王东强,王晓霞.云存储中大数据优化粒子群聚类算法[J].电子设计工程,2017,25(2):26-30.WANG Dongqiang,WANG Xiaoxia.Large data optimization particle swarm clustering algorithm based on cloud storage[J].Electronic design engineering,2017,25(2):26-30.
• [9]李德有,赵立波,解晨光.Hadoop构建的银行海量数据存储系统研究[J].哈尔滨理工大学学报,2015,20(4):60-65.LI Deyou,ZHAO Libo,XIE Chenguang.The research of a big data storage system constructed with Hadoop[J].Journal of Harbin University of Science and Technology,2015,20(4):60-65.
• [10]洑涵妤.基于云计算的安全数据存储系统的设计与实现[J].煤炭技术,2010,29(12):169-171.FU Hanyu.Design and implementation of secure data storage system based on cloud computing[J].Coal technology,2010,29(12):169-171.