云储存海量数据的采集方法研究Research on acquisition method of cloud storage mass data
邓文雯,孙成明,秦培亮
摘要(Abstract)：
针对传统数据采集方法主要通过数据特征采集,忽略采集过程对数据特征造成的影响,导致数据采集耗时长、误差大的问题,提出基于REID技术与F统计计量结合的云储存海量数据采集方法。在分析数据采集原理的基础上,对云储存的原始数据进行非线性补偿,设置参数对数据进行预处理,建立一种能够对内存进行直接访问的硬件机制,给出部分传输程序;采用聚类算法对云储存数据进行聚类,结合F统计计量进行检验所建立的判别函数的有效性,实现对云储存海量数据的采集。实验结果表明,采用改进方法进行云储存数据采集时,其采集结果相比传统方法精度及完整度均有提高,具有一定的优势。
关键词(KeyWords)： 云储存;海量数据采集;REID技术;F统计计量;非线性补偿;聚类算法
基金项目(Foundation): 2016年江苏省农业三新工程项目(SXGC[2016]300);; 资助留学基金:2014年江苏省政府留学奖学金资助访问学者(200)~~
作者(Author): 邓文雯,孙成明,秦培亮
DOI: 10.16652/j.issn.1004-373x.2018.14.003
参考文献(References)：
- [1]董一兵,刘丽,杨锐,等.一种测震仪器数据实时接入中间件设计与实现[J].地震工程学报,2017,39(5):969-975.DONG Yibing,LIU Li,YANG Rui,et al.Design and implementation of the middleware to access realtime stream of digitizers[J].China earthquake engineering journal,2017,39(5):969-975.
- [2]赵芳云,张明富.基于云存储的海量海洋监测数据平台设计[J].舰船科学技术,2016,38(13):143-148.ZHAO Fangyun,ZHANG Mingfu.Based on monitoring data of vast ocean cloud storage platform design[J].Ship science and technology,2016,38(13):143-148.
- [3]徐立艳.基于ARM和Lab VIEW的网络数据采集测试系统设计[J].现代电子技术,2016,39(5):24-27.XU Liyan.Design of network data acquisition and test system based on ARM and Lab VIEW[J].Modern electronics technique,2016,39(5):24-27.
- [4]韩立,刘正捷,李晖,等.基于情境感知的远程用户体验数据采集方法[J].计算机学报,2015(11):2234-2246.HAN Li,LIU Zhengjie,LI Hui,et al.A method based on context-awareness for remote user experience data capturing[J].Chinese journal of computers,2015(11):2234-2246.
- [5]赵妍,苏玉召.一种批量数据处理的云存储方法[J].科技通报,2017,33(7):81-85.ZHAO Yan,SU Yuzhao.A cloud storage method of batch data processing[J].Bulletin of science and technology,2017,33(7):81-85.
- [6]周朝挥,蔡燕霞,鲁国瑞.信牌驱动式Web数据采集模型的应用[J].计算机应用,2016,36(z1):252-256.ZHOU Chaohui,CAI Yanxia,LU Guorui.Applications of XINPAI-driven Web data scraping model[J].Journal of computer applications,2016,36(S1):252-256.
- [7]高梦超,胡庆宝,程耀东,等.基于众包的社交网络数据采集模型设计与实现[J].计算机工程,2015,41(4):36-40.GAO Mengchao,HU Qingbao,CHENG Yaodong,et al.Design and implementation of crowdsourcing-based social network data collection model[J].Computer engineering,2015,41(4):36-40.
- [8]韩盈党,李哲.MEMS加速度传感器的数据采集和预处理[J].仪表技术与传感器,2015(2):16-19.HAN Yingdang,LI Zhe.Data acquisition and pre-processing based on MEMS accelerometer[J].Instrument technique and sensor,2015(2):16-19.
- [9]倪晓寅,冯志生,陈莹.2013年岷县6.6级地震前天水台磁通门秒数据异常提取分析[J].地震工程学报,2016,38(z2):203-207.NI Xiaoyin,FENG Zhisheng,CHEN Ying.Extraction and analysis of anomalies of the second data from GM4 fluxgate magnetometer at Tianshui station before the 2013 Minxian MS6.6 earthquake[J].China earthquake engineering journal,2016,38(S2):203-207.
- [10]邱雪松,蔺艳斐,邵苏杰,等.一种面向智能电网数据采集的传感器聚合布局构造算法[J].电子与信息学报,2015,37(10):2411-2417.QIU Xuesong,LIN Yanfei,SHAO Sujie,et al.Sensor aggregation distribution construction algorithm for smart grid data collection system[J].Journal of electronics&information technology,2015,37(10):2411-2417.
- [11]何茂辉.4G网络下的多终端建筑工程现场移动数据采集系统设计[J].现代电子技术,2016,39(15):25-27.HE Maohui.Design of multi-terminal mobile data acquisition system utilizing 4G network for architectural engineering field[J].Modern electronics technique,2016,39(15):25-27.