基于Hadoop的即时查询分析平台

doi:10.3976/j.issn.1002-4026.2015.05.019

山东科学 ›› 2015, Vol. 28 ›› Issue (5): 115-119.doi: 10.3976/j.issn.1002-4026.2015.05.019

• 其他研究论文 • 上一篇

基于Hadoop的即时查询分析平台

姜鹏

中国海洋大学网络与信息中心，山东青岛266100

收稿日期:2015-03-09 出版日期:2015-10-20 发布日期:2015-10-20

Hadoop based online query and analysis platform

JIANG Peng

Network and Information Center, Ocean University of China, Qingdao 266100, China

Received:2015-03-09 Online:2015-10-20 Published:2015-10-20

摘要/Abstract

摘要： 为了解决大数据的深度挖掘和即时查询的需求，建立了一个分布式、可伸缩、低成本和大容量的并行计算集群，实现了半结构化数据的SQL查询分析，并提供了标准对外接口。

关键词: 大数据, 即时查询, 并行计算, 半结构化, Hadoop

Abstract: To satisfy the requirement of indepth mining and online query for big data, we construct a distributed, scalable, lowcost, and highcapacity parallel computing cluster. It implements SQL query for semistructured data, and provides standard external interfaces.

Key words: big data, online query, parallel computing, semistructured, Hadoop

中图分类号:

TP302.1

姜鹏. 基于Hadoop的即时查询分析平台[J]. 山东科学, 2015, 28(5): 115-119.

JIANG Peng. Hadoop based online query and analysis platform[J]. SHANDONG SCIENCE, 2015, 28(5): 115-119.

参考文献

［1］刘智慧, 张泉灵 大数据技术研究综述［J］ 浙江大学学报: 工学版, 2014，48(6):957-972 ［2］ESPOSITO C, FICCO M, PALMIERI F,et al A knowledgebased platform for big data analytics based on publish/subscribe services and stream processing［J］ KnowledgeBased Systems, 2015,79:3-17 ［3］赵刚大数据技术与应用实践指南［M］北京:电子工业出版社,2013 ［4］何非, 何克清大数据及其科学问题与方法的探讨［J］ 武汉大学学报: 理学版, 2014，60(1): 1-12 ［5］陈洁,于永刚,刘明恒,等安全管理平台中基于云计算的日志分析系统设计［J］ 计算机工程, 2015, 41(2): 21-25 ［6］张毅, 崔晓燕 基于云计算平台的物联网数据挖掘研究［J］ 软件, 2014,35（1）:108-111 ［7］TAPIADOR D, O’MULLANE W, BROWN A G A,et alA framework for building hypercubes using MapReduce［J］ Computer Physics Communications, 2014, 185(5): 1429-1438 ［8］冯登国, 张敏, 李昊 大数据安全与隐私保护［J］ 计算机学报, 2014,37（1）: 246-258 ［9］ApacheWhat is Apache Hadoop ［EB/OL］［2015-03-27］http://hadoopapacheorg/#What+Is+Apache+Hadoop%3F. ［10］ApacheHadoop MapReduce next generationcluster setup ［EB/OL］［2014-11-13］http://hadoopapacheorg/docs/current/hadoopprojectdist/hadoopcommon/ClusterSetuphtml. ［11］ApacheCoordinating distributed applications with Zookeeper ［EB/OL］［2014-10-08］http://zookeeperapacheorg/doc/trunk/zookeeperStartedhtml. ［12］Atlassian Using the MapR ODBC Driver on Windows ［EB/OL］ ［2014-11-26］https://cwikiapacheorg/confluence/display/DRILL/Using+the+MapR+ODBC+Driver+on+Windows. ［13］MicrosoftWindows communication foundation ［EB/OL］ ［2010-03-21］http://msdnmicrosoftcom/enus/library/ms735119(VS90)aspx.

[1]	侯吉, 宋瑞, 何世伟, 殷玮川. 基于大数据的货物运输责任时间划分方法研究[J]. 山东科学, 2019, 32(2): 59-69.
[2]	李辉，解维浩，刘寿生，盖颖颖. 基于GPU的多尺度Retinex图像增强算法实现[J]. 山东科学, 2017, 30(3): 103-109.
[3]	李晨，朱世伟，赵燕清，于俊凤. 基于MapReduce的网络爬虫设计与实现[J]. 山东科学, 2015, 28(2): 101-107.
[4]	陈瑶，陈阿莲，李向东，陈伟. 变电站智能巡检机器人全局路径规划设计[J]. 山东科学, 2015, 28(1): 114-119.
[5]	李延改,赵华伟. 基于PKI的HDFS认证及安全传输机制研究[J]. 山东科学, 2014, 27(5): 33-41.

基于Hadoop的即时查询分析平台

Hadoop based online query and analysis platform

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 5

Metrics

本文评价

推荐阅读 0