小小千想和您聊一聊

当前位置: 首页> 技术分享> 大数据培训教程之什么是Sqoop

大数据培训教程之什么是Sqoop

  Apache Sqoop(SQL-to-Hadoop) 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中;同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能外,Sqoop 也提供了一些诸如查看数据库表等实用的小工具。理论上,Sqoop 支持任何一款支持 JDBC 规范的数据库,如 DB2、MySQL 等。Sqoop 还能够将 DB2 数据库的数据导入到 HDFS 上,并保存为多种文件类型。常见的有定界文本类型,Avro 二进制类型以及 Sequence Files 类型。

  Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。Sqoop架构非常简单,其整合了Hive、Hbase和Oozie,通过map-reduce任务来传输数据,从而提供并发特性和容错。

  简单说,Sqoop就是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图:

图片1

上一篇:HTML5工具初识之网页编辑器

下一篇:与你共同解读大数据的处理流程

视频推荐

MORE > >