Sqoop是一个命令行界面应用程序, 用于在关系数据库和Hadoop之间传输数据。
它支持单个表的增量加载或自由形式的SQL查询以及保存的作业, 这些作业可以运行多次以导入自上次导入以来对数据库所做的更新。使用Sqoop可以将数据移至HDFS / hive / hbase从MySQL / PostgreSQL / Oracle / SQL Server / DB2开始, 反之亦然。
Sqoop工作
步骤1:Sqoop将请求发送到关系数据库, 以返回有关表的元数据信息(此处的元数据是有关关系数据库中表的数据)。
步骤2:根据接收到的信息, 它将生成Java类(原因为何你必须先配置Java, 然后Java才能正常工作-Sqoop内部使用JDBC API生成数据)。
步骤3:现在Sqoop(用Java编写, 将已编译的类打包为可生成表结构), 后期编译将创建jar文件(Java打包标准)。
评论前必须登录!
注册