您好,欢迎访问代理记账网站
移动应用 微信公众号 联系我们

咨询热线 -

电话 15988168888

联系客服
  • 价格透明
  • 信息保密
  • 进度掌控
  • 售后无忧

sqoop同步两个hive表到同一张mysql中的不同列

背景

有一张mysql表a:
表结构如下: 有7列
col1 和 col2 是主键,col3~col7是普通列。

col1col2col3col4col5col6col7
prk1prk2v3v4v5v6v7

col3~col5 来自于hive 表 b,col6~col7来自于hive表c。

解决方案

方案示意图

mysql表a
读取
插入
读取
插入
col1 col2 col3 col4 col5 col6 col7
hive表b
col1,col2,col3,col4,col5
hive表c
col1,col2,col6,col7

具体操作

  • sqoop脚本1
sqoop-export \
--connect "jdbc:mysql://x:xx3306/xxx?useUnicode=true&characterEncoding=utf-8" \
--username xxx  \
--password 'xxx' \
--table a(mysql 表) \
--hcatalog-database db(hive 数据库) \
--hcatalog-table b(hive 表) \
--columns col1,col2,col3,col4,col5 \
--update-mode allowinsert \
--update-key col1,col2
  • sqoop脚本2
sqoop-export \
--connect "jdbc:mysql://x:xx3306/xxx?useUnicode=true&characterEncoding=utf-8" \
--username xxx  \
--password 'xxx' \
--table a(mysql 表) \
--hcatalog-database db(hive 数据库) \
--hcatalog-table c(hive 表) \
--columns col1,col2,col6,col7 \
--update-mode allowinsert \
--update-key col1,col2

分享:

低价透明

统一报价,无隐形消费

金牌服务

一对一专属顾问7*24小时金牌服务

信息保密

个人信息安全有保障

售后无忧

服务出问题客服经理全程跟进