在公司集群使用 sqoop 最簡單教程

分享 ? leeston9 ? 于 2020-07-07 09:23:19 ? 最后回復由 青牛 2020-07-07 11:51:22 ? 559 閱讀

問題: 如果我們想使用公司集群來操作sqoop,會發現一個很大的坑,公司集群的sqoop只是安裝,根本沒配置(如圖)
file
那我還想使用,如何解決?這時候我們需要在自己家目錄下安裝 sqoop (沒有安裝包可私我)
file
tar命令安裝完成之后進入 conf 目錄下將sqoop-env-template.sh改成sqoop-env.sh增加幾行如下幾行環境變量輸出配置,以便于讓sqoop 找到我們數據交換時用到的軟件的具體位置
file
由于sqoop 需要用到mysql包,所以需要添加mysql驅動包到sqoop的lib 目錄下,我們可以直接從hive lib 去拿
cp /usr/local/hive/lib/mysql-connector-java-5.1.35.jar ~/sqoop/lib/

至此大功告成!我們可以使用啦,不過需要配置環境變量來指向我們自己的sqoop 而不是公司的sqoop

  1. 臨時環境變量配置
    導出你自己的sqoop 環境變量,一個session內有效
    export sqoop="/home/lijun21/sqoop/bin"
    再使用如下代碼測試將mysql 數據上傳到hdfs
    sqoop import \
    --connect jdbc:mysql://192.168.88.195:3306/hainiutest \
    --username hainiu \
    --password 12345678 \
    --table lijun21_sqoop \
    --target-dir /user/lijun21/lijun21_sqoop3 \
    --delete-target-dir \
    --num-mappers 1 \
    --fields-terminated-by "\t"

    它實際上就是跑的mapreduce 任務
    file
    file

  2. 在本地配置永久環境變量:
    在自己家目錄下使用命令: vim .bash_profile 編輯自己環境變量
    然后將環境變量輸出
    file
    全部完成! 別忘了 source .bash_profile 來更新環境變量哦!
    測試: 將mysql數據 上傳到 hbase
    sqoop import \
    --connect jdbc:mysql://192.168.88.195:3306/hainiutest \
    --username hainiu \
    --password 12345678 \
    --table c21_lj_sqoop_test \
    --hbase-table lijun21:table3 \
    --hbase-row-key id \
    --column-family cf1 

    file

Last But Not Least : 關于 sqoop的用法,網上一大推,非常簡單,這里就不再給出教程,謝謝。
有問題請 @ 21班李軍

版權聲明:原創作品,允許轉載,轉載時務必以超鏈接的形式表明出處和作者信息。否則將追究法律責任。來自海牛部落-leeston9,http://hainiubl.com/topics/75186
本帖已被設為精華帖!
本帖由 青牛 于 4月前 加精
回復數量: 1
  • 青牛 國內首批大數據從業者,就職于金山,擔任大數據團隊核心研發工程師
    ? 2020-07-07 11:51:22

    動手能力不錯,linux學的扎實,有自己解決問題的思路。我決定給你個大??

暫無評論~~
  • 請注意單詞拼寫,以及中英文排版,參考此頁
  • 支持 Markdown 格式, **粗體**、~~刪除線~~、`單行代碼`, 更多語法請見這里 Markdown 語法
  • 支持表情,可用Emoji的自動補全, 在輸入的時候只需要 ":" 就可以自動提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上傳圖片, 支持拖拽和剪切板黏貼上傳, 格式限制 - jpg, png, gif,教程
  • 發布框支持本地存儲功能,會在內容變更時保存,「提交」按鈕點擊時清空
Ctrl+Enter
上海麻将垃圾胡技巧 9984226860641473384834916696397857067629103355491197672325270080926179176924291440602304887274594 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();