海牛部落 - 大數據技術分享社區海牛部落為大數據技術學習提供一個分享創造、結識伙伴、協同互助的平臺http://www.mqknlrvu.buzz/feed ETL 工具 -- KETTLE 基本使用 1Kettle

軟件鏈接:https://pan.baidu.com/s/1jF6kMg4t0UmTNicT6TefFw 
提取碼:irjm 

csv轉換為excel

NGINXnginx安裝 1.安裝pcre依賴

1)第一步,安裝 pcre
wget http://downloads.sourceforge.net/project/pcre/pcre/8.37/pcre-8.37.tar.gz 
2)解壓文件
./configure 完成后,回...]]>http://www.mqknlrvu.buzz/topics/753482020-10-23
PostgreSQL 數據庫函數本人獨立承擔一個項目,所有業務邏輯全部由sql書寫完成,因此分享兩個月的總結!

postgresql

https://www.cnblogs.com/hole/p/11699702...]]>http://www.mqknlrvu.buzz/topics/753462020-10-23 Java SE 階段學習分享引言:
筆者是海牛學院27期學員,關于編程之前只接觸過一點C,可以算得上零基礎。如今學完Java SE已經一周,閑暇之余,特來分享一下我的學習感受。
正文:
1...]]>
http://www.mqknlrvu.buzz/topics/753212020-09-12
聊聊做大數據開發的日子最近有不少童鞋問到我一些生活的問題, 例如:

  1. 做大數據的日子都干些什么?
  2. 剛進入公司應該怎么度過?
  3. xxxx重要嘛? 平常怎么學習?

很感謝大家愿意聽我嘮叨哈~
今...]]>http://www.mqknlrvu.buzz/topics/753182020-09-09 MR 中 Job 提交過程源碼分析總結源碼分析被老師吐槽后,認真做了一遍,結合網上資源慢慢整理理出來,用到線程的地方看得有點迷,其中第二層核心面板submitJobInternal()方法中生成密鑰那部分不知道在干啥,還有提交后Yarn如何進入到MapTask中的...]]>http://www.mqknlrvu.buzz/topics/752962020-08-23 Paxos 算法與 ZooKeeperPaxos算法

解決分布式一致性問題,即一個分布式系統中的各個進程如何就某個值達成一致

Paxos中的角色

  1. Proposer: 提出提案 (Proposal)。Proposa...]]>http://www.mqknlrvu.buzz/topics/752532020-07-31 請問一下,基類 BaseMR 里邊為什么要用 abstract 的 getJob 而不直接調用 getInstance 呢?BaseMR里邊public abstract Job getJob(Configuration conf) throws Exception;
    然后它實現的時候就是直接調用
    Job job = Job.getInstance(conf,getJobNameWithTaskID());

    當時可以直接就調用...]]>http://www.mqknlrvu.buzz/topics/752322020-07-22 如何在 HDFS 上進行簡單的批量解壓操作上次在做老蘇的ETL項目的時候,為了方便,為了操作方便,老蘇提供都是.gz文件和.tar.gz文件(至于這些怎么用xargs提取的,這里就不再詳細說明) 大家都知道hdfs的命令并沒有解壓操作,如果我想在hdfs上解壓400多...]]>http://www.mqknlrvu.buzz/topics/752142020-07-17 hadoop 啟動后本地無法打開 nn1.hadoop:50070問題描述
    課hdfs課程結束后,按視頻中蘇老師的步驟,將hadoop配置完成,啟動zookeeper后,啟動hadoop,并訪問nn1.hadoop:50070成功
    為避免重啟服務,將虛擬機掛起,再次打開時發現...]]>
    http://www.mqknlrvu.buzz/topics/752112020-07-15
    Python Windows 和 Linux 下用谷歌 / 火狐無頭瀏覽器爬取網頁內容Windows下

    我個人比較推薦用火狐,因為谷歌在Linux下不好用,初始化的時候bug太多了

    谷歌

    谷歌無頭瀏覽器下載地址:

    在公司集群使用 sqoop 最簡單教程 問題: 如果我們想使用公司集群來操作sqoop,會發現一個很大的坑,公司集群的sqoop只是安裝,根本沒配置(如圖)
    file
    http://www.mqknlrvu.buzz/topics/751862020-07-07 JDBC 簡化流程總結單純JDBC連接數據庫寫法

    Connection conn = null;
    Statement stml = null;
    ResultSet rs = null;
    try {
        Class.forName("com.mysql.jdbc.Driver");
        conn =...]]>http://www.mqknlrvu.buzz/topics/751852020-07-07
    二分查找法的一些思考零基礎跟了老師一個月,思維導圖不會弄,期間學了一些算法可以做一些分享,請大家指正
    查找長度:關鍵碼的比較次數,評估查找算法的性能

    1. 二分查找法的一般寫法...]]>http://www.mqknlrvu.buzz/topics/751652020-06-28 Azkaban 一款輕量級調度工具Azkaban

    調度工具是實際工作中非常重要的部分, 在大公司往往獨自開發獨有的調度系統;
    平常工作可以使用開源的組件, 其中Azkaban就是這樣一款輕量級的調度系統

    1. 運用場景

    大數據...]]>http://www.mqknlrvu.buzz/topics/751432020-06-19 [公告] 海牛大數據技術江湖召集令??海牛的筒子們好,我是海牛的創始人青牛老師,有句話:“獨學而無友,則孤陋而寡聞”,所以學習這件事還是多交流為好。那為了讓大家的交流不只局限于你的小圈子,可以擴大到整個海牛的大家庭,...]]>http://www.mqknlrvu.buzz/topics/751182020-06-10 spark 集群快速搭建file
    視頻觀看:
    spark集群快速搭建【海牛學院...]]>http://www.mqknlrvu.buzz/topics/423162020-04-15 新手也能快速玩轉大數據項目file
    視頻觀看:
    大數據前奏之 javaee 實訓項目迭代file
    視頻觀看:
    從 Hadoop 應用到企業級 mapreduce 開發file
    視頻觀看:
    上海麻将垃圾胡技巧 7618283040916786495564755623048058797463474182955504142668269245497266725573812259166931835795479 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();