主辦單位：北京市科學(xué)技術(shù)研究院、北京市計(jì)算中心
承辦單位：北京市北科信息處理公司
培訓(xùn)地點(diǎn)：中國(guó) 北京
培訓(xùn)時(shí)間：2014年5月16日—18日
【課程簡(jiǎn)介】
通過(guò)此課程的培訓(xùn)，學(xué)員可以了解大數(shù)據(jù)技術(shù)的發(fā)展方向并深入理解Hadoop技術(shù)架構(gòu)、運(yùn)作機(jī)制和使用場(chǎng)景，對(duì)于MapReduce程序開(kāi)發(fā)有清晰全面的認(rèn)識(shí)，可以開(kāi)發(fā)測(cè)試Hadoop程序，以及獨(dú)立規(guī)劃、部署以及調(diào)試生產(chǎn)環(huán)境的Hadoop集群，并進(jìn)行版本管理。課程還涵蓋了對(duì)新一代大數(shù)據(jù)操作系統(tǒng)--YARN的深入介紹，幫助學(xué)員在企業(yè)大數(shù)據(jù)戰(zhàn)略方向上體現(xiàn)自身價(jià)值。課程主要涵蓋以下內(nèi)容：Hadoop基礎(chǔ)知識(shí)、HDFS和MapReduce基本原理和架構(gòu)、HDFS配置和部署、Mapreduce開(kāi)發(fā)、Hadoop 2.0 – YARN、大數(shù)據(jù)生態(tài)系統(tǒng)。
【講師簡(jiǎn)介】
堵老師，知名外企資深架構(gòu)師，中國(guó)大陸地區(qū)唯一Apache Hadoop項(xiàng)目的Committer，負(fù)責(zé)Hadoop相關(guān)代碼的審查和變更。有多年云計(jì)算與大數(shù)據(jù)開(kāi)發(fā)和實(shí)施經(jīng)驗(yàn)，熟悉大數(shù)據(jù)領(lǐng)域各項(xiàng)技術(shù)和商業(yè)模式，并活躍于國(guó)內(nèi)外重要的大數(shù)據(jù)會(huì)議和論壇。
【課程對(duì)象】
<!--[if !supportLists]-->1. <!--[endif]-->各類(lèi) IT/軟件企業(yè)和研發(fā)機(jī)構(gòu)的技術(shù)總監(jiān)、企業(yè)CIO；<!--[if !supportLists]-->2. <!--[endif]-->大數(shù)據(jù)系統(tǒng)工程師、軟件架構(gòu)師、軟件設(shè)計(jì)師、高級(jí)軟件工程師等；
<!--[if !supportLists]-->3. <!--[endif]-->數(shù)據(jù)庫(kù)開(kāi)發(fā)人員、互聯(lián)網(wǎng)產(chǎn)品后臺(tái)開(kāi)發(fā)人員；
<!--[if !supportLists]-->4. <!--[endif]-->運(yùn)維人員、數(shù)據(jù)分析師、軟件測(cè)試人員。
【課程內(nèi)容】
| 課題 | 課程內(nèi)容 |
| 第一天：Hadoop基礎(chǔ)知識(shí)、基本原理和部署 | |
| 模塊一 大數(shù)據(jù)和Hadoop入門(mén) | 大數(shù)據(jù)Hadoop的前世今生 Hadoop經(jīng)典應(yīng)用案例 |
| 模塊二 Hadoop基礎(chǔ)知識(shí) | Hadoop與分布式系統(tǒng) Hadoop擴(kuò)展性分析 Hadoop基本模塊 |
| 模塊三 HDFS與MAPREDUCE基本原理與架構(gòu) | HDFS架構(gòu)與功能分析 HDFS讀與寫(xiě)流程分析 HDFS守護(hù)進(jìn)程分析 MapReduce基礎(chǔ)知識(shí) MapReduce基本功能分析 MapReduce架構(gòu)分析與故障恢復(fù) |
| 模塊四 Hadoop集群管理與配置 | Hadoop常見(jiàn)使用命令 Hadoop運(yùn)維故障及解決 Hadoop常用工具 Hadoop集群安裝和開(kāi)啟LZO壓縮 Hadoop配置集群具備機(jī)架感知 Hadoop集群開(kāi)啟公平/能力任務(wù)調(diào)度器 |
| 模塊五 Hadoop集群維護(hù)與管理 | 查看集群狀態(tài) HDFS數(shù)據(jù)管理 Mapreduce 任務(wù)管理 HDFS安全模式 Namenode,Jobtrack單點(diǎn)失效問(wèn)題 添加刪除節(jié)點(diǎn) 數(shù)據(jù)平衡 文件數(shù)據(jù)跨集群拷貝 集群升級(jí) |
| 模塊六 Hadoop集群規(guī)劃、測(cè)試、監(jiān)控與高可用 | 集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡(luò)) 集群性能測(cè)試 使用Ganglia 監(jiān)控Hadoop集群 使用Cacti 監(jiān)控操作系統(tǒng) Hadoop 元數(shù)據(jù)NFS備份方案 Hadoop SecondaryNameNode備份方案 |
| 第二天：Hadoop MapReduce開(kāi)發(fā) | |
| 模塊七 Hadoop MapReduce流程分析 | Hadoop JobTracker 詳解回顧 Hadoop TaskTracker 詳解回顧 Hadoop 任務(wù)提交流程詳解 |
| 模塊八 使用 Hadoop MapReduce Streaming 編程 | Hadoop Streaming 和 Java MapReduce API 差異。 學(xué)習(xí)使用 MapReduce 實(shí)現(xiàn)數(shù)據(jù)庫(kù)功能,比如select group by join union all ) |
| 模塊九 MapReduce分布式程序 | MapReduce流程 剖析一個(gè)MapReduce程序 基本MapReduceAPI 概念 驅(qū)動(dòng)代碼 Mapper Reducer API 使用Eclipse進(jìn)行快速開(kāi)發(fā) 上機(jī)實(shí)驗(yàn) 新MapReduce API |
| 模塊十 HDFS分布式文件系統(tǒng)編程 | Hadoop HDFS 回顧 Hadoop NameNode 回顧 Hadoop DataNode 回顧 Hadoop I/O 操作 使用Hadoop HDFS API對(duì)HDFS編程 |
| 模塊十一 Hadoop MapReduce高級(jí)編程和優(yōu)化 | ToolRunner介紹 使用MRUnit進(jìn)行測(cè)試 利用Combiners來(lái)減少中間數(shù)據(jù) 使用Configure和Close方法來(lái)進(jìn)行Map/Reduce設(shè)置和關(guān)閉 編寫(xiě)Partitioner來(lái)優(yōu)化負(fù)載平衡 直接訪問(wèn)Hadoop分布式文件系統(tǒng)（HDFS） 使用分布式緩存（Distributed Cache） map優(yōu)化 reduce優(yōu)化 小文件優(yōu)化 |
| 第三天：Hadoop 2.0 — YARN和大數(shù)據(jù)生態(tài)系統(tǒng) | |
| 模塊十二 YARN基礎(chǔ)知識(shí)與架構(gòu)分析 | 下一代HADOOP – YARN介紹 YARN的主要模塊分析 YARN的 RPC通信機(jī)制 YARN的 兩級(jí)資源調(diào)度機(jī)制 YARN的 多應(yīng)用支持 |
| 模塊十三 YARN集群配置和MapReduce特性 | YARN基礎(chǔ)配置 腳本化部署與卸載 YARN配置文件 YARN高級(jí)配置 高可用性配置 機(jī)架感知 基于CPU, Memory資源的公平、能力調(diào)度器 MapReduce的兼容性分析 插件化Shuffle和排序 |
| 模塊十四 YARN集群維護(hù)與管理 | 查看YARN集群狀態(tài) 查看YARN高可用性狀態(tài) YARN任務(wù)管理與追蹤 集群ResourceManager失效 添加刪除節(jié)點(diǎn) 集群升級(jí) 任務(wù)歷史服務(wù)器 集群安全認(rèn)證 |
| 模塊十五 Hadoop YARN二次開(kāi)發(fā) | YARN Resource Manager API YARN客戶(hù)端和Application Master 剖析Distributed Shell 總結(jié)不同應(yīng)用的Application Master定制方案 |
| 模塊十六 大數(shù)據(jù)生態(tài)系統(tǒng) | 大數(shù)據(jù)與存儲(chǔ)系統(tǒng) 大數(shù)據(jù)與線上系統(tǒng) 大數(shù)據(jù)與實(shí)時(shí)系統(tǒng) 大數(shù)據(jù)與數(shù)據(jù)倉(cāng)庫(kù) 大數(shù)據(jù)與內(nèi)存計(jì)算 大數(shù)據(jù)與虛擬化 大數(shù)據(jù)與云計(jì)算 |
【培訓(xùn)費(fèi)用】
培訓(xùn)費(fèi)：3980元/人，包括培訓(xùn)費(fèi)、版資料費(fèi)。培訓(xùn)期間免費(fèi)提供午餐。可協(xié)助安排住宿，食宿費(fèi)用自理。
【優(yōu)惠政策】
<!--[if !supportLists]-->1. <!--[endif]-->4月20日（含）之前報(bào)名且付款的學(xué)員可享受九折優(yōu)惠；<!--[if !supportLists]-->2. <!--[endif]-->4月21日之后，5月10日之前報(bào)名且付款的學(xué)員可享受九五折優(yōu)惠；
<!--[if !supportLists]-->3. <!--[endif]-->3+1團(tuán)報(bào)，同期班同單位3人報(bào)名且付款的團(tuán)體，免費(fèi)贈(zèng)送1個(gè)學(xué)員名額；
<!--[if !supportLists]-->4. <!--[endif]-->參加過(guò)往屆北信培訓(xùn)班（不包含公開(kāi)課）的學(xué)員享受八八折優(yōu)惠。
（1，2，3，4的優(yōu)惠不能同時(shí)使用，最終解釋權(quán)歸北信所有）
【溫馨提示】
<!--[if !supportLists]-->1. <!--[endif]-->名額有限，報(bào)滿(mǎn)為止。我們將在報(bào)名后3個(gè)工作日內(nèi)發(fā)送確認(rèn)函，報(bào)名是否成功以收到我們的確認(rèn)郵件為準(zhǔn);<!--[if !supportLists]-->2. <!--[endif]-->請(qǐng)自帶筆記本電腦方便上機(jī)操作；
<!--[if !supportLists]-->3. <!--[endif]-->已經(jīng)成功付款的學(xué)員，若臨時(shí)有事不能參加培訓(xùn)，請(qǐng)?zhí)崆奥?lián)系我們報(bào)退，可退還100%的培訓(xùn)費(fèi)用；也可以轉(zhuǎn)邀其他人代為參加；或者提交延期申請(qǐng)，推遲至下一期的培訓(xùn)。
【報(bào)名方式】
<!--[if !supportLists]-->1. <!--[endif]-->或者填寫(xiě)報(bào)名回執(zhí)表，將報(bào)名回執(zhí)表以附件的形式發(fā)送到郵箱bktraining@163.com；<!--[if !supportLists]-->2. <!--[endif]-->報(bào)名咨詢(xún)： 張老師 （咨詢(xún)時(shí)間：周一至周五9:00-17:00）
<!--[if !supportLists]-->3. <!--[endif]-->電話(huà)：010-57674188 手機(jī)：13466732145
<!--[if !supportLists]-->4. <!--[endif]-->聯(lián)系郵箱：bktraining@163.com
【付費(fèi)方式】 現(xiàn)金、支票、銀行轉(zhuǎn)賬匯款
賬戶(hù)名稱(chēng)：北京市北科信息處理公司開(kāi)戶(hù)銀行：北京銀行健翔支行
賬號(hào)：0109 1122 8001 2010 2013 270
匯款信息：Hadoop系統(tǒng)原理、開(kāi)發(fā)與運(yùn)維培訓(xùn)班
