培訓(xùn)受眾:

        具備基本Linux系統(tǒng)管理經(jīng)驗(yàn),無(wú)需具備掌握Hadoop相關(guān)知識(shí)。

課程收益:

        學(xué)習(xí)系統(tǒng)管理的概念和Apache Hadoop的最佳實(shí)踐，從安裝和配置到負(fù)載均衡和調(diào)優(yōu)。這個(gè)4天的的課程通過(guò)動(dòng)手時(shí)間來(lái)賦予你部署的經(jīng)驗(yàn)，以及更多的安全方面的經(jīng)驗(yàn)和故障排除。課程結(jié)束后，學(xué)員可以去參加Cloudera和Apache Hadoop管理員（CCAH）考試來(lái)驗(yàn)證和認(rèn)證他們的Hadoop經(jīng)驗(yàn)。

培訓(xùn)頒發(fā)證書(shū):

        Cloudera ApacheHadoop資格管理員考試提供業(yè)界進(jìn)行Hadoop安裝部署及管理調(diào)優(yōu)領(lǐng)域里唯一且最具權(quán)威性、并得到全球認(rèn)可的認(rèn)證。為企業(yè)提供了高質(zhì)量可以依賴的Hadoop管理員，保障了海量數(shù)據(jù)存儲(chǔ)和處理計(jì)算平臺(tái)系統(tǒng)的高質(zhì)量；為工程師技術(shù)人員提供了最新的技術(shù)裝備，開(kāi)拓了職業(yè)發(fā)展。

課程摘要:

     ? Hadoop分布式文件系統(tǒng)（HDFS）和MapReduce的工作原理

     ? 如何優(yōu)化Hadoop機(jī)群所需要的硬件配置

     ? 搭建Hadoop機(jī)群所需要考慮的網(wǎng)絡(luò)因素

     ? 如何利用Hadoop配置選項(xiàng)進(jìn)行系統(tǒng)性能調(diào)優(yōu)

     ? 如何利用FairScheduler為多用戶提供服務(wù)級(jí)別保障

     ? Hadoop機(jī)群維護(hù)和監(jiān)控

     ? 如何使用Flume從動(dòng)態(tài)生成的文件加載數(shù)據(jù)到Hadoop

     ? 如何使用Sqoop從關(guān)系型數(shù)據(jù)庫(kù)加載數(shù)據(jù)

     ? 使用其他Hadoop相關(guān)系統(tǒng)工具（諸如Hive，Pig和H）所涉及到的系統(tǒng)管理問(wèn)題

課程大綱:

1)為什么使用Hadoop?

? HDFS介紹

? MapReduce介紹

? Hive, Pig, H和其他Hadoop生態(tài)系統(tǒng)項(xiàng)目

? 上機(jī)實(shí)驗(yàn)

2)Hadoop機(jī)群規(guī)劃

? 一般考慮因素

? 選擇合適的硬件

? 網(wǎng)絡(luò)考慮

? 配置節(jié)點(diǎn)

3)配置和部署Hadoop機(jī)群

? 部署種類

? 安裝Hadoop

? 使用Cloudera Manager進(jìn)行簡(jiǎn)易安裝

? 典型配置參數(shù)

? 機(jī)柜配置（Rack Awareness）

? 使用配置管理工具

? 上機(jī)實(shí)驗(yàn)

4)管理調(diào)度任務(wù)

? 管理運(yùn)行的任務(wù)

? 上機(jī)實(shí)驗(yàn)

? 先進(jìn)先出調(diào)度器（FIFO Scheduler）

? 公平調(diào)度器（FairScheduler）

? 配置公平調(diào)度器

? 上機(jī)實(shí)驗(yàn)

5)Hadoop維護(hù)

? 檢查HDFS狀態(tài)

? 上機(jī)實(shí)驗(yàn)

? Hadoop機(jī)群之間的數(shù)據(jù)拷貝

? 增減Hadoop機(jī)群節(jié)點(diǎn)

? Hadoop機(jī)群數(shù)據(jù)負(fù)載平衡

? 上機(jī)實(shí)驗(yàn)

? 名字節(jié)點(diǎn)（NameNode）元數(shù)據(jù)（data）的備份

? 機(jī)群升級(jí)

6)Hadoop機(jī)群監(jiān)控和故障排除

? 一般性系統(tǒng)監(jiān)控

? 管理Hadoop日志文件

? 使用NameNode和JobTracker的Web UI

? 上機(jī)實(shí)驗(yàn)

? 使用Ganglia來(lái)監(jiān)控機(jī)群

? 常見(jiàn)故障問(wèn)題

? 用基準(zhǔn)測(cè)試工具測(cè)試機(jī)群性能

7)為Hadoop機(jī)群加載外部數(shù)據(jù)源

? Flume概述

? 上機(jī)實(shí)驗(yàn)

? Sqoop概述

? 導(dǎo)入數(shù)據(jù)的最佳實(shí)踐

8)安裝和管理其他Hadoop項(xiàng)目

? Hive

? Pig

? 其他上機(jī)實(shí)驗(yàn)