云计算技术之 Hadoop 大数据技术企业培训

Hadoop 是一个分布式文件系统,广泛应用于云计算领域。对于现在的互联网企业和云计算服务企业来说,每天都会产生大量的数据,而且并发访问也非常高,传统的关系型数据库已经无法满足大数据量高并发的要求。因此各大互联网企业已经开始使用 Hadoop 软件解决大数据量高并发的问题。像:淘宝、百度、京东、Yahoo、Facebook、暴风影音都已经为他们的企业引入了 Hadoop 技术。在国内,越来越多的企业急需引入 Hadoop 技术,由于市面上掌握 Hadoop 技术的开发人员并不多,直接导致了 Hadoop 技术人员的薪水远高于 JavaEE 程序员,Hadoop 技术的入门薪资已经达到了8000以上,工作一年达到12000以上。

参训信息

  • 日期安排:2013年9月22-23日,周末班
  • 培训费用:RMB 6800元/位

大连咨询报名热线:0411-39869266 39869074

全国统一客服热线:400-818-8020


授课讲师

童小军:

EasyHadoop 开源社区创立者,工信部外聘 Hadoop 专家讲师,暴风影音平台数据研发经理,曾任暴风影音易览视频搜索引擎研发经理。在搜索引擎,数据分析,数据挖掘领域拥有多年工作经验。现在暴风影音从事大数据分析工作,致力于让 Hadoop 大数据分析应用更简单。2011年开始带领团队搭建暴风影音基于 Hadoop 海量数据处理平台,并总结整理出一整套大数据接收,存储,分析,展现快速解决方案。每天接受来自几千万暴风用户的在线播放数据,集群每天处理新增数据几十个亿,每天支撑分析任务达到上千个。支持产品分析,用户分析,广告统计等核心平台日常分析工作。2012年5月2日成功通过 Cloudera 认证考试,成为首位在国内获得美国 Cloudera 公司认证的 Apache Hadoop 开发工程师(Cloudera Certified Developer for Apache Hadoop, CCDH)。

    EasyHadoop 大事记:
  • 2012年7月开始编写 EasyHadoop 实战操作手册,为 Hadoop 零基础入门读物。
  • 2012年2月25日至今持续建设 EasyHadoop 开源社区行业技术论坛,带领团队成功组织四次 Hadoop 技术分享活动,分享 Hadoop 使用技能。活动受到来自百度、腾讯、新浪、阿里巴巴、蓝讯等的上百位 Hadoop 工程师广泛参与和支持。
  • 2012年1月18日推出 EasyHadoop 快速安装脚本,大大简化 Apache 社区 Hadoop 版本的安装和部署工作。
  • 2012年1月7日开始建设 EasyHadoop 开源社区,并在国内普及 Hadoop 技术应用,致力于让 Hadoop 大数据分析更简单。

刘刚:

曾经在北京大学软件研究所担任国家重点项目“核高基”的(6-1)课题的 EJB 应用服务器的开发,产品名称为 PKUAS2010。目前是国内唯一一个开源的 EJB 服务器。2011年开始就职于 Chinacache(北京蓝汛科技信息有限责任公司),基于 Hadoop 海量数据处理平台的搭建和处理。负责150T数据的存储和分析。对 Hadoop 集群的监控和优化。还有利用 flume 对海量日志的收集平台的搭建。2012年6月2日成功通过 Cloudera 认证考试,成为 Cloudera 公司认证的 Apache Hadoop 开发工程师(Cloudera Certified Developer for Apache Hadoop, CCDH)。


课程内容纲要:

EasyHadoop 大数据处理生态系统和成功案例

课程目标:此课程面向企业 CIO、CTO、架构师、以及传统数据库管理员、数据分析师、或对 Hadoop 技术感兴趣的技术人员。通过此课程的培训,学员可以了解 Hadoop 的历史及目前发展的现状、以及 Hadoop 的技术特点和适用场景,从而把握分布式计算框架及未来发展方向,在大数据时代对能为企业的技术选型及架构设计提供决策参考。
目标学员:CIO、CTO、架构师、DBA、数据分析师、数据库开发人员
学员基础:无编程技术要求

一、Hadoop 的起源
二、Hadoop 在云计算和大数据的位置和关系
三、Hadoop 国外企业成功案例
四、Hadoop 国内企业成功案例
五、Hadoop 生态系统介绍和演示
六、Hadoop 和传统数据库技术优劣势对比
七、Hadoop 现有软件厂商和产品对比和选型
八、Hadoop 现有硬件厂商和产品对比和选型
九、EasyHadoop 软件系统和培训课程优势介绍

EasyHadoop 开发者

课程目标:此课程面向企业软件工程师、数据库工程师、以及对 Hadoop 开发感兴趣的各类技术人员。通过此课程的学习,学员可以全面掌握 Hadoop 的架构原理和使用场景,并通过贯穿课程的习题项目进行实战锻炼,从而熟练使用 Hadoop 进行 MapReduce 程序开发。课程还涵盖了分布式计算领域的常用算法介绍,帮助学员为企业在利用大数据方面体现自身价值。
目标学员:软件工程师、高级软件工程师、数据库开发人员、互联网服务后台开发人员、运维人员
学员基础:需要了解 Linux 系统,了解网络,懂 Java 编程

一、Hadoop MapReduce
二、使用 Hadoop MapReduce Streaming 编程
三、MapReduce 分布式程序
四、Hadoop 核心代码导读
五、HDFS 分布式文件系统编程
六、Hadoop Mapreduce 高级编程
七、MapReduce 的优化
八、MapReduce 的任务调度
九、MapReduce 编程实战
十、flume + hadoop 日志的收集实战

Hadoop EDW 数据库管理员

课程目标:此课程面向公司系统管理员、数据库管理员,希望转型的 DBA 以及对 Hadoop 感兴趣的各类技术人员。通过此课程的培训,学员可以深入理解 Hadoop 技术架构,对 Hadoop 运作机制有清晰全面的认识,可以独立规划及部署生产环境的 Hadoop 集群,掌握 Hadoop 基本运维思路和方法,对 Hadoop 集群进行管理和优化。
目标学员:软件工程师、高级软件工程师、数据库开发人员、互联网服务后台开发人员、运维人员
学员基础:需要了解 Linux 系统,了解网络,了解 Shell SQL Python 等脚本语言的一种

集群安装和管理

一、Hadoop 的来源和动机
二、EasyHadoop 安装和部署准备
三、EasyHadoop 集群安装和部署
四、Hadoop 组件详解
五、EasyHadoop 集群配置详解

集群优化和管理

六、EasyHadoop 集群配置:机架感知,开启压缩和任务均衡
七、Hadoop 集群维护与管理
八、Hadoop 集群规划和测试
九、Hadoop 集群监控和运维
十、Hadoop HDFS 高可用

EasyHive EasyPig 数据仓库

十一、EasyHive 仓库集群
十二、EasyHive 仓库集群高级
十三、EasyHive 仓库优化
十四、EasyHive 仓库外围系统