大数据Hadoop与Spark架构应用培训

一、培训特色
1.课程培训业界最流行、应用最广泛的Hadoop与Spark大数据技术体系。
强化大数据平台的分布式集群架构和核心关键技术实现、大数据应用项目开发和大数据集群运维实践、以及Hadoop与Spark大数据项目应用开发与调优的全过程沙盘模拟实战。
2.通过一个完整的大数据开发项目及一组实际项目训练案例，完全覆盖
Hadoop与Spark生态系统平台的应用开发与运维实践。课堂实践项目以项目小组的形式进行沙盘实操练习，重点强化理解Hadoop与Spark大数据项目各个阶段的工作重点，同时掌握作为大数据项目管理者的基本技术与业务素养。
3.本课程的授课师资都是有着多年在一线从事Hadoop与Spark大数据项目
的资深讲师，采用原理技术剖析和实战案例相结合的方式开展互动教学、强化以建立大数据项目解决方案为主体的应用开发、技术讨论与交流咨询，在学习的同时促进讲师学员之间的交流，让每个学员都能在课程培训过程中学到实实在在的大数据技术知识体系，以及大数据技术应用实战技能，具备实际大数据应用项目的动手开发实践与运维管理部署能力。授课过程中，根据学员需求，增设交流环节，可将具体工作中遇到的实际问题展开讨论，讲师会根据学员的实际情况微调授课内容，由讲师带着全部学员积极讨论，并给出一定的时间让学员上台发言，现场剖析问题的症结，规划出可行的解决方案。
二、培训目标
1.深刻理解在“互联网+”时代下大数据的产生背景、发展历程和演化趋势；
2.了解业界市场需求和国内外最新的大数据技术潮流，洞察大数据的潜在价值；
3.理解大数据项目解决方案及业界大数据应用案例，从而为企业在大数据项目
中的技术选型及技术架构设计提供决策参考；
4.掌握业界最流行的Hadoop与Spark大数据技术体系；
5.掌握大数据采集技术；
6.掌握大数据分布式存储技术；
7.掌握NoSQL与NewSQL分布式数据库技术；
8.掌握大数据仓库与统计机器学习技术；
9.掌握大数据分析挖掘与商业智能（BI）技术；
10.掌握大数据离线处理技术；
11.掌握Storm流式大数据处理技术；
12.掌握基于内存计算的大数据实时处理技术；
13.掌握大数据管理技术的原理知识和应用实战；
14.深入理解大数据平台技术架构和使用场景；
15.娴熟运用Hadoop与Spark大数据技术体系规划解决方案满足实际项目需求；
16.掌握如何部署符合生产环境要求的Hadoop大数据集群；
17.熟练地掌握基于Hadoop与Spark大数据平台进行应用程序开发、集群运维
管理和性能调优技巧。

三、课程大纲
时间课程模块课程内容
第一天
上午大数据技术基础1.大数据的产生背景、发展历程
2.大数据和云计算的关系
3.大数据应用需求以及潜在价值分析
4.业界最新的大数据技术发展态势与应用趋势
5.大数据项目的技术选型与架构设计
6.“互联网+”时代下的电子商务、制造业、零售批发业、电信运营商、互联网金融业、网上银行、电子政务、移动互联网、教育信息化等行业应用实践与应用案例剖析
业界主流的大数据技术产品与项目解决方案1.国内外主流的大数据解决方案介绍
2.当前大数据解决方案与传统数据库方案的剖析比较
3.Apache大数据平台方案剖析
4.CDH大数据平台方案剖析
5.HDP大数据平台方案剖析
6.开源的大数据生态系统平台剖析
Hadoop大数据平台剖析1.Hadoop的发展历程以及产业界的实际应用介绍
2.Hadoop大数据平台架构
3.基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制
4.Hadoop的核心组件剖析
第一天
下午大数据分布式存储系统原理及其应用实践1.分布式文件系统HDFS的简介
2.HDFS系统的主从式平台架构和工作原理
3.HDFS核心组件技术讲解
4.基于HDFS的大型存储系统应用开发实战
5.HDFS集群的安装、部署、配置与性能优化实践
6.HDFS与LinuxNFS3交互技术以及本地化部署应用实践
7.分布式键值存储系统的平台架构、核心技术以及应用开发
8.PB级大数据存储项目的案例分析
大数据MapReduce与Yarn并行处理平台1.MapReduce并行计算模型
2.MapReduce作业执行与调度技术
3.第二代大数据计算框架Yarn的工作原理以及DAG并行执行机制
4.MapReduce应用开发环境的部署，以及大数据并行处理应用程序开发
5.MapReduce高级编程技巧与性能优化实践
6.MapReduce与Yarn大数据分析处理案例分析
Hadoop应用实践操作训练1.部署与配置HDFS，熟练操作HDFSSHELL，HDFS与NFS操作，以及HDFSAPI开发实践
2.部署与配置MapReduce与Yarn及其开发实践
3.Hadoop的Linux二次开发环境部署与配置
第二天
上午Hbase分布式数据库管理系统1.NoSQL数据库与NewSQL数据库技术介绍，及其在半结构化和非结构化大数据方面的应用实践
2.Hbase分布式数据库简介、数据模型以及工作原理
3.Hbase分布式数据库集群的平台架构和关键技术剖析
4.Hbase应用项目开发技巧，以及客户端开发实战
5.Hbase表设计与数据操作以及数据库管理API调用
6.Hbase集群的安装部署与配置优化
7.ZooKeeper分布式协调服务系统的工作原理、平台架构、集群部署与配置应用实战
8.Hbase集群的运维与监控管理
Hive大型数据仓库集群平台及其应用实践1.基于Hadoop的大型分布式数据仓库基础知识，HIVE在行业中的数据仓库应用案例
2.Hive大数据仓库简介以及应用介绍
3.Hive数据仓库集群的平台体系结构、核心技术剖析
4.HiveServer的工作原理、机制与应用
5.Hive数据仓库集群的安装部署与配置优化
6.Hive应用开发技巧
7.HiveSQL剖析与应用实践
8.Hive数据仓库表与表分区、表操作、数据导入导出、客户端操作技巧
9.Hive数据仓库报表设计
10、HiveJDBC与ODBC的工作原理与实现机制
11、HiveHWI、CLI客户端操作以及UDF应用实践
Hbase半结构化数据管理应用实践操作训练1.部署与配置Hbase集群以及Hbase的性能优化
2.部署与配置ZooKeeper分布式集群
3.构建Hbase开发环境
4.Hbase数据库操作及项目实践
Mahout大数据分析挖掘平台及其应用实践1.Mahout集群的安装部署与配置优化
2.Mahout实现客户分析，广告分析，日志分析，规律预测，关联分析，定向推荐等应用程序的开发与应用实战
3.Mahout性能优化与分析挖掘算法参数的优化技巧
Hive数据仓库与Mahout数据挖掘平台的应用实践操作训练1.部署与配置HIVE集群，以及HIVE性能调优
2.构建HIVE开发环境
3.HIVE数据仓库操作及项目实践
4.实现Mahout与HadoopHbase的应用集成，实现日志数据分析挖掘项目的应用实践
第三天
上午Spark大数据实时处理平台剖析1.Spark的发展历程以及业界的实际应用介绍
2.Spark实时大数据处理平台架构
3.SparkRDD内存弹性分布式数据集的工作原理与机制
4.Spark的核心组件剖析
5.基于Spark的实时数据仓库与实时分析挖掘处理在行业中的应用实践案例
基于Spark的实时数据仓库和实时数据分析挖掘处理平台的实现机制，以及SparkSQL，SparkStreaming，MLib，GraphX，SparkR的应用实践1.内存计算模型和实时处理技术介绍
2.Spark中各个分布式组件的处理框架及工作原理
3.SparkSQL实时数据仓库的实现原理机制及应用实践
4.SparkStreaming流式数据实时处理机制及应用实践
5.SparkMLib实时机器学习算法应用实践与案例应用
6.SparkGraphX实时图数据处理应用实践与社交网络分析应用案例
7.SparkR的实现原理与应用实践
8.Spark组件的应用编程开发实战
9.Spark与Hadoop的集成解决方案实践
Spark平台与各个组件的实践操作训练1.部署与配置Spark集群，以及Spark性能调优
2.构建Spark开发环境
3.Spark程序运行以及操作
4.SparkSQL应用操作实训
5.SparkStreaming应用操作实训
6.SparkMLib应用操作实训
7.SparkGraphX应用操作实训
8.SparkR应用操作实训
9.Spark与Hbase集成数据分析实验实训
第三天下午
Storm流式数据处理平台架构及其应用实践1.Storm流式处理系统的平台架构和工作原理
2.Storm关键技术剖析
3.Storm集群安装部署与配置优化
4.Storm日志流数据分析项目应用实战
5.Storm和Hadoop，Spark的应用集成项目实践
大数据智能化ETL操作工具以及Hadoop集群运维监控工具平台应用1.Hadoop与DBMS之间数据交互工具的应用
2.Sqoop导入导出数据的工作原理，以及Sqoop集群安装部署与配置
3.Kettle集群的平台架构、核心技术工作原理以及应用案例
4.Kettle大数据ETL工具的部署与配置，以及应用实战
5.利用Sqoop实现MySQL与Hadoop集群之间的数据导入导出交互程序
6.Hadoop大数据运维监控管理系统HUE平台的安装部署与应用配置
7.Hadoop运维管理监控系统Ambari平台的安装部署与应用配置
8.Hadoop集群运维系统Ganglia,Nagios的安装部署与应用配置
大数据分布式采集与分布式消息订阅系统及其应用实践（可选）1.Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战
2.Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战
内存数据库管理系统及其应用实践（可选）1.Impala实时查询系统平台架构、核心关键技术剖析
2.Impala实时查询系统的部署与应用开发实践
3.Redis内存数据库集群架构以及核心技术剖析
4.Redis集群的部署与应用开发实战与案例分析
Cassandra数据管理系统应用实践（可选）1.Cassandra集群的平台架构以及核心关键技术
2.Cassandra一致性哈希算法与数据对象分布策略
3.Cassandra集群的安装部署与配置优化
4.Cassandra应用开发实战与案例分析
大数据项目应用完整实践与咨询讨论1.根据讲师布置的实际应用案例，开展大数据完整项目部署设计和应用开发实践
2.大数据项目的需求分析、应用实施以及解决方案分享咨询与交流讨论
第四天学习考核与行业经验交流

大数据Hadoop与Spark架构应用培训