Kafka系统实战培训
课程简介
随着互联网的快速普及,以及大数据在生产生活中迅速应用,对企业业务的高并发提出苛刻的要求,如何能够满足业务的高并发需求呢?Kafka可以满足高并的苛刻需求,被越来越多的企业所使用。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理大规模的网站的所有动作流数据。基于以上市场需求尹老师专门总结了使用Kafka的多年工作经验,帮助学员提升Kafka技能,学会使用Redis。
本课程重点讲解Kafka的安装配置、API的使用、持久化与复制、集群搭建与运维等。
课程目标
1、 使学员掌握Kafka的安装配置、集群的部署与运维;
2、 使学员掌握Kafka的使用、持久化与复制、开发与缓存设计等;
3、 使学员具备基于Kafka的开发能力。
课程对象
1、 本课程适合于即将投身于大数据领域的企业或者个人;
2、 本课程适合于开发人员、系统架构师、高级程序员、资深开发人员;
3、 本课程适合于企业IT技术优化的人员;
4、 政府机关,金融保险、移动互联网、能源行业等相关技术人员;
课程大纲
第1个主题: 分布式消息中间件Kafka剖析(深入理解Kafka的实现原理)
1、 Kafka诞生背景剖析
2、 什么是Kafka
3、 Kafka特征剖析
4、 Kafka应用场景
5、 Kafka架构剖析
6、 Broker
7、 Producer
8、 Consumers
9、 Topics
10、 Leader
11、 Follower
12、 队列模式(queuing)
13、 发布-订阅模式(publish-subscribe)
14、 Kafka创建topic、发送消息、消费消息
15、 数据传输的事务定义
16、 数据的持久化
17、 Kafka存储在硬盘上的消息格式
第2个主题: Kafka集群部署剖析(介绍Kafka集群部署)
1、 Kafka集群部署架构介绍
2、 Kafka集群部署环境准备
3、 Kafka集群部署
4、 Kafka节点管理
5、 Kafka运维管理
6、 Kafka主从同步
7、 Kafka的性能优化
8、 Kafka的消息与日志
9、 Kafka实战案例:Kafka集群部署实践
第3个主题: Kafka Shell操作实战(全面深入理解Kafka相关命令和具备Kafka的运维能力)
1、 Kafka Shell介绍
2、 Kafka查看日志命令
3、 Kafka主从命令
4、 Kafka监控命令
第4个主题: 编写Kafka程序(深入理解Kafka的APIs并动手实践)
1、 搭建Kafka开发环境
2、 Driver程序开发
3、 Producer程序开发
4、 Consumer程序开发
5、 发布与运行
6、 Kafka APIs全面剖析
7、 Kafka APIs应用场景剖析及案例
8、 Kafka程序监控
9、 Kafka实战案例:Kafka整合实现数据实时数据分析处理设计与分析
第5个主题: Kafka与其它软件集成(介绍Kafka与其它软件系统集成)
1、 Kafka与Hadoop集成
2、 Kafka与Hadoop集成剖析
3、 搭建Kafka与Hadoop集成环境
4、 Kafka与Spark Streaming集成
5、 Kafka与Spark Streaming集成剖析
6、 搭建Kafka与Spark Streaming集成环境
7、 Kafka与日志收集工具集成
8、 Kafka与日志收集工具集成剖析
9、 搭建Kafka与日志收集工具集成环境
10、 Kafka实战案例:Kafka整合实现数据实时数据分析处理
Kafka系统实战培训