kafka培訓(xùn)課程 - 培訓(xùn)

主題

內(nèi)容見(jiàn)要

Apache Kafka消息系統(tǒng)

·?什么是消息系統(tǒng)

·?異步接口設(shè)計(jì)的主要業(yè)務(wù)場(chǎng)景

·?異步消息隊(duì)列的應(yīng)用

·?同步與異步接口在解決不同業(yè)務(wù)場(chǎng)景時(shí)的選型

·?超大型應(yīng)用系統(tǒng)中消息系統(tǒng)的應(yīng)用場(chǎng)景深入解析

·?消息系統(tǒng)在應(yīng)用服務(wù)構(gòu)建時(shí)的應(yīng)用場(chǎng)景

·?消息系統(tǒng)在數(shù)據(jù)體系構(gòu)建時(shí)的應(yīng)用場(chǎng)景

·?異步消息隊(duì)列設(shè)計(jì)的核心性能調(diào)優(yōu)4大原則

·?在不同的場(chǎng)景下選用不同調(diào)優(yōu)策略

·?Apache Kafka的基本架構(gòu)和概念

·?Kafka的設(shè)計(jì)目標(biāo)

·?消息隊(duì)列的分類(lèi)

·?Kafka與同類(lèi)系統(tǒng)的對(duì)比

·?Kafka的集群機(jī)制

·?Kafka的擴(kuò)容機(jī)制

·?Kafka的消息隊(duì)列機(jī)制

·?為什么Kafka的吞吐性能極高，其物理IO的設(shè)計(jì)機(jī)制

·?Kafka的容錯(cuò)機(jī)制

案例分析：通過(guò)一個(gè)超大型百萬(wàn)級(jí)并發(fā)微服務(wù)架構(gòu)中Kafka規(guī)劃案例解析，如何在應(yīng)用系統(tǒng)架構(gòu)中采用Kafka，Kafka所解決的核心關(guān)鍵問(wèn)題

Kafka的架構(gòu)深度解析

·?Kafka主要組件及其作用

·?AMQP協(xié)議

·?Apache Kafka在ZooKeeper上的存儲(chǔ)結(jié)構(gòu)

·?Producer-消息生產(chǎn)者的深入解析與應(yīng)用場(chǎng)景

·?Consumer-消息消費(fèi)者的深入解析與應(yīng)用場(chǎng)景

·?Broker-Kafka服務(wù)器集群的實(shí)現(xiàn)， 分析應(yīng)用非功能性需求，定義吞吐定義Broker服務(wù)器數(shù)量，業(yè)務(wù)訪問(wèn)量的推算與集群服務(wù)器數(shù)量未來(lái)增長(zhǎng)的預(yù)測(cè)方案， 當(dāng)前服務(wù)器集群規(guī)劃

·?Topic-消息類(lèi)別定義，如何依據(jù)應(yīng)用特征設(shè)計(jì)Topic

·?Partition-定義消息分區(qū)，為什么需要定義消息分區(qū)

·?Replication?副本數(shù)定義

·?Offset：消息偏移量的主要應(yīng)用方法， 使用Offset進(jìn)行消息的檢索與唯一性保障

·?Consumer Group：多Consumer的應(yīng)用場(chǎng)景解析，及其在架構(gòu)中的應(yīng)用關(guān)鍵點(diǎn)

·?In-Sync Replicas

·?Zookeeper?：集群管理與選舉機(jī)制，Kafka與ZooKeeper集成的目標(biāo)

·?Leaders and Follows

案例分析：通過(guò)一個(gè)超大型百萬(wàn)級(jí)并發(fā)微服務(wù)架構(gòu)中Kafka規(guī)劃案例解析，如何進(jìn)行， Broker, Topic, Partition, Replication, ConsumerGroup等的設(shè)計(jì)過(guò)程

Apache Kafka的分布式集群構(gòu)建與基本操作

·?Apache Kafka在ZooKeeper上的存儲(chǔ)結(jié)構(gòu)

·?ZooKeeper集群的架構(gòu)解析

·?ZooKeeper分布式集群搭建

·?Broker的配置與搭建

·?Kakfa關(guān)鍵配置信息

·?創(chuàng)建ServerID

·?主節(jié)點(diǎn)的配置與搭建

·?子節(jié)點(diǎn)的配置與搭建

·?集群?jiǎn)?dòng)與集群驗(yàn)證

·?生產(chǎn)消息與消費(fèi)消息

·?獲取消息列表

·?刪除Topic

案例實(shí)踐：構(gòu)建一個(gè)4臺(tái)服務(wù)器的Kafka分布式集群，并完成Kafka基礎(chǔ)操作

Kafka集群的容器化

在Docker中構(gòu)建Kafka集群

Kafka的分布式集群進(jìn)階-百萬(wàn)級(jí)并發(fā)消息處理架構(gòu)設(shè)計(jì)

·?Kafka集群的高可用設(shè)計(jì)

·?Kafka子節(jié)點(diǎn)下線

·?添加一個(gè)子節(jié)點(diǎn)到集群

·?Kafka主機(jī)宕機(jī)的處理

·?深入解釋Kafka的消息組織原理

·?查看分區(qū)Topic的Offset

·?Topic的Partition與Replication設(shè)計(jì)

·?Topic的Partition擴(kuò)容

·?Topic的Replication擴(kuò)容

·?Consumer Group?的設(shè)計(jì)

·?消息傳輸機(jī)制的設(shè)計(jì)

·?Consumer的再平衡

·?Log Compaction

·?消費(fèi)怎么保證不丟數(shù)據(jù)Offset怎么存

·?主節(jié)點(diǎn)關(guān)閉異常的處理

·?Kafka實(shí)現(xiàn)百萬(wàn)級(jí)并發(fā)消息系統(tǒng)的架構(gòu)設(shè)計(jì)

典型案例分析：分析大型互聯(lián)網(wǎng)出行類(lèi)系統(tǒng)的消息系統(tǒng)應(yīng)用案例，將整體串講到基于Kafka的消息系統(tǒng)幾大核心問(wèn)題

一個(gè)大型的實(shí)例大數(shù)據(jù)實(shí)時(shí)流式處理案例實(shí)踐-實(shí)時(shí)LBS位置數(shù)據(jù)分析-包括數(shù)據(jù)去噪，降維，通勤路線分析， 通勤實(shí)踐分析等實(shí)時(shí)分析過(guò)程

具備掌握Storm/Kafka大數(shù)據(jù)實(shí)時(shí)流式處理/異步消息隊(duì)列 應(yīng)用系統(tǒng)的完整 架構(gòu)設(shè)計(jì)，具備項(xiàng)目的分析、開(kāi)發(fā)、部署的全過(guò)程的能力，貫穿前面課程的主要內(nèi)容，使大家熟悉一個(gè)完整實(shí)時(shí)流式、異步消息隊(duì)列處理額大數(shù)據(jù)項(xiàng)目的分析、架構(gòu)設(shè)計(jì)、開(kāi)發(fā)、部署的全過(guò)程

Apache Kafka的應(yīng)用開(kāi)發(fā)實(shí)踐-通過(guò)多個(gè)案例實(shí)踐完成Kafka的關(guān)鍵代碼實(shí)現(xiàn)

·?Kafka開(kāi)發(fā)環(huán)境的構(gòu)建

·?Kafka的API接口

·?Producer端代碼編程模型

·?Consumer端代碼編程模型

·?多主題的訂閱代碼編程模型

·?提取Offset

·?使用代碼進(jìn)行消息的遍歷

·?發(fā)送消息到指定分區(qū)

·?指定分區(qū)的消息拉取

·?消息冪等的代碼實(shí)現(xiàn)

·?Acks的代碼實(shí)現(xiàn)

·?kafka rebalance的監(jiān)聽(tīng)

·?Kafka多線程開(kāi)發(fā)

·?Kafka的事務(wù)處理

·?Kafka線程處理

Kafka構(gòu)建微服務(wù)解耦消息通知架構(gòu)

·?微服務(wù)解耦消息通知架構(gòu)的接口設(shè)計(jì)

·?對(duì)Kafka應(yīng)用的改造使其能夠進(jìn)行解耦處理

·?微服務(wù)消息發(fā)送方代碼實(shí)現(xiàn)

·?微服務(wù)消息接收方代碼實(shí)現(xiàn)

·?多實(shí)例微服務(wù)消息接收方設(shè)計(jì)與代碼實(shí)現(xiàn)

·?多微服務(wù)消息接收方代碼實(shí)現(xiàn)

·?極限并發(fā)下Redis替換Kafka的解決方案實(shí)現(xiàn)

·?替換Kafka時(shí)避免微服務(wù)調(diào)用端代碼的修改

案例實(shí)踐：對(duì)一個(gè)大型微服務(wù)系統(tǒng)的解耦架構(gòu)進(jìn)行解析，實(shí)現(xiàn)微服務(wù)解耦消息通知架構(gòu)的代碼，通過(guò)該案例代碼完成微服務(wù)解耦框架的代碼實(shí)現(xiàn)

Kafka性能測(cè)試設(shè)計(jì)

·?Kafka性能工具的選型

·?Kafka性能測(cè)試的環(huán)境設(shè)計(jì)

·?Kafka?性能測(cè)試的基準(zhǔn)測(cè)試設(shè)計(jì)

·?Kafka?性能測(cè)試的峰值測(cè)試設(shè)計(jì)

·?Kafka?性能測(cè)試的壓力測(cè)試設(shè)計(jì)

·?Kafka?性能測(cè)試的疲勞測(cè)試設(shè)計(jì)

案例實(shí)踐：構(gòu)建一個(gè)性能測(cè)試環(huán)境， 開(kāi)展對(duì)Kafka多角度的性能測(cè)試

Kafka構(gòu)建極高并發(fā)日志處理系統(tǒng)架構(gòu)設(shè)計(jì)

·?日志處理系統(tǒng)的應(yīng)用場(chǎng)景

·?日志處理系統(tǒng)的核心架構(gòu)解析

·?Kafka在日志處理系統(tǒng)中的設(shè)計(jì)

·?Kafka構(gòu)建日志處理系統(tǒng)的存儲(chǔ)設(shè)計(jì)

·?Kafka構(gòu)建日志處理系統(tǒng)的

Apache Kafka與Storm集成案例實(shí)踐

·?Storm的運(yùn)行機(jī)制和部署

·?Storm的基本概念和編程模型

·?Storm開(kāi)發(fā)案例

·?Maven pom的配置

·?版本沖突的解決

·?Spout接入Kakfa消息

·?編寫(xiě)kafka bolt進(jìn)行消息處理SenqueceBolt

·?Kafka Topic的處理

·?kafka提交topology到storm

·?實(shí)時(shí)處理應(yīng)用JAR生成與調(diào)度

·?Storm UI的實(shí)時(shí)監(jiān)控

案例實(shí)踐：通過(guò)Kafka集群集成Storm，實(shí)現(xiàn)流式數(shù)據(jù)的實(shí)時(shí)分析

Apache Kafka與HBase集成案例實(shí)踐

·?為什么要集成Kafka與HBase

·?HBase的運(yùn)行機(jī)制和部署

·?HBase的基本概念和編程模型

·?Kafka消息在HBase中的存儲(chǔ)模型的設(shè)計(jì)

·?Maven pom的配置

·?版本沖突的解決

·?Kafka到HBase連接編程模型

·?Kafka消費(fèi)消息到HBase編程模型

·?提取Kafka 消息 Offset，實(shí)現(xiàn)到HBase的順序讀

·?轉(zhuǎn)換消息成為 DF

案例實(shí)踐：通過(guò)Kafka集群集成HBase，實(shí)現(xiàn)Kafka與HBase的集成框架代碼