从一个生活场景说起请你设想一下, 如果你是一名大型商场的管理人员, 需要负责整体的运营工作。现在有一个问题出现了, 具体情况是这样的, 假如说每一个系统都会直接去连接和对接所谓的收银台, 同时也会直接去连接摄像头, 那么到底会引发什么样的后果呢?系统耦合度出现爆炸式的增长。网络变得非常拥堵, 一旦某处发生故障, 就会引发全盘崩溃的结果‌。在这一时刻, Kafka 扮演的角色相当于位于商场正中间的一个智能化的物流分发中心枢纽。把交易数据、监控数据和点击数据这些所有的资料, 统统地送入到枢纽里面去, 而这个枢纽就是Kafka。接下来, 这个枢纽会根据具体的类型, 把它们分别分拣到不同的传送带上去, 每一条传送带其实就是一个Topic。然后, 各个部门, 比如风控部门、推荐部门还有日志系统这几个方面的人, 如果需要的话, 就可以根据自己的需求, 从这些传送带上获取自己想要的资料。这个枢纽是一直在运转的, 不管白天黑夜都是24小时不停地工作。而且就算突然断电了, 那些已经存在里面的东西也不会丢, 因为它有持久化的功能在撑着。这就是Kafka的核心价值所在, 体现为三点, 分别是解耦、高可靠以及高吞吐。有5个核心概念, 能让大家一下子就看明白Kafka是怎么回事。概念生活比喻技术解释Topic主题所谓的新鲜生鲜产品直达运输路径, 以及快捷的递送货物专属通道。关于消息的分类通道这种说法, 就好像是 user 还有 order 这种类型的通道一样。生产者商家发货员导致数据被产生的那些系统, 比如说是那个APP呀, 或者是服务器的日志文件。消费者超市收货员用于处理数据的相关系统是存在的, 这些系统包括风控体系, 也包括商业智能分析工具以及推荐算法引擎。节点枢纽仓库在Kafka这个集群里面, 存在着由单台所组成的服务器, 它们主要进行的工作就是用于存储消息。分区传送带的多条并行车道这个Topic的物理分片的环节, 起到了提升吞吐量的非常重要的作用, 这一点可以说是相当关键的。关于灵魂设计这一核心概念, 其所涉及的主要对象是名为 Group 的消费者组。很多人会问, Kafka 到底是如何在“双11”这样巨大流量的考验下还能够扛得住压力的呢? 这其中有一个关键点需要被纠正, 顺序写入磁盘的操作并不等同于低效率或者是缓慢的速度。这条消息被追加到了末尾。这种方式就像是在记日记一样。它的目的是为了避免磁盘进行随机寻址操作。由此带来的结果是, 处理速度非常接近内存零拷贝技术的水平。数据会从磁盘传到网络, 这个中间过程跳过了 CPU 进行多次拷贝的步骤, 吞吐量的数据会出现大幅度的增长, 在实测试中单机的处理能力是超过每秒钟一十万条的, 并且多副本机制可以有效防止数据丢失。每个实例拥有多个副本, 在发生宕机故障时会自动进行切换操作以确保数据不会丢失, 同时还支持将批量处理与压缩技术结合起来应用。进行批量发送消息的操作, 可以让网络开销大幅度地降低支持使用 GZIP压缩的方法, 从而节省了带宽的用量。进行对比的时候可以看到, Kafka 它是专门为了海量日志流去设计的, 它拥有高吞吐以及持久化的特点, 另一方面它能够擅长解决精准任务队列的问题, 可以处理复杂的路由以及事务, 所以选择哪一个要看具体的场景。真实世界中的 Kafka场景如何工作用户行为分析在手机应用里面的点击流动向, 先流向到Kafka里面, 接着去让Flink进行实时的计算操作, 最终呈现在屏幕上用于监控。日志统一收集服务器日志被发送到Kafka, 接着再往后传递。微服务解耦订单服务会发布“支付成功”这一事件, 随后通过Kafka进行传输, 紧接着, 库存服务、积分服务以及通知服务会各自对这个事件进行消费。对数据库进行的变更操作, 需要实现同步。通过捕获从 MySQL 到 Kafka, 然后把数据同步到数仓。滴滴公司、美团的平台, 以及那个由Kafka诞生地演变而来的机构等等, 这些主体每天都能够处理到PB级别的海量数据, 在其核心业务链路当中, 是完全离不开对于Kafka这一中间件的依赖和使用。动手去体验一下, 只需要利用5行代码这一过程, 就可以感受到Kafka的魅力所在。1# 安装pip install kafka-python2# 前提本地启动 KafkaDocker 一行命令docker run -p 9092:9092 apache/kafka34# 生产者发送一条消息5from kafka import KafkaProducer6producer KafkaProducer(bootstrap_serverslocalhost:9092)7producer.send(quickstart, bHello!我是第1条Kafka消息)8producer.flush()910# 消费者接收消息11from kafka import KafkaConsumer12consumer KafkaConsumer(quickstart, bootstrap_serverslocalhost:9092, auto_offset_resetearliest)13for msg in consumer:14 print( 收到, msg.value.decode())当程序启动运行之后, 你会看见消息被可靠地传递过去, 这就是所谓的分布式系统的魔法所在。给初学者的贴心建议是, 千万不要被分布式这个术语吓到, 首先使用当前工具先尝试运行单机版本, 从而深刻理解 Topic这种交互形式的关键意义在于实现思维上的关键转变。以前人们会觉得消息队列这个东西在消费完成之后就应该直接被删除掉, 但是现在Kafka所扮演的角色不一样了, 它其实是一个可以被重复读取、重新回放的数据日志。可以回溯历史消息, 这一点适合用在流处理场景里。关于避坑的指南方面, 如果需要全局的顺序, 那么就要选择单分区的方案, 只不过这样做会牺牲掉吞吐量。如果遇到了消费失败的情况, 要去检查一下提交的策略。监控必须要必备的内容是, 关注消费的延迟, 也就是 Lag, 还有负载的情况。最后留出延伸学习的部分。通过对Kafka结合Flink进行实时计算、利用Kafka进行数据集成, 以及使用KSQL这一流式SQL工具的探索与总结, 我们得出了以下内容作为结语。Kafka 不是炫技的“高冷技术”而是解决真实痛点的工程智慧采用简单基础的“发布”与“订阅”这种模型方法, 再加上非常巧妙精细的存储架构设计手段, 让那些数据能够如同水流现象一般, 在系统内部环境之间进行安全且高效运行的奔涌过程。下一次当你进行刷短视频操作并获得了精准的推荐内容, 或者在进行网络购物行为时体验到了库存信息的秒级更新过程时, 这些现象的背后很可能存在名为 Kafka 的系统在默默地提供支持和保障。