1. 那些年我们踩过的Kafka配置坑第一次部署Kafka时我盯着控制台不断刷新的报错信息感觉整个人都不好了。明明是按照官方文档一步步操作的为什么服务就是起不来后来才发现Kafka的配置就像个暗藏玄机的迷宫稍有不慎就会掉进坑里。今天我就把这些年踩过的坑总结出来帮你避开这些雷区。Kafka的配置文件中有几个参数特别容易让人栽跟头。首先是listeners和advertised.listeners这两个参数看起来相似实际作用却大不相同。listeners告诉Kafka在哪些网络接口上监听连接而advertised.listeners则是告诉客户端应该连接哪个地址。很多人在云服务器上部署时直接用了公网IP配置listeners结果发现服务根本起不来。注意在云环境部署时listeners一定要配置内网IP否则会出现无法绑定地址的错误。2. 网络配置的三大天坑2.1 listeners与advertised.listeners的相爱相杀这两个参数的关系可以用快递站来类比。listeners就像是快递站的收货窗口决定了快递站能在哪些地方接收包裹而advertised.listeners则是快递站对外公布的取件地址告诉客户应该去哪里取件。在阿里云等云服务器上正确的配置应该是listenersPLAINTEXT://内网IP:9092 advertised.listenersPLAINTEXT://公网IP:9092我曾经遇到过这样一个案例某公司的Kafka集群在内网可以正常访问但外网客户端总是连接失败。检查后发现是advertised.listeners配置成了内网IP导致外网客户端拿到的是无法直接访问的内网地址。2.2 ZooKeeper连接超时问题ZooKeeper是Kafka的好搭档但配置不当就会变成猪队友。最常见的错误就是在zookeeper.connect中使用了公网IP# 错误配置 zookeeper.connect公网IP:2181 # 正确配置 zookeeper.connect内网IP:2181当出现ZooKeeperClientTimeoutException异常时别急着怀疑ZooKeeper挂了先检查以下几点确认ZooKeeper服务确实在运行检查Kafka配置中的ZooKeeper地址是否正确查看服务器防火墙是否放行了2181端口2.3 安全组与防火墙的隐形杀手云服务器的安全组规则经常被忽略但它能让你的一切配置努力付诸东流。我建议在部署前先做好这些检查确认安全组放行了Kafka的监听端口默认9092检查服务器本地的防火墙规则如果是集群部署确保节点间的所有必要端口都互通3. 性能调优中的隐藏陷阱3.1 日志保留策略的坑log.retention.hours和log.retention.bytes这两个参数控制着消息的保留时长和大小。新手常犯的错误是# 这样配置会导致磁盘很快被占满 log.retention.hours168 # 保留7天 log.retention.bytes-1 # 不限制大小更合理的配置应该是log.retention.hours72 log.retention.bytes10737418240 # 10GB log.segment.bytes1073741824 # 1GB/段3.2 线程池配置的误区Kafka有两个重要的线程池参数num.network.threads处理网络请求的线程数num.io.threads执行磁盘IO的线程数很多人以为线程数越多性能越好实际上# 对于4核机器这样配置反而会降低性能 num.network.threads16 num.io.threads32 # 更合理的配置 num.network.threads3 num.io.threads83.3 内存分配的坑message.max.bytes参数控制着单条消息的最大尺寸。我曾经遇到过一个生产事故因为默认配置的1MB限制导致大消息被拒绝而客户端又没有正确处理这个错误。建议根据实际业务需求调整message.max.bytes10485760 # 10MB replica.fetch.max.bytes11534336 # 必须略大于message.max.bytes fetch.message.max.bytes115343364. 集群部署的特殊注意事项4.1 broker.id的重复问题在集群中每个节点的broker.id必须是唯一的。我见过最离谱的错误是整个集群的所有节点都用了默认的broker.id0结果导致数据混乱。正确的做法是# 节点1 broker.id1 # 节点2 broker.id2 # 节点3 broker.id34.2 副本与ISR配置default.replication.factor参数控制着每个Topic的副本数。很多人在测试环境用默认值1到了生产环境忘记修改结果毫无容错能力。生产环境建议default.replication.factor3 min.insync.replicas24.3 跨机房部署的坑如果需要跨机房部署要特别注意advertised.listeners的配置。我曾经帮一个客户排查过这样的问题他们的Kafka集群跨了三个机房但因为网络配置不当导致跨机房流量激增。解决方案是listenersPLAINTEXT://内网IP:9092 advertised.listenersPLAINTEXT://同机房访问地址:90925. 监控与故障排查技巧部署完成后我强烈建议配置以下监控指标Under Replicated Partitions出现非零值说明副本同步有问题Active Controller Count确保始终为1Request Handler Avg Idle Percent低于80%说明需要增加线程当遇到问题时可以按这个顺序排查检查Kafka日志通常位于logs/server.log使用kafka-topics.sh查看Topic状态用netstat确认端口监听情况检查ZooKeeper中/brokers/ids下的节点信息最后分享一个真实案例某次线上故障Kafka突然变得极其缓慢。经过排查发现是因为num.io.threads设置过低而同时有大量生产请求涌入。调整线程数后吞吐量立即恢复了正常。
