银财中国网
Kafka 消息过期策略（时间相关参数）
创始人
2024-01-21 10:27:03
0次

Kafka 消息过期策略（时间相关参数）
标记delete时效
(CDH配置项)log.retention.ms
（Kafka offset配置）retention.ms

标记delete的真删底层文件
delete.delay.ms
log.segmetn.delete

背景：在不需要重启kafka的情况下，需要针对特定的topic做消息过期时间配置
本人通过kafka offset工具只做了如下测试：
在新建topic的时候附加 retention.ms=1小时的毫秒数 这样的配置，
retention.ms=1小时的毫秒数,delete.retention.ms=7天的毫秒数,segment.ms=7天的毫秒数
在这种配置下，retention.ms=1小时的毫秒数 生效，kafka offset中数据已经不可见，flink也无法消费到数据

kafka offet配置
在这里插入图片描述

数据已经不可见
在这里插入图片描述
可以看到flink日志 offset有偏移量
在这里插入图片描述

但是flink已经无非消费到
在这里插入图片描述

上一篇：3环境变量

下一篇：【附源码】Python计算机毕业设计寿险公司保险业务管理系统

相关内容

热门资讯

喜欢穿一身黑的男生性格（喜欢穿... 今天百科达人给各位分享喜欢穿一身黑的男生性格的知识，其中也会对喜欢穿一身黑衣服的男人人好相处吗进行解...
发春是什么意思（思春和发春是什... 本篇文章极速百科给大家谈谈发春是什么意思，以及思春和发春是什么意思对应的知识点，希望对各位有所帮助，...
网络用语zl是什么意思（zl是... 今天给各位分享网络用语zl是什么意思的知识，其中也会对zl是啥意思是什么网络用语进行解释，如果能碰巧...
为什么酷狗音乐自己唱的歌不能下... 本篇文章极速百科小编给大家谈谈为什么酷狗音乐自己唱的歌不能下载到本地?，以及为什么酷狗下载的歌曲不是...
华为下载未安装的文件去哪找（华... 今天百科达人给各位分享华为下载未安装的文件去哪找的知识，其中也会对华为下载未安装的文件去哪找到进行解...
怎么往应用助手里添加应用（应用... 今天百科达人给各位分享怎么往应用助手里添加应用的知识，其中也会对应用助手怎么添加微信进行解释，如果能...
家里可以做假山养金鱼吗（假山能... 今天百科达人给各位分享家里可以做假山养金鱼吗的知识，其中也会对假山能放鱼缸里吗进行解释，如果能碰巧解...
一帆风顺二龙腾飞三阳开泰祝福语... 本篇文章极速百科给大家谈谈一帆风顺二龙腾飞三阳开泰祝福语，以及一帆风顺二龙腾飞三阳开泰祝福语结婚对应...
四分五裂是什么生肖什么动物（四... 本篇文章极速百科小编给大家谈谈四分五裂是什么生肖什么动物，以及四分五裂打一生肖是什么对应的知识点，希...
美团联名卡审核成功待激活（美团... 今天百科达人给各位分享美团联名卡审核成功待激活的知识，其中也会对美团联名卡审核未通过进行解释，如果能...