转自:http://blog.csdn.net/honglei915/article/details/49683065 Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩. 数据清理的方式 删除 log.cleanup.policy=delete启用删除策略直接删除,删除后的消息不可恢复.可配置以下两个策略:清理超过指定时间清理:  log.retention.hours=16超过指定大小后,删除旧的消息:log.retention.bytes=107

Topic日志清理 server.properties: log.cleanup.policy=delete (默认) 1. 按时间维度进行Kafka日志清理 log.retention.hours=1 log.retention.minutes=60 log.retention.ms=3600000 2. 按空间维度进行Kafka日志清理 log.retention.bytes=1073741824 无论时间还是空间维度,只要满足其中一个log就会被清理. 一小时后发现log已经被清除.

由于项目原因,最近经常碰到Kafka消息队列拥堵的情况.碰到这种情况为了不影响在线系统的正常使用,需要大家手动的清理Kafka Log.但是清理Kafka Log又不能单纯的去删除中间环节产生的日志,中间关联的很多东西需要手动同时去清理,否则可能会导致删除后客户端无法消费的情况. 在介绍手动删除操作之前,先简单的介绍一下Kafka消费Offset原理. 一.Kafka消费Offset 在通过Client端消费Kafka中的消息时,消费的消息会同时在Zookeeper和Kafka Log中保存,如

需要删除数据的表名:t_req_log 建表sql CREATE TABLE `t_req_log` ( `id` ) NOT NULL AUTO_INCREMENT, `host` ) DEFAULT NULL, `time` datetime DEFAULT NULL, PRIMARY KEY (`id`), ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 1.查询是否开启事件调度 SHOW VARIABLES LIKE 'event_scheduler'; 2.

需求:有一个活动记录表 t_ad ,商家每次发起一个活动,就会在 t_shake_devices_relation 表里面生成一些关联记录.现在写一个存储过程实现,如果活动过期,就将关联表里面的数据标记删除. 1.代码如下: BEGIN /* 用途:每天23:00执行一次,处理“开屏广告”和“门店主页”关联设备信息,如果当前时间活动已过期,及将表下关联记录标记为已删除状态 */ #定义变量 DECLARE done INT;#游标标记 DECLARE timestampTmp INT;#当前时间

1.查询是否开启事件调度 SHOW VARIABLES LIKE 'event_scheduler'; 2.开启事件调度 临时: SET GLOBAL event_scheduler = 1; 永久: vim /etc/my.cnf event_scheduler=ON [mysqld]event_scheduler=ON //这一行加入mysqld标签下 3.创建p_del_count存储过程. 接收传入参数30并执行删除数据操作,删除大于30天的数据. drop procedure if e

仅个人实践中所遇到的问题,若有不对的,欢迎交流! 一.场景描述 kafka集群中有几台突然挂了,后台日志显示设备空间满了,消息无法写入__consumer_offsets topic的分区中了.查看kafka数据目录下各个文件的大小,发现__consumer_offsets topic分区中有一个分区__consumer_offsets-5数据很多,多达1T,而其他分区只有4KB,相差巨大.且__consumer_offsets-5中保留了一年多的数据.什么情况?不应该自动清除吗? 二.问题分析

第一章 Kafka入门 1.1 Kafka流式数据平台 Kafka作为流式数据平台的特点: 消息系统:两种消息模型:队列和发布订阅. 队列模型:将处理工作平均分给消费组中的消费者成员. 发布订阅模型:将消息广播给多个消费组(consumer group) 队列模式(点对点模式):多个消费者读取消息队列,每条消息只发给一个消费者. 发布订阅模式:多个消费者订阅主题,主题的每条记录会发布给所有消费者. 存储系统:数据写入Kafka集群的服务器节点时,会复制多份来保证出现故障时仍然可用. 为了保证消息

一.Kafka应用 本文主要总结当Kafka集群流量达到 万亿级记录/天或者十万亿级记录/天  甚至更高后,我们需要具备哪些能力才能保障集群高可用.高可靠.高性能.高吞吐.安全的运行. 这里总结内容主要针对Kafka2.1.1版本,包括集群版本升级.数据迁移.流量限制.监控告警.负载均衡.集群扩/缩容.资源隔离.集群容灾.集群安全.性能优化.平台化.开源版本缺陷.社区动态等方面.本文主要是介绍核心脉络,不做过多细节讲解.下面我们先来看看Kafka作为数据中枢的一些核心应用场景. 下图展示了一些主

1.概述 对于Kafka的学习,在研究其系统模块时,有些核心组件是指的我们去了解.今天给大家来剖析一下Kafka的一些核心组件,让大家能够更好的理解Kafka的运作流程. 2.内容 Kafka系统设计的非常优秀,它的核心组件由生产者.消费者.主题.代理节点.以及Zookeeper组成.这些核心组件彼此独立.却又相互存在一定的联系来支持Kafka系统正常运作. 2.1 核心组件术语 2.1.1 生产者 生产者即消息数据产生的来源头,通常情况下,将原始数据(如数据库.审计日志.系统日志)写入到Kaf

需求是在缓存最近一周内用户所有消息列表,考虑用Redis 存储:为每个存储一个独立Sorted Set,value 为消息体,Score 为MessageId,用以实现增量消息同步. 问题就来了:Sorted Set 怎么清理? -设计内存容量只允许放一周内最新的,太久了缓存意义不大,太浪费. -再者存在百万级/s群发请求,不允许写入时触发清理. 理想模型:如果使用磁盘则使用MyIsam堆表,数据按照顺序写入,再建立以uid为索引,删除却是完全顺序的.内存里面的话Hash 表 + RB 树两个维

django支持匿名会话.它将数据存放在服务器端,并抽象cookies的发送和接收过程.cookie包含一个会话ID而不是数据本身(除非你使用的是基于后端的cookie). 3.3.8.1 启用会话 Django通过一个中间件来实现会话功能.要启用会话就要先启用该中间件. 编辑MIDDLEWARE设置,确保存在django.contrib.sessions.middleware.SessionMiddleware这一行.默认情况在新建的项目中它是存在的. 如果你不想使用会话功能,那么在setti

pt-archiver工具其实就是用来清理,归档数据用的 一.归档前的准备需要配置client字符集为utf-8,如果你用了utf-8的编码,防止归档数据为乱码[client]default-character-set=utf8 二.使用场景1.清理线上过期数据2.清理过期数据,并把数据归档到本地归档表中,或者远端归档服务器3.两张表之间的数据不完全相同,希望合并.此时加上–ignore或–replace选项,可以轻松实现4.导出线上数据,到线下数据作处理 三.参数 至少指定–dest, –fi

问题描述: 通过WebServer将监控数据入库到Hbase,在入库之前需要将指标与ip的列表更新到缓存中,以便前台页面随时选择查看.前两天上了一些新用户导致负载增加,逐渐发现某些用户的监控场景出现丢数据的情况,估计Tps要在1w以上.丢数据会导致前段曲线毛刺增加,体验极差,所以优化WebServer的接收程序需要立马执行. 解决过程: 查看GC,YGC频繁,但FGC基本很少发生,所以丢数据应该不是GC停顿导致的.既然是加了量导致,那么应该跟处理的性能有关.在看一遍代码,看出了问题.首先写入模块

TimeCacheMap是Twitter Storm里面一个类, Storm使用它来保存那些最近活跃的对象,并且可以自动删除那些已经过期的对象. 不过在storm0.8之后TimeCacheMap被弃用了,取而代之的是RotatingMap. RotatingMap与TimeCacheMap的区别如下: 1.前者去掉了自动清理的线程,让用户自己去控制清理过期的数据,控制清理数据用rotate()方法,就是去尾加新头. 2.前者get,put等方法都不加锁了,需要用户自己控制锁 总之就是提供了更大

本章以山寨版Twitter为例介绍HBase Schema设计模式.广义的HBase Schema设计不仅仅包含创建表时指定项,还应该综合考虑Column families/Column qualifier/Cell value/Versions/Rowkey等相关内容. 灵活的Schema&简单的存储视图 Schema设计和数据存储及訪问模式关系密切,先回想下HBase数据模型.有几个要点: 被索引的部分包含Row Key+Col Fam+Col Qual+Time Stamp 因为HBase

下面是博主的公众号,后续会发布和讨论一系列分布式消息队列相关的内容,欢迎关注. --------------------------------------------------------------------------------------------------------- Design 1. Motivation 我们设计Kafka用来作为统一的平台来处理大公司可能拥有的所有实时数据源.为了做到这点,我们必须思考大量的使用场景. 它必须有高吞吐去支持大数据流,例如实时日志聚合.

一.NoSQL简介 1.1 常见的优化思路和方向 1.1.1 MySQL主从读写分离 由于数据库的写入压力增加,Memcached只能缓解数据库的读取压力.读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制技术达到读写分离,以提高读写性能和读库的可扩展性.Mysql的master-slave模式成为这个时候的网站标配了. 1.1.2 分库分表 随着web2.0的继续高速发展,在Memcached的高速缓存,MySQL的主从复制,读写分离的基础之上,这时MySQL主库的写压力开始出

es的每个shard下的文件都可以看做一个完整的lucene文件,shard数据目录下的segment文件包含了索引的分片数量,副本数量.es shard可以恢复,就是因为每个shard都包含了一份数据,而且包含了索引的分片数量,副本数量等信息. 有这样一种情形,es集群中的某一个节点坏掉了,接着又删除了集群中的某个索引.坏掉的节点恢复后,重新加入集群,该节点上的shard还是完整的,最终的结果就是,删除的索引又被重新的恢复了.这并不是所期望的结果. es 5.x中该问题已经被解决,es会记录已

[.NET Core项目实战-统一认证平台]开篇及目录索引 上篇文章介绍了IdentityServer4的源码分析的内容,让我们知道了IdentityServer4的一些运行原理,这篇将介绍如何使用dapper来持久化Identityserver4,让我们对IdentityServer4理解更透彻,并优化下数据请求,减少不必要的开销. .netcore项目实战交流群(637326624),有兴趣的朋友可以在群里交流讨论. 一.数据如何实现持久化 在进行数据持久化之前,我们要了解Ids4是如何实现

因为因特网HTTP协议的特性,每一次来自于用户浏览器的请求(request)都是无状态的.独立的.通俗地说,就是无法保存用户状态,后台服务器根本就不知道当前请求和以前及以后请求是否来自同一用户.对于静态网站,这可能不是个问题,而对于动态网站,尤其是京东.天猫.银行等购物或金融网站,无法识别用户并保持用户状态是致命的,根本就无法提供服务.你可以尝试将浏览器的cookie功能关闭,你会发现将无法在京东登录和购物. 为了保持连接状态,网站会通过用户的浏览器在用户机器内被限定的硬盘位置中写入一些数据,也