本次脚本系统版本 MySQL日常运行产生的慢查询日志收集并且发送邮件 vim mysql-slow-log.sh # 这是一个收集慢查询的脚本,每天收集MySQL慢查询日志并且发送邮件#!/bin/bash DATA=`date -d "1 day ago" +"%Y-%m-%d"`mysql -uroot -p密码 -hMySQL主机ip -P3306 -e "select * from mysql.slow_log where start_time &

1 RDD编程实战案例一 数据样例 字段说明: 其中cid中1代表手机,2代表家具,3代表服装 1.1 计算订单分类成交金额 需求:在给定的订单数据,根据订单的分类ID进行聚合,然后管理订单分类名称,统计出某一天商品各个分类的成交金额,并保存至Mysql中 (1)法一,将json数据解析出来,直接使用 object IncomeKpi { private val logger: Logger = LoggerFactory.getLogger(IncomeKpi.getClass) def ma

古怪的需求 在实习的公司碰到一个古怪的需求:在一台服务器上写日志文件,每当日志文件写到一定大小时,比如是1G,会将这个日志文件改名成另一个名字,并新建一个与原文件名相同的日志文件,再往这个新建的日志文件里写数据:要求写一个程序能实时地读取日志文件中的内容,并且不能影响写操作与重命名操作. RandomAccessFile类中seek方法可以从指定位置读取文件,可以用来实现文件实时读取.JDK文档对RandomAccessFile的介绍 Instances of this class suppor

将主机IDS OSSEC日志文件存入MYSQL的方法 http://www.freebuf.com/articles/system/6139.html http://ossec-docs.readthedocs.org/en/latest/manual/output/syslog-output.html https://github.com/magenx/Logstash http://drops.wooyun.org/tips/5300 ----------------------------

利用日志文件恢复MYSQL数据库 650) this.width=650;" onclick='window.open("http://blog.51cto.com/viewpic.php?refimg=" + this.src)' alt="" src="http://img1.51cto.com/attachment/201003/201003111268312810984.jpg" border="0" /&g

如果我们网站更新不是很频繁,我们可以定期手动进行备份网站文件和MYSQL数据库导出.如果我们网站数据更新频繁,且数据尤为重要,建议要采用定期自动 备份,至少需要多备份数据,无论我们选择何种优秀的VPS.服务器,都要谨防服务器或者意外的问题导致数据丢失的问题. 在这篇文章中,搬瓦工中文网准备将有一台搭建LNMP一键环境使用定期备份数据库和网站文件打包,直接上传到备用FTP空间中.比如可以找一些虚拟主机空间,硬盘存储也是比较大的,直接可以作为备用数据使用. 第一.备份前的准备 1.准备一台FTP主机

linux是一个很能自动产生文件的系统,日志.邮件.备份等.虽然现在硬盘廉价,我们可以有很多硬盘空间供这些文件浪费,让系统定时清理一些不需要的文件很有一种爽快的事情.不用你去每天惦记着是否需要清理日志,不用每天收到硬盘空间不足的报警短信,想好好休息的话,让我们把这个事情交给机器定时去执行吧. 1.删除文件命令: find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf {} \; 实例命令: find /opt/soft/log/ -mtime +30

配置hadoop环境 配置flume环境 配置flume文件 D:\Soft\apache-flume-1.8.0-bin\conf 将 flume-conf.properties.template 重新命名为  hdfs.properties # 组装 agenta1.sources = s1a1.channels = c1a1.sinks = k1 # 配置source:从目录中读取文件a1.sources.s1.type = spooldira1.sources.s1.channels =

1.从 http://www.almhuette-raith.at/apache-log/access.log 下载 1万条日志记录,保存为一个文件,读取文件并解析日志,从日志中提取ip, time_local, http_method, url, http_status, body_bytes_sent , http_referer, ua字段,以制表符分割.在mysql中创建表,将刚才解析后的结果存入mysql表中. 2.在mysql中,使用sql查询出现次数最多的ip,以及该ip的访问次数

#!/bin/bash #**************************************************************************** #***将/usr/local/data/目录下每天的日志,导入数据库 #***导入某一天数据: ./load2mysql.sh 20140101 #***导入某一段时间数据: ./load2mysql.sh 20140101 20140110 #***不传参数默认导入昨天的数据: ./load2mysql.sh #*

package com.gosun.spark1; import java.util.ArrayList;import java.util.List;import java.util.Properties; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spa

maven项目pom配置: <dependency> <groupId>net.sourceforge.javacsv</groupId> <artifactId>javacsv</artifactId> <version>2.0</version> </dependency> //机场信息 AirportInfo air = null; //生成CsvReader对象,以,为分隔符,GBK编码方式 CsvRe

from collections import deque def search(lines, pattern, history=5): previous_lines = deque(maxlen=history) for line in lines: if pattern in line: yield line,previous_lines previous_lines.append(line) if __name__ == '__main__': with open('log.txt','r

想查看mysql的binlog文件,但是裸的binlog文件是无法直视的,mysqlbinlog这个工具是用来查看binlog文件内容的(使用方式man mysqlbinlog查看),但是使用mysqlbinlog将binlog文件转换成人类可读的内容时却报错: mysqlbinlog: unknown variable 'default-character-set=utf8' 原因是mysqlbinlog这个工具无法识别binlog中的配置中的default-character-set=utf

mysql的日志文件 日志文件大致分为  error log, binary log, query log, slow query log, innodb redo log ;如图: 1.error log the error log file contains information indicating when mysqld was started and stopped also any critical errors that occur while the server is run

查看mysql日志方法: mysql默认不允许我们查看日志.需要更改一些设置 1 vi 更改配置文件 允许用户查看日志文件 sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf 把68 69行前面的#删除 显示行号方法:shift : nu 跳转行方法: 68 shfit+g2 重启mysql服务 终端运行: sudo service mysql restart 3 进入 cd /var/log/mysql/ 能够查看里面有mysql的日志文件vi mysql.l

思路: 在docker搭建elasticsearch与kibana来展示日志,在微服务部署的机子上部署logstash来收集日志传到elasticsearch中,通过kibana来展示,logstash使用读取本地文件的方式来获取日志内容 1.在192.168.1.18机子中使用 docker-compose 在docker中部署 elasticsearch与kibana docker-compose.yml脚本如下: version: '3' services: elasticsearch:

在MySQL数据库和InnoDB存储引擎中,有很多种文件,如:参数文件.日志文件.socket文件.pid文件.MySQL表结构文件.存储引擎文件. 本节重点关注日志文件,MySQL的复制.事务等重要功能都和日志文件相关.日志文件主要包括错误日志文件.二进制日志文件.慢查询日志文件.查询日志文件.重做日志文件等.其中重做日志文件是InnoDB引擎文件. 1.日志文件介绍 1.1.错误日志(error log) 错误日志文件对MySQL的启动.运行.关闭过程进行了记录,是定位MySQL问题的第一把

1.首先对linux操作系统的crontab命令进行熟悉和了解: .crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进程,crond进程每分钟会定期检查是否有要执行的任务,如果有要执行的任务,则自动执行该任务. .Linux下的任务调度分为两类,系统任务调度和用户任务调度. a.系统任务调度:系统周期性所要执行的工作,比如写缓存数据到硬盘.日志清理等.在/etc

Zookeeper(四))持久化日志文件 持久化用途 存储两种文件 snapshot:内存快照 log:事务日志,类似MySQL的binlog,存储数据节点的操作日志 问题 序列化的本质其实就是将原数据重新写入 roll中的BufferedOutputStream.flush和commit中的FileChannel.force()都是强制刷新:有什么区别 基本术语 FileTxnSnapLog,封装了TxnLog和SnapShot. 是操作数据文件和快照文件的对外API TxnLog,接口类型,

鉴于在调试logback和log4j的文件切割一直无法成功,随性用shell写个脚本用来切割tomcat下的日志文件(大家如果有在logback或log4j使用文件切割成功的话,可以留下使用方式,先谢谢了) 1:废话少说,直接贴上脚本: #!/bin/sh log_dir=/var/log/tomcat monitor_file=$1 #tomcat目录下的catalina.out文件的绝对路径 file_size=`du -m $monitor_file | awk '{print $1}'`