原文地址:http://xuqq999.blog.51cto.com/3357083/774714 apache日志分析可以获得很多有用的信息,现在来试试最基本的,获取最多访问的前10个IP地址及访问次数. 既然是统计,那么awk是必不可少的,好用而高效. 命令如下: awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i], i);}' 日志文件 | sort -n | tail 首先用awk统计出来一个列表,然后用sor

介绍了Python统计日志中每个IP出现次数的方法,实例分析了Python基于正则表达式解析日志文件的相关技巧,需要的朋友可以参考下 本脚本可用于多种日志类型 #-*- coding:utf-8 -*- import re,time def mail_log(file_path): global count log=open(file_path,'r') C=r'\.'.join([r'\d{1,3}']*4) find=re.compile(C) count={} for i in log:

由于我需要用到java正则表达式提取地址中的ip和端口号,所以我就写了一个demo,测试一下,下面是demo public class Test0810_1 { public static void main(String[] args) { //通过控制板输入想要输入的地址,然后测试是否符合规则 Scanner a = new Scanner(System.in); String b = a.next(); //校验地址中是否存在 "ip:端口号"  (例如rtsp://admin:

package com.demo.conf; import ch.qos.logback.classic.pattern.ClassicConverter; import ch.qos.logback.classic.spi.ILoggingEvent; import java.net.InetAddress; import java.net.UnknownHostException; /** * 配置日志中显示IP */ public class IPLogConfig extends Cla

项目上线后经常出现需要统计用户数据.接口请求等.完美的情况下,在项目开始前就设计好哪些request.中间过程需要落地到db.或以一定格式存入专门的log中,但也常需要同学们临时去业务日志中grep 大致分为三步:找到包含数据的行.提取出行中需要的数据.输出到文件并提取到本地 实践中用到的一种方式: }' > machine1_userId_2017-09-04.log 用到的命令: zcat:就是查看压缩文件的内容,如果日志未压缩,直接cat也行 grep:找到包含数据的行 awk:用法为 a

有时候需要分析出ORACLE日志监听中的IP信息,分享一个组合命令,Linux的shell下运行正常. grep "HOST=.*establish.*\* 0" listener.log | awk -F'*' '{match($3,/[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/); ip = substr($3,RSTART,RLENGTH);cnt[ip]+=1;last[ip]=$1;}END {for (i in cnt) printf "%-16

logresolve是一个解析Apache访问日志中IP地址的后处理程序. 为了使对名称服务器的影响降到最低,logresolve拥有极为自主的内部散列表缓存, 使每个IP值仅仅在第一次从日志文件中读出时才被解析一次. 此程序从标准输入设备上获得需要解析的Apache日志文件, 其中,IP地址必须在每行的开始处,行中其余信息必须以空格分隔. 概要 logresolve [ -s filename ] [ -c ] < access_log > access_log.new 选项 -s file

将日志中的json请求提取,并且发送到另外一个机器上: for i in ` cat impression.log.2016-04-08-10 |awk -F"\t" ' {print $6}' ` ; do curl "http://localhost:9888$i" ; done 使用cat 文件,read line 的形式实现 遍历行循环发送: #!/bin/bash cat data.txt | while read line do # echo $line

#!/usr/bin/env python #coding:utf-8 def open_file(file_name): res={} with open(file_name) as f: for line in f: tmp=line.split(' ') # print tmp ip,url=tmp[0],tmp[6] # print ip,url 以元组的形式存到列表中 res[(ip,url)]=res.get((ip,url),0)+1 return sorted(res.items

在项目实施过程中,我们经常会查看日志,更是经常会根据某些特地字符串去查找日志内容. 下面就是日志查找命令: 1.查询字符串命令: cat fileName|grep '要查找的字符串' 实例:cat catalina.out|grep '2018041417434200258001' 2.根据某个字符串,查询该字符串前后文本信息命令:grep-A|B n"key"file 其中:    A:表示在字符串之后 after  context    B:表示在字符串之前 before con

grep -r 'GET /weixin/weixin_izp/index.html' ./chunyun.access.log > ~/access.log cat access.log |awk '{print $1}'|cut -d, -f3|sort|uniq -c > mycount.log         1.要提取访问量最大的IP,需要先从日志中把IP段提取出来.    $ cat aa.txt |awk -F " " '{print $1}'  127.0.

linux在日志中查找关键字.前几行.结尾几行,Linux的find用法示例 1.linux在日志中查找关键字.前几行.结尾几行 1.1查看日志 前 n行: 1.2查看日志 尾 n行: 1.3根据 关键词 查看日志 并返回关键词所在行: 1.3.1方法一:cat 路径/文件名 | grep 关键词 1.3.2方法二:grep -i 关键词 路径/文件名 2.Linux的find-基本用法 2.1列出当前目录和子目录下的所有文件 2.2查找特殊的目录或路径 2.3忽略大小写 2.4限制目录查找的深

作为一个linux的学徒,分享一下自己解决这个小问题的心得,在处理这个问题时使用了一个小技巧感觉很适用,个人发觉linux的终端真滴是非常强大,下面就详细地介绍这个问题以及解决办法吧 问题描述:由于要分析登录Ip所以有很多放有不同Ip的日志文件,首先要将所有log文件合并成一个log文件,并将每一个Ip最后一位修改为0,如,原IP为127.0.0.1,现Ip为127.0.0.0 解决方法:使用linux终端命令 1.先合并多个日志文件为一个日志文件:   cat test1.log test2.

使用python找出nginx访问日志中访问次数最多的10个ip排序生成网页 方法1:linux下使用awk命令 # cat access1.log | awk '{print $1" "$7" "$9}'|sort -n|uniq -c |sort -n -r|head -10 方法2:通过python处理日志 #encoding=utf-8 # 找到日志中的top 10,日志格式如下 #txt = '''100.116.167.9 - - [22/Oct/201

一.需求:每分钟检查一次日志文件,如果这一分钟内同一个ip请求次数超过200次,加入黑名单 1.日志文件中,每一行的格式为:XXX.XXX.XXX.XXX - - [04/Jun/2017:05:25:04 +0800] "GET... 2.第一步:取出每一行的ip 3.第二步:统计出现次数超过200的ip 4.第三步:每一分钟重新读取一次日志文件,文件中之前已经读取过的内容无需重复检查 二.实现代码 import time pin = 0 while True: with open('acce

nginx日志中访问最多的100个ip及访问次数 awk '{print $1}' /opt/software/nginx/logs/access.log| sort | uniq -c | sort -n -k 1 -r | head -n 100

获得Unix/Linux系统中的IP.MAC地址等信息 中高级  |  2010-07-13 16:03  |  分类:①C语言. Unix/Linux. 网络编程 ②手册  |  4,471 次阅读 作者:diaoyf  |  文章来源:http://programmerdigest.cn 实际环境和特殊需求往往会将简单问题复杂化,比如计算机IP地址,对于一个连接中socket,可以直接获得本端和对端的IP.端口信息.但在一些特殊场合我们可能需要更多的信息,比如系统中有几块网卡,他们的Mac地

题记:本系列文章的目的是抛开书本从Linux内核源代码的角度详细分析TCP/IP协议栈内核相关技术 轻松搞定TCP/IP协议栈,原创文章欢迎交流, byhankswang@gmail.com linux内核协议栈中对于socket相关API的实现 首先对于内核中断向量表不是很熟悉的请先参考一下博文:<TCP/IP协议栈源码图解分析系列6:linux 系统调用中断向量表> URL:http://blog.csdn.net/byhankswang/article/details/9284023 首

1  背景 接口用例已经在项目中的yml文件中编写,但是yml文件不能做为交付文档用,本文对工作中从接口输出日志中提取用例信息,并导入到excel文件中做了总些 2  工具 idea,notepad++,excel 3  提取用例 总体思路是代码中将要提取的数据打印到日志中,对日志信息进行处理,然后以文本导入向导的方式导入到excel中 3.1 日志输出 为了便于从日志中提取用例所需要的信息(用例名称,入参,出参),所以代码中要将这几个全部打印到日志中,并加入部分分隔符方便后续处理,如: Mer

近期开发一个图片处理的业务,涉及base64字符串解析的问题,为方便与友商间接口调试,日志中保存Base64.日,想想就肝儿疼,记录下来容易,取的时候难.为准确提取,配合两条命令即可. 1.获取日志所在行数 vim命令: vim **.log set nu grep关键字获取: grep -n "业务有关的关键字" **.log 2.取出指定行并转存 sed -n '开始行数,结束行数p' 待截取的文件 >> 保存的新文件 # 此处起止行号一致即可 F0221 18:07: