需求是统计某个业务的访问个数日志服务器上的目录结构是如下,搜索最近7天的指定关键字数据,并排重统计个数:

drwxr-xr-x  root root  Nov  : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
[root@mail tmp]# ll /data1/mailLog/app/kafka/--/
total
-rw-r--r-- root root Nov api-mail-sina-com-cn.log

for循环的一行表示形式for ((i=15;i<=21;i++));do xxx;done
while循环的一行表示 while true;do xxx;done
获取当前年月`date +%Y-%m`
grep -oP只显示正则匹配到的内容
uniq|sort -u是去重

 for ((i=;i<=;i++));do cat `date +%Y-%m-$i`/api-mail-sina-com-cn.log|grep -oP "appid=2026078627&uid=\d+"|uniq|sort -u >/tmp/`date +%Y-%m-$i`.android.log;done

把匹配到的日志去重放入了/tmp/2019-11-22.android.log

wc -l *.android.log
--.android.log
--.android.log
--.android.log
--.android.log
--.android.log
--.android.log
--.android.log

如果有不同的关键字,就多加几个grep,类似下面这个

for ((i=15;i<=21;i++));do cat `date +%Y-%m-$i`/api-mail-sina-com-cn.log|grep "2026078627"|grep "active_client"|grep -oP "device_id=[^&]+|uniq|sort -u >/tmp/`date +%Y-%m-$i`.android.device.log;done

最新文章

  1. 直播推流之blibli和拉流LFLiveKit
  2. zepto弹出层组件
  3. mysql on Mac OS
  4. cf251.2.C (构造题的技巧)
  5. sql经典语句大全
  6. Java中的AWT进阶
  7. jsp基础知识(基本的语法及原理)
  8. centos 6.5 安装 buildbot-slave 0.8.9
  9. SQL查询显示行号、随机查询、取指定行数据
  10. ES5严格模式
  11. C++指针和引用简介
  12. 小demo--横向+展开菜单,支持m站
  13. nginx(ubuntu)设置别名访问目录
  14. Codeforces 691A Fashion in Berland
  15. linux oracle 10g tar.gz :xhost: unable to open display
  16. 在webstorm中配置sass的自动编译,并且可以指定编译后的css的目录.
  17. mycat 从入门到放弃 (转)
  18. 初学Python——文件操作第二篇
  19. weui hd bd ft
  20. 1.1 VMware简介

热门文章

  1. Python 下JSON的两种编解码方式实例解析
  2. Zuul 详解,带视频
  3. 升鲜宝V2.0_杭州生鲜配送行业,升鲜宝供应链B端订货系统使用说明_升鲜宝生鲜供应链管理系统_15382353715_余东升
  4. 使用可移动表空间(TTS)的最佳做法 (Doc ID 1457876.1)
  5. 使用Apollo动态修改线上数据源
  6. centos7.6 jumpserver 堡垒机 重启启动顺序
  7. java之数据结构
  8. 剑指Offer-37.二叉树的深度(C++/Java)
  9. [译]Vulkan教程(31)加载模型
  10. SpringCloud的入门学习之概念理解、Zuul路由网关