Shell脚本统计店中店导出数据

有一个数据文件 yue.csv 是这样的

#head yue.csv

日期,商家名称,要求在线数,当天在线数,要求在线时长,在线时长达标数,

……
"2017-12-31","唐河馆","10","3","09:00-17:00","1",
……
"2017-12-15","唐河馆","10","3","09:00-17:00","1",
……

"2016-12-01","宛城馆","10","1","09:00-17:00","1",

"2016-12-01","安阳馆","10","2","09:00-17:00","2",

"2016-12-01","卧龙馆","10","1","09:00-17:00","1",

"2016-12-01","卧龙书城","10","1","09:00-17:00","1",

"2016-12-01","浪飞仙","10","1","09:00-17:00","1",

"2016-12-01","平舆超市","10","1","09:00-17:00","1",

"2016-12-01","商水馆","10","1","09:00-17:00","1",

有几百家加盟店，某个店每天登陆就会记录一行

数据大概有一千行

现在要计算每个加盟店的月登录率=店的月登陆天数/月天数

公式1如下：

# cat yue.csv |cut -d',' -f2|sort|uniq -c|sort -nr|awk '{for(i=1;i<NF;i++){$i/=31}}1'>1.txt

截取第二列店名排序去重统计数量按名次排序对第二列进行除法计算

结果：

[root@localhost ~]# cat yue.csv |cut -d',' -f2|sort|uniq -c|sort -nr|awk '{for(i=1;i<NF;i++){$i/=31}}1'|less

0.966667 "济源馆"

0.933333 "修武馆"

0.933333 "荥阳馆"

0.9 "鹿邑馆"

0.9 "兰考馆"

0.9 "方城县"

0.9 "邓州馆"

0.9 "泌阳馆"

0.866667 "郑州馆"

0.866667 "西峡馆"

0.866667 "淅川馆"

公式1适用于有多列需要修改的情况，思考下只计算第一列可以简单些

公式2如下：

# cat yue.csv |cut -d',' -f2|sort|uniq -c|sort -nr|awk '{$1=$1/30}1{print $0}'|less

脚本1：

继续优化有命令写成一个shell脚本 1.sh，执行时带有一个文件名的参数

#!/bin/bash

filename=$1

#cat $filename |cut -d',' -f2|sort|uniq -c|sort -nr|awk '{$1=$1/30}1{print $0}'>1.txt

cat $filename |cut -d',' -f2|sort|uniq -c|sort -nr|awk '{for(i=1;i<NF;i++){$i/=30}}1'>1.txt

执行时直接

#1.sh 文件名.csv

目录下就生成一个1.txt文件

脚本2：

上一个脚本只传递了一个文件名参数，应该再增加一个每月天数的参数

例如
#1.sh yue.csv 30

脚本如下

#!/bin/bash

filename=$1

#cat $filename |cut -d',' -f2|sort|uniq -c|sort -nr|awk '{$1=$1/30}1{print $0}'>1.txt

cat $filename |cut -d',' -f2|sort|uniq -c|sort -nr|awk -v nvar="$2" '{for(i=1;i<NF;i++){$i/=nvar}}1'>1.txt

！！！这里要注意的是在awk中使用shell的参数，
! ! ! 默认不能直接使用的，可以使用一下方法

shell 中变量为 TIME=60 参数为$1

1.awk -v 选项让awk 里使用shell变量、参数

awk -v time="$TIME" 'BEGIN{FS="|"} {if ($7>time) print $2 }'

或 awk -v time="$1" 'BEGIN{FS="|"} {if ($7>time) print $2 }'
这样要注意：在awk里，time不能加$符号。

2. " '$变量' "
awk 'BEGIN{FS="|"} {if ($7>"'$time'") print $2 }'

3. ' "$变量" '
awk 'BEGIN{FS="|"} {if ($7>"'$time'") print $2 }'

4.export 变量 使用ENVIRON["var"]形式
$var="this is a test";export $var

awk 'BEGIN{print ENVIRON["var"]}'

巴特西

Shell脚本统计店中店导出数据

最新文章

热门文章

巴特西

Shell脚本 统计店中店导出数据

最新文章

热门文章

Shell脚本统计店中店导出数据