R语言 ETL+统计+可视化

这篇文章。。。还是看文章吧

导入QQ群信息，进行ETL，将其规范化
计算哪些QQ发言较多
计算一天中哪些时段发言较多
计算统计内所有天的日发言量

setwd("C:/Users/liyi/Desktop")

a<-readLines("message2.txt",encoding = "UTF-8",skipNul=T)

head(a,20)

nchar(a)

# 除去空白行

newa<-a[nchar(a)>1]

length(a)

length(newa)

head(newa,10)

#删除前6行

newa1<-newa[7:length(newa)]

head(newa1,10)

#寻找发言人 “2016-04-23 21:26:02 (qq-xxxxxxxxx)”

temp<-grep("2016-.",newa1);temp

time_name_qq<-newa1[temp]

#防止有人更换昵称，将QQ号作为唯一的标识

str(time_name_qq)

head(time_name_qq)

[1] "2016-04-23 21:26:02 (4xxxxxxxx)"              "2016-04-23 21:26:22 xxxxx(xxxxxxx)"

[3] "2016-04-23 21:26:54 (4xxxxxxxxx)"              "2016-04-23 21:51:21 Fair(1xxxxxxxxx)"

[5] "2016-04-23 22:39:02 麦x(1xxxxxxxxx7)"         "2016-04-24 9:13:45 (xxxxxxxx)"

经观察，time_name_qq 的格式，QQ号 位于（）或者<> 内，截取QQ号，利用正则表达式

subqq<-function(x){

  start<-regexpr("\\(|<",x)

  end<-regexpr("\\)|>",x)

  substr(x,start+1,end-1)

}

qq<-subqq(time_name_qq)

计算每次留言的行数

liuyan<-c(1:length(temp))

for (i in 1:length(temp)){

  liuyan[i] <-(temp[i+1]-temp[i])

}

liuyan<-liuyan-1

liuyan[length(temp)]<-1

QQ号按留言行数重现

totalqq<-rep(qq,liuyan)

totalqq

tb_qq<-table(totalqq)

tb_qq<-as.data.frame.table(tb_qq)

按留言量将tb_qq结果可视化

plot_qq<-ggplot(tb_qq)+geom_bar(aes(x=reorder(totalqq,Freq),y=Freq,fill=totalqq),stat = "identity")+

  coord_flip()+

  theme(legend.position='none')

查看每人留言情况的分布

hist_qq<-ggplot(tb_qq,aes(x=Freq,fill=..x..))+geom_histogram(binwidth = 2)

box_qq<-ggplot(tb_qq,aes(x="totalqq",y=Freq))+geom_boxplot()+geom_jitter()

library(grid)

subvp<-viewport(width = 0.4,height = 0.5,x=0.7,y=0.75)

hist_qq

print(box_qq,vp=subvp)

可以看出留言量在0~20的区间中的人很多，留言最多的为347，有2人

查看一天各时段留言量分布情况

time<-substr(time_name_qq,1,19)

head(time)

total_time<-rep(time,liuyan)

total_hour<-rep(substr(time_name_qq,12,13),liuyan)

tb_hour<-table(total_hour)

tb_hour<-as.data.frame.table(tb_hour)

hour<-ggplot(tb_hour)+

  geom_bar(aes(x=total_hour,y=Freq,fill=total_hour),stat = "identity")

hour

查看留言量按天的分布

total_day<-rep(substr(time_name_qq,1,10),liuyan)

tb_day<-table(total_day)

tb_day<-as.data.frame.table(tb_day)

day<-ggplot(tb_day)+geom_bar(aes(x=total_day,y=Freq,fill=total_day),stat = "identity")+

  theme(axis.text.x=element_text(angle=90,hjust=1,colour="black"),legend.position='none')

day

day<-ggplot(tb_day,aes(x=total_day,y=Freq,group=1))+

  geom_point()+geom_path()+

  theme(axis.text.x=element_text(angle=90,hjust=1,colour="black"),legend.position='none')

day

巴特西

R语言 ETL+统计+可视化

最新文章

热门文章