Python 爬取热词并进行分类数据分析-[简单准备] （2020年寒假小目标05）

日期：2020.01.27

博客期：135

星期一

　　【本博客的代码如若要使用，请在下方评论区留言，之后再用（就是跟我说一声）】

　　所有相关跳转：

　　a.【简单准备】（本期博客）

　　b.【云图制作+数据导入】

　　c.【拓扑数据】

　　d.【数据修复】

　　e.【解释修复+热词引用】

　　 f.【JSP演示+页面跳转】

　　g.【热词分类+目录生成】

　　h.【热词关系图+报告生成】

　　i . 【App制作】

　　j . 【安全性改造】

　　今天问了一下老师，信息领域热词从哪里爬，老师说是IT方面的新闻，嗯~有点儿意思了！

　　我找到了好多IT网站，但是大多数广告又多，名词也不专一针对信息领域，所以啊我就暂且用例一个相对还好的例子：

　　数据来源网址：https://news.51cto.com/（最终不一定使用此网站的爬取数据）

　　网站的相关热词来源截图：

　　如图，“智能”、“技术”、“区块链”为爬取目标

　　进行爬取（因为每一次执行js都会加重爬取任务的负担），当你执行到第100次的时候，你现在要执行第101次的JS，它所消耗的时间大概是27s！所以，这种方法我就爬100次，得到5607条数据：

　　爬取代码：

 import parsel

 from urllib import request

 import codecs

 from selenium import webdriver

 import time

 # [ 对字符串的特殊处理方法-集合 ]

 class StrSpecialDealer:

     @staticmethod

     def getReaction(stri):

         strs = str(stri).replace(" ","")

         strs = strs[strs.find('>')+1:strs.rfind('<')]

         strs = strs.replace("\t","")

         strs = strs.replace("\r","")

         strs = strs.replace("\n","")

         return  strs

 class StringWriter:

     filePath = ""

     def __init__(self,str):

         self.filePath = str

         pass

     def makeFileNull(self):

         f = codecs.open(self.filePath, "w+", 'utf-8')

         f.write("")

         f.close()

     def write(self,stri):

         f = codecs.open(self.filePath, "a+", 'utf-8')

         f.write(stri + "\n")

         f.close()

 # [ 连续网页爬取的对象 ]

 class WebConnector:

     profile = ""

     sw = ""

     # ---[定义构造方法]

     def __init__(self):

         self.profile = webdriver.Firefox()

         self.profile.get('https://news.51cto.com/')

         self.sw = StringWriter("../testFile/info.txt")

         self.sw.makeFileNull()

     # ---[定义释放方法]

     def __close__(self):

         self.profile.quit()

     # 获取 url 的内部 HTML 代码

     def getHTMLText(self):

         a = self.profile.page_source

         return a

     # 获取页面内的基本链接

     def getFirstChanel(self):

         index_html = self.getHTMLText()

         index_sel = parsel.Selector(index_html)

         links = index_sel.css('.tag').extract()

         num = links.__len__()

         print("Len="+str(num))

         for i in range(0,num):

             tpl = StrSpecialDealer.getReaction(links[i])

             self.sw.write(tpl)

     def getMore(self):

         self.profile.find_element_by_css_selector(".listsmore").click()

         time.sleep(1)

 def main():

     wc = WebConnector()

     for i in range(0,100):

         print(i)

         wc.getMore()

     wc.getFirstChanel()

     wc.__close__()

 main()

Director.py

　　之后再使用MapReduce进行次数统计，就可以了（还可以配合维基百科和百度百科获取（爬取）相关热词的其他信息）

　　然后是词频统计（因为测试用，数据量不大，就写了简单的Python词频统计程序）：

 import codecs

 class StringWriter:

     filePath = ""

     def __init__(self,str):

         self.filePath = str

         pass

     def makeFileNull(self):

         f = codecs.open(self.filePath, "w+", 'utf-8')

         f.write("")

         f.close()

     def write(self,stri):

         f = codecs.open(self.filePath, "a+", 'utf-8')

         f.write(stri + "\n")

         f.close()

 class Multi:

     filePath = ""

     def __init__(self, filepath):

         self.filePath = filepath

         pass

     def read(self):

         fw = open(self.filePath, mode='r', encoding='utf-8')

         tmp = fw.readlines()

         return tmp

 class Bean :

     name = ""

     num = 0

     def __init__(self,name,num):

         self.name = name

         self.num = num

     def __addOne__(self):

         self.num = self.num + 1

     def __toString__(self):

         return self.name+"\t"+str(self.num)

     def __isName__(self,str):

         if str==self.name:

             return True

         else:

             return False

 class BeanGroup:

     data = []

     def __init__(self):

         self.data = []

     def __exist__(self, str):

         num = self.data.__len__()

         for i in range(0, num):

             if self.data[i].__isName__(str):

                 return True

         return False

     def __addItem__(self,str):

         # 存在

         if self.__exist__(str):

             num = self.data.__len__()

             for i in range(0, num):

                 if self.data[i].__isName__(str):

                     self.data[i].__addOne__()

         # 不存在

         else :

             self.data.append(Bean(str,1))

     def __len__(self):

         return self.data.__len__()

 def takenum(ele):

     return ele.num

 def main():

     sw = StringWriter("../testFile/output.txt")

     sw.makeFileNull()

     bg = BeanGroup()

     m = Multi("../testFile/info.txt")

     lines = m.read()

     num = lines.__len__()

     for i in range(0,num):

         strs = str(lines[i]).replace("\n","").replace("\r","")

         bg.__addItem__(strs)

     bg.data.sort(key=takenum,reverse=True)

     nums = bg.__len__()

     for i in range(0,nums):

         sw.write(str(bg.data[i].__toString__()))

 main()

Multi.py

　　统计结果如下：

　　突然发现哈，找到的结果里存在Github和GitHub这两个完全相同的词语，我给当成区分的了！导入数据库的时候就出来问题了，哈哈哈！

　　整治以后代码：

 import codecs

 class StringWriter:

     filePath = ""

     def __init__(self,str):

         self.filePath = str

         pass

     def makeFileNull(self):

         f = codecs.open(self.filePath, "w+", 'utf-8')

         f.write("")

         f.close()

     def write(self,stri):

         f = codecs.open(self.filePath, "a+", 'utf-8')

         f.write(stri + "\n")

         f.close()

 class Multi:

     filePath = ""

     def __init__(self, filepath):

         self.filePath = filepath

         pass

     def read(self):

         fw = open(self.filePath, mode='r', encoding='utf-8')

         tmp = fw.readlines()

         return tmp

 class Bean :

     name = ""

     num = 0

     def __init__(self,name,num):

         self.name = name

         self.num = num

     def __addOne__(self):

         self.num = self.num + 1

     def __toString__(self):

         return self.name+"\t"+str(self.num)

     def __toSql__(self):

         return "Insert into data VALUES ('" + self.name + "'," + str(self.num) + ");"

     def __isName__(self,str):

         if compare(str,self.name):

             return True

         else:

             return False

 class BeanGroup:

     data = []

     def __init__(self):

         self.data = []

     def __exist__(self, str):

         num = self.data.__len__()

         for i in range(0, num):

             if self.data[i].__isName__(str):

                 return True

         return False

     def __addItem__(self,str):

         # 存在

         if self.__exist__(str):

             num = self.data.__len__()

             for i in range(0, num):

                 if self.data[i].__isName__(str):

                     self.data[i].__addOne__()

         # 不存在

         else :

             self.data.append(Bean(str,1))

     def __len__(self):

         return self.data.__len__()

 def takenum(ele):

     return ele.num

 def compare(str,dud):

     if str == dud :

         return True

     else:

         if str.lower() == dud.lower() :

             return True

         else:

             return False

 def main():

     sw = StringWriter("../testFile/output.txt")

     sw.makeFileNull()

     bg = BeanGroup()

     m = Multi("../testFile/info.txt")

     lines = m.read()

     num = lines.__len__()

     for i in range(0,num):

         strs = str(lines[i]).replace("\n","").replace("\r","")

         bg.__addItem__(strs)

     bg.data.sort(key=takenum,reverse=True)

     nums = bg.__len__()

     for i in range(0,nums):

         sw.write(str(bg.data[i].__toString__()))

 main()

Multi.py

　　这就没问题了!

巴特西

Python 爬取热词并进行分类数据分析-[简单准备] （2020年寒假小目标05）

最新文章

热门文章

巴特西

Python 爬取 热词并进行分类数据分析-[简单准备] （2020年寒假小目标05）

最新文章

热门文章

Python 爬取热词并进行分类数据分析-[简单准备] （2020年寒假小目标05）