'''

    爬取斗鱼网站的王者荣耀分类主播的观看人数和主播名字，并按热度排名

'''

from urllib import request

from io import BytesIO

import gzip

import re

class Spider():

    url = 'https://www.douyu.com/g_wzry'

    # 根节点的字符串匹配正则表达式，匹配除了根节点中间的所有字符,非贪婪模式，找到第一个</div>就结束

    root_pattern = '<div class="DyListCover-info">([\s\S]*?)</div>'

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'}

    # 观看人数匹配字符串

    number_pattern_str = '<span class="DyListCover-hot is-template">([\s\S]*?)</span>'

    # 观看人数的字符串，删除前面的icon部分

    number_pattern = '<svg><use xlink:href="#icon-hot_8a57f0b"></use></svg>'

    name_pattern_str = '<h2 class="DyListCover-user is-template">([\s\S]*?)</h2>'

    name_pattern = '<svg><use xlink:href="#icon-user_c95acf8"></use></svg>'

    # 抓取自定网页内容并解码

    def __fetch_content(self):

        # 发送一个http的请求，获取返回的html代码

        req = request.Request(Spider.url, headers=Spider.headers)

        htmls = request.urlopen(req).read()

        # 解码

        buff = BytesIO(htmls)

        f = gzip.GzipFile(fileobj=buff)

        htmls = f.read().decode('utf-8')

        return htmls

    # 分析抓取内容，选取标签时尽量选取闭合标签，标签成组的选择好对应

    def __analysis(self, htmls):

        # 获取到需要的全部数据

        root_html = re.findall(Spider.root_pattern, htmls)

        # 由于网页中一个块有两个相同的class类，其中第一个主播介绍

        # 第二个才是需要的数据，所以选取奇数下标元素

        root_info_html = root_html[1::2]

        # 最后获取到的数据列表

        anchors = []

        # 遍历列表，提取用户名和观看人数

        for html in root_info_html:

            # 提取到的是带icon的部分

            watch_num_str = re.findall(Spider.number_pattern_str, html)

            # 剔除icon部分

            watch_num = re.sub(Spider.number_pattern, '', watch_num_str[0])

            # 提取带icon的name的部分

            name_str = re.findall(Spider.name_pattern_str, html)

            name = re.sub(Spider.name_pattern, '', name_str[0])

            # 将名字和观看人数用字典存储，最后再用列表存储每个主播的数据

            anchor = {'name': name, 'number': watch_num}

            anchors.append(anchor)

        return anchors

    # 精炼函数

    # def __refine(self, anchors):

    #    lam = lambda anchor: {'name': anchor['name'][0], 'number': anchor['number'][0]}

    #    return map(lam, anchors)

    # 排序

    def __sort(self, anchors):

        anchors = sorted(anchors, key=self.__sort_key, reverse=True)

        return anchors

    # 排序规则

    def __sort_key(self, anchor):

        # 提取数字并计算

        r = re.findall('\d*', anchor['number'])

        number = float(r[0])

        if '万' in anchor['number']:

            number *= 10000

        return number

    # 显示数据

    def __show(self, anchors):

        # for anchor in anchors:

        #    print(anchor['name'], ':', anchor['number'])

        for rank in range(0, len(anchors)):

            print("Rank ", rank+1, ": ", anchors[rank]['name'], "    ", anchors[rank]['number'])

    # 入口方法

    def go(self):

        htmls = self.__fetch_content()

        anchors = self.__analysis(htmls)

        anchors = self.__sort(anchors)

        self.__show(anchors)

spider = Spider()

spider.go()