使用Xpath爬取酷狗TOP500的歌曲信息

　　使用xpath爬取酷狗TOP500的歌曲信息, 将排名、歌手名、歌曲名、歌曲时长，提取的结果以文件形式保存下来。参考网址：http://www.kugou.com/yy/rank/home/1-8888.html

　　大概步骤：谷歌F12打开开发者工具-->在Elements找到想爬取的信息-->右键Copy XPath（或是根据Network里Response的代码手动写出Xpath路径）-->对比这类信息的xpath，再定位并提取这类信息

　　注意：我们获取的Network里Response的代码，Elements的html代码是经过渲染的，仅供参考

import time

import json

import requests

from lxml import etree

def get_one_page(url):

    try:

        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}

        response = requests.get(url, headers=headers)

        response.encoding = response.apparent_encoding

        if response.status_code == 200:

            return response.text

        else:

            return None

        return None

    except RequestException:

        return None

def parse_one_page(text, id):

    html = etree.HTML(text)

    ranking = html.xpath('//*[@id="rankWrap"]/div[2]/ul/li/span[3]//text()')

    #top3的text()文本信息在strong标签下，是span的子孙节点，所以用//

    title = html.xpath('//*[@id="rankWrap"]/div[2]/ul/li/@title')

    length = html.xpath('//*[@id="rankWrap"]/div[2]/ul/li/span[4]/span/text()')

    if (id == 1):

        ranking = [i for i in ranking if i.strip() != '']

    #去除第一页提取到的空白信息

    for i in range(len(length)):

        yield {

            'ranking': ranking[i].strip(),

            'singer': title[i].split('-')[0].strip(),

            #以-分割，取第0个，并去除首尾空白

            'song': title[i].split('-')[1].strip(),

            'length': length[i].strip()

        }

def write_to_file(content):

    with open('kugou.txt', 'a', encoding='utf-8') as f:

        f.write(json.dumps(content, ensure_ascii=False) + '\n')

        #ensure_ascii=False不为acsii码，为中文

def main(id):

    url = "http://www.kugou.com/yy/rank/home/" + str(id) + "-8888.html"

    text = get_one_page(url)

    for item in parse_one_page(text, id):

        print(item)

        write_to_file(item)

if __name__ == '__main__':

    for id in range(1,24):

        main(id)

        time.sleep(1)

巴特西

使用Xpath爬取酷狗TOP500的歌曲信息

最新文章

热门文章