最近做了一个新项目,因为项目需要大量电影数据,猫眼电影又恰好有足够的数据,就上猫眼爬数据了. 1.先分析一下网页地址,发现电影都是被排好序号了,这就很简单了. 2.在分析页面,这次主要爬取黄色框中的内容.在浏览器中按F12检查元素,只要把Div获取出来就算完成了. 下面贴代码: 主函数 static void Main(string[] args) { int errorCount = ;//计算爬取失败的次数 int count = ;//结束范围 for (int i = ; i <= co
import requests import re import json import time def get_one_page(url): headers={'User-Agent':'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_4) AppleWebKit/537.36(KHTML,like Geck) Chrome/52.0.2743.116 Safari/537.36'} response=requests.get(url,headers=h