---恢复内容开始---

遇到的模块

NumPy：多维数组的有效操作。高效的数学函数。
Matplotlib：可视化：2D和（最近）3D图
SciPy：大型库实现各种数值算法，例如：
- 线性和非线性方程的解
- 优化
- 数值整合
Sympy：符号计算（解析的 Analytical）
Pandas：统计与数据分析（明天）

Numpy

ndarray类型

NumPy提供了一种新的数据类型：ndarray（n维数组）。

与元组和列表不同，数组只能存储相同类型的对象
这使得数组上的操作比列表快得多; 此外，阵列占用的内存少于列表。
数组为列表索引机制提供强大的扩展。

创建ndarray

np.array([2, 3, 6, 7])

np.array( [2,  3,  6,  7+ij])

创建均匀间隔的数组

import numpy as np

# arange:range(start, stop, step)的所有三个参数

# 即起始值，结束值，步长都是可以用的 另外还有一个dtype参数，数据类型

a=np.arange(5)

b=np.arange(10,100,20,dtype = float)

#linspace（start，stop，num）返回数字间隔均匀的样本，按区间[start，stop]计算：

c=np.linspace(0.,2.5,5)

多维数组矩阵

import numpy as np

a = np.array([[1, 2, 3] ,[4, 5, 6]])

print(a)

print(a.shape)#行，列数

print(a.ndim)#维度数

print(a.size)#元素个数

形状变化

import numpy as np

a = np .arange(0, 20, 1) #1维

b = a.reshape((4, 5))   #4行5列

c = a.reshape((20, 1))  #2维

d = a.reshape((-1, 4))  #-1：自动确定

e = a.shape =(4, 5) #改变a的形状

Size（N，），（N，1）和（1，N）不同之处

Size（N, ）表示数组是一维的。
Size（N，1）表示数组是维数为2, N列和1行。
Size（1，N）表示数组是维数为2, 1行和N列。

例子

import numpy as np

a = np.array([1,2,3,4,5])

b = a.copy ()

c1 =  np.dot(np.transpose(a), b)#矩阵乘法dot

print(c1)

c = np.array([[1,2,3],[4,5,6],[7,8,9]])

print(c)

tran = c.transpose()#转置矩阵transpose

print(tran)

ax  =  np.reshape(a, (5,1))

bx  =  np.reshape(b, (1,5))

c = np.dot(ax, bx)

print(c)

填充数组

import numpy as np

a = np.zeros(3)#零填充
b = np.zeros((2, 2), complex)#complex 复数
c = np.ones((2, 3))
d = np.random.rand(2, 4)#rand: 0和1之间均匀分布的随机数
e = np.random.randn(2, 4)#randn: 均值为0，标准差为1的标准（高斯）正态分布

副本和视图

采用一个NumPy数组的切片可以在原始数组中创建一个视图。两个数组都指向相同的内存。因此，当修改视图时，原始数组也被修改：
为避免修改原始数组，可以制作一个切片的副本

import numpy as np

a = np.arange(5)

print(a)

b = a[2:];b[0] = 100

print(b)

print(a)

c = a[2:].copy();

c[0]=99

print(c)

print(a)

矩阵乘法

　　运算符 * 表示元素乘法，而不是矩阵乘法：

　　使用dot（）函数进行矩阵乘法：

import numpy as np

A = np.array([[1, 2],[3, 4]])

print(A * A)

print(np.dot(A,A))

文件操作

savetxt()将表保存到文本文件。
其他可用的格式(参见API文档)。
save()将表保存为Numpy“.npy”格式的二进制文件
loadtxt（）将以文本文件存储的表读入数组。
默认情况下，loadtxt()假定列是用空格分隔的。您可以通过修改可选的参数进行更改。以散列（＃）开头的行将被忽略。
示例文本文件data.txt

　　　　# Year　　Min temp.　　Max temp.

　　　　1990　　　　-1.5　　　　　25.3

　　　　1991　　　　-3.2　　　　　21.2

import numpy as np

a = np.linspace(, , )

a.shape=(,)

np.savetxt('myfile.txt',a)

np.save('myfile',a)

table = np.loadtxt("data.txt")

符号计算（Symbolic computat）

　　以上只是数值计算，接下来涉及符号计算，python通过模块sysmpy来进行符号计算，类似于方程求解，积分等的显式求解。

声明一个符号变量　

import sympy as sy

#声明x，y为变量

x = sy.Symbol('x')

y = sy.Symbol('y')

a, b = sy.symbols('a b')

#创建一个新符号（不是函数

f = x**2 + y**2 -2*x*y + 5

print(f)

#自动简化

g = x**2 + 2 - 2*x + x**2 -1

print(g)

符号的使用1：求解方程

import sympy as sy

x  = sy.Symbol ('x')

y  = sy.Symbol('y')

# 给定[-1,1]  (give [-1, 1])

print(sy.solve (x**2 - 1))

# 无解 (no guarantee for solution)

print(sy.solve(x**3  +  0.5*x**2 - 1))

# 用x的表达式表示y     (exepress x in terms of y)

print (sy.solve(x**3  +  y**2))

# 错误：找不到算法 (error:  no  algorithm  can  be  found)

print(sy.solve(x**x + 2*x - 1))

符号的使用2：集成

import sympy as sy

x = sy.Symbol('x')

y = sy.Symbol( 'y')

a,b = sy.symbols ( 'a b')

# 单变量 single  variable

f = sy.sin(x) + sy.exp(x)

print(sy.integrate(f, (x,  a,  b)))

print(sy.integrate(f, (x,  1,  2)))

print(sy.integrate(f, (x,  1.0,2.0)))

# 多变量 multi variables

g = sy.exp(x) + x * sy.sin(y)

print(sy.integrate(g, (y,a,b)))

符号的使用3：分化

import sympy as sy

x =  sy.Symbol( 'x')

y =  sy.Symbol( 'y')

# 单变量 (single variable)

f = sy.cos(x) + x**x

print(sy . diff (f ,  x))

#  多变量  (multi variables)

g = sy.cos(y) * x + sy.log(y)

print(sy.diff (g,  y))

---恢复内容结束---

爬虫原理:

　　模拟浏览器 --> 往目标站点发送请求 --> 接收响应数据 --> 提取有用的数据 --> 保存到本地/数据库。

爬虫的全过程:
　　1、发送请求（请求库）
　　　　- requests模块
　　　　- selenium模块

　　2、获取响应数据（服务器返回）

　　3、解析并提取数据（解析库）
　　　　- re正则
　　　　- bs4（BeautifulSoup4）
　　　　- Xpath

　　4、保存数据（存储库）
　　　　-MongoDB

import requests

import re  # 正则模块

# uuid.uuid4()  可以根据时间戳生成一段世界上唯一的随机字符串

import uuid

# 爬虫三部曲

# 1、发送请求

def get_page(url):

    response = requests.get(url)

    return response

# 2、解析数据

# 解析主页获取视频详情页ID

def parse_index(text):

    res = re.findall('<a href="video_(.*?)"', text, re.S)

#re.findall('正则匹配规则'，'解析文本','正则模式')

    # print(res)

    detail_url_list = []

    for m_id in res:

        # 拼接详情页url

        detail_url = 'https://www.pearvideo.com/video_' + m_id

        # print(detail_url)

        detail_url_list.append(detail_url)

    # print(detail_url_list)

    return detail_url_list

# 解析详情页获取视频url

def parse_detail(text):

    ''''''

    '''

        (.*?)： 提取括号的内容

        .*?： 直接匹配

        <video webkit-playsinline="" playsinline="" x-webkit-airplay="" autoplay="autoplay" src="https://video.pearvideo.com/mp4/adshort/20190613/cont-1566073-14015522_adpkg-ad_hd.mp4" style="width: 100%; height: 100%;"></video>

    正则: <video.*?src="(.*?)"

    # 以上是分析过程，不需要写

    正则: srcUrl="(.*?)"

    '''

    movie_url = re.findall('srcUrl="(.*?)"', text, re.S)[0]

    return movie_url

# 3、保存数据

def save_movie(movie_url):

    response = requests.get(movie_url)

    # 把视频写到本地

    with open(f'{uuid.uuid4()}.mp4', 'wb') as f:

        f.write(response.content)

        f.flush()

if __name__ == '__main__':  # main + 回车键

    # 1、对主页发送请求

    index_res = get_page(url='https://www.pearvideo.com/')

    # 2、对主页进行解析、获取详情页id

    detail_url_list = parse_index(index_res.text)

    # print(detail_url_list)

    # 3、对每个详情页url发送请求

    for detail_url in detail_url_list:

        detail_res = get_page(url=detail_url)

        print(detail_res.text)

        # 4、解析详情页获取视频url

        movie_url = parse_detail(detail_res.text)

        print(movie_url)

        # 5、保存视频

        save_movie(movie_url)

采用多线程方

import requests

import re#正则模块

from concurrent.futures import ThreadPoolExecutor

#限制50个线程

pool=ThreadPoolExecutor(50)

def get_page(url):

    print(f"异步任务{url}")

    response=requests.get(url)

    return response

def parse_index(res):

    response=res.result()

    res = re.findall('<a href="video_(.*?)"',response.text,re.S)

    for m_id in res:

        detail_url='https://www.pearvideo.com/video_'+m_id

        pool.submit(get_page,detail_url).add_done_callback(parse_detail)

def parse_detail(res):

    response=res.result()

    movie_url=re.findall('srcUrl="(.*?)"',response.text,re.S)[0]

    movie_name=re.findall('<title>(.*?)<',response.text,re.S)[0]

    pool.submit(save_movie,movie_url,movie_name)

def save_movie(movie_url,movie_name):

    response=requests.get(movie_url)

    with open(f'{movie_name}.mp4','wb') as f:

        f.write(response.content)

        f.flush()

if __name__=='__main__':

    url='https://www.pearvideo.com/'

    pool.submit(get_page,url).add_done_callback(parse_index)

GET请求讲解

User-Agent
# 访问知乎发现
　　请求url:
　　　　https://www.zhihu.com/explore
　　请求方式:
　　　　GET
　　请求头:
　　　　user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36
　　　　cookies

import requests

# 请求头字典

# headers = {

#     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'

# }

# 在get请求内，添加user-agent

# response = requests.get(url='https://www.zhihu.com/explore', headers=headers)

# print(response.status_code)  # 200

# # print(response.text)

# with open('zhihu.html', 'w', encoding='utf-8') as f:

#     f.write(response.text)

'''

params请求参数

访问百度搜查安徽工程大学url

https://www.baidu.com/s?wd=安徽工程大学&pn=10第二页

https://www.baidu.com/s?wd=安徽工程大学&pn=20第三页

# '''

from urllib.parse import urlencode

# url = 'https://www.baidu.com/s?wd=%E8%94%A1%E5%BE%90%E5%9D%A4'

# url = 'https://www.baidu.com/s?' + urlencode({"wd": "蔡徐坤"})

url = 'https://www.baidu.com/s?'

headers = {

    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'

}

# print(url)

# 在get方法中添加params参数

# response = requests.get(url, headers=headers, params={"wd": "安徽工程大学"})

response = requests.get(url, headers=headers, params={"wd": "安徽工程大学", "pn": ""})

# print(response.text)

with open('gongcheng2.html', 'w', encoding='utf-8') as f:

    f.write(response.text)

携带登录cookies破解github登录验证

请求url:https://github.com/settings/emails

请求方式:
　　GET
请求头:
　　User-Agen
　　Cookie:

import requests

# 请求url

url = 'https://github.com/settings/emails'

# 请求头

headers = {

    'user-agent': '',

    # 在请求头中拼接cookies

    # 'Cookie': ''

}

# github_res = requests.get(url, headers=headers)

import requests

cookies = {

    'Cookie': ''

}

github_res = requests.get(url, headers=headers, cookies=cookies)

print('' in github_res.text)

爬取豆瓣电影

import requests

import re

url = 'https://movie.douban.com/top250'

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'

}

# 1、往豆瓣TOP250发送请求获取响应数据

response = requests.get(url, headers=headers)

# print(response.text)

# 2、通过正则解析提取数据

# 电影详情页url、图片链接、电影名称、电影评分、评价人数

movie_content_list = re.findall(

    # 正则规则

    '<div class="item">.*?href="(.*?)">.*?src="(.*?)".*?<span class="title">(.*?)</span>.*?<span class="rating_num".*?>(.*?)</span>.*?<span>(.*?)人评价',

    # 解析文本

    response.text,

    # 匹配模式

    re.S)

for movie_content in movie_content_list:

    # 解压赋值每一部电影

    detail_url, movie_jpg, name, point, num = movie_content

    data = f'电影名称:{name},   详情页url:{detail_url}, 图片url:{movie_jpg}, 评分: {point}, 评价人数: {num} \n'

    print(data)

    # 3、保存数据，把电影信息写入文件中

    with open('douban.txt', 'a', encoding='utf-8') as f:

        f.write(data)

爬取豆瓣TOP250

import requests

import re

url_1 = 'https://movie.douban.com/top250?start='

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'

}

for i in range(0,250,25):

    url=f'{url_1}{i}&filter='

    response = requests.get(url, headers=headers)

    movie_content_list = re.findall(

            '<div class="item">.*?href="(.*?)">.*?src="(.*?)".*?<span class="title">(.*?)</span>.*?导演:(.*?)<br>.*?\n(.*?)&nbsp;/&nbsp;(.*?)&nbsp;/&nbsp;(.*?)\n.*?<span class="rating_num".*?>(.*?)</span>.*?<span>(.*?)人评价.*?class="inq">(.*?)</span>',

            response.text,

            re.S)

    for movie_content in movie_content_list:

        detail_url, movie_jpg, name, director,year,country,kind, point, num,profile = movie_content

        director=director.replace('&nbsp;',' ')

        data = f'电影名称:{name},导演:{director},{year.strip()},{country},{kind},评分: {point}, 评价人数: {num},{profile},详情页url:{detail_url}, 图片url:{movie_jpg}\n'

        with open('douban.txt', 'a', encoding='utf-8') as f:

            f.write(data)

效果图

巴特西

Python Learning Day4