好久没写博客了..最近忙着工作以及新工作的事.. 看了下以前写的简单接口自动化,拿出来总结下,也算记录下学习成果 先来贴一下最后的结果,结果是写在原来的excel中 执行完毕后,会将结果写入到“状态”列: 执行通过的话,如果返回的json有message写入“response”列,如果执行失败,则会将返回的json也写入其中 前期准备: 在excel中依次填上接口.请求类型.需要传的数据.期望返回的状态码以及该接口的说明 代码如下,写的很简陋,甚至都没定义方法什么的,姑且称之为V0.1   后面

使用Python链接数据库查询数据,并将查询结果写入到Excel中,实现方法上主要有两步,第一,查数据,第二,写Excel. 一.导入需要的包 import time import xlwt from commontool import dbtool import os 二.查数据,并返回查询结果 查询数据传入指定日期,使用指定日期在数据库中查询该日期区间的交易.因为传入的日期为字符串,第一步需要将传入的字符串转换成时间数组,第二步再将传入的日期转换成自己想要的时间格式. class write

今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 知识点回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 引入 有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三“人人网”个人主页数据)时,如果使用之前requests模块常规操作时,往往达不到我们想要的目的,例如: #!/usr/bin/env python # -*- coding:utf-8 -*- import requests if

一.python并发编程之多线程 1.threading模块 multiprocess模块的完全模仿了threading模块的接口,二者在使用层面,有很大的相似性,因而不再详细介绍 1.1 开启线程的两种方式(同Process) 方式一 from threading import Thread import time def sayhi(name): time.sleep(2) print('%s say hello' %name) if __name__ == '__main__': t=Th

最近阅读<Python源码剖析>对进程线程的封装解释: GIL,Global Interpreter Lock,对于python的多线程机制非常重要,其如何实现的?代码中实现如下: 指向一个void*,C语言中的空指针类型可以指向任意类型.Python建立多线程环境的动作只会执行一次. PyEval_InitThreads-->PyThread_allocate_lock创建GIL之后,当前线程开始遵守python的多线程机制,即任何调用Python C API之前需要先获得GIL. 也

1.openpyxl包的导入 Dos命令行输入 pip install openpyxl==2.3.3 这里注意一下openpyxl包的版本问题 版本装的太高有很多api不支持了,所以笔者这里用的是2.3.3 验证是否安装成功:dos 命令行 导入 import openpyxl 2.一个简单的在excel中写入数据的操作 #未从文件系统生成真的excel文件,仅仅是实例化了一个Workbook实例 wb = Workbook()#workbook类似一个excel文件 # wb.active获

引入 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用. 警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症.冗余代码症.重新发明轮子症.啃文档症.抑郁.头疼.甚至死亡. 今日概要 基于requests的get请求 基于requests模块的post请求 基于requests模块ajax的get请求 基于requests模块ajax的post请求 综合项目练习:爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据 知识点回顾

session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 引入 有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三“人人网”个人主页数据)时,如果使用之前requests模块常规操作时,往往达不到我们想要的目的,例如: #!/usr/bin/env python # -*- coding:utf-8 -*- import requests if __name__ ==

引入 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用. 警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症.冗余代码症.重新发明轮子症.啃文档症.抑郁.头疼.甚至死亡. 今日概要 基于requests的get请求 基于requests模块的post请求 基于requests模块ajax的get请求 基于requests模块ajax的post请求 综合项目练习:爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据 知识点回顾

今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 知识点回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 引入 有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三“人人网”个人主页数据)时,如果使用之前requests模块常规操作时,往往达不到我们想要的目的,例如: #!/usr/bin/env python # -*- coding:utf-8 -*- import requests if

搭建了一个本地wordpress,写一个基于多线程异步I/O的暴力破解 1 测试 提交错误的表单数据时,查看请求参数 登录时发送的cookie 2 登录分析 经过多次测试,发现无论是输入正确的密码还是错误的密码,这些登录需要提交的参数是不会改变的.并且只要登录成功,服务器一定会返回包含sessionid的cookie.整理后的发送参数如下: 参数 log:用户名 pwd:密码 wp-submit:Log In(定值) redirect_to:http://localhost/wordpress/

import time,threading print("=======串行方式.并行两种方式调用run()函数=======")def run(): print('哈哈哈') #串行for i in range(5): run() #并行for i in range(5): t = threading.Thread(target=run) #实例化了一个线程 t.start() print("======串行.并行方式统计网页下载时间=======") impor

一.线程和进程 进程是拥有独立内存,能够独立运行的最小单位,也是程序执行的最小单位,线程是程序运行过程中,一个单一的顺序控制流程,是程序执行流的最小单位,一个进程至少包含一个线程,多线程共享进程的内存空间和上下文环境,线程上下文切换比进程上下文切换要快得多 二.python与多线程 python中多线程涉及模块-----threading模块 1. 多线程 import threading,time,requests def downHtml(url,name):#下载网页 content=re

python excel单元格及样式: #!/usr/bin/env python # -*- coding: utf-8 -*-” #只对当前文件的中文编码有效 # Filename : Write_excel_Format.py import os import time import xlwt #检测当前目录下是否有TestData2.xls文件,如果有则清除以前保存文件 filename = 'TestData2.xls' if os.path.exists(filename): os.

1. Cookie 介绍 HTTP 协议是无状态的.因此,若不借助其他手段,远程的服务器就无法知道以前和客户端做了哪些通信.Cookie 就是「其他手段」之一. Cookie 一个典型的应用场景,就是用于记录用户在网站上的登录状态. 用户登录成功后,服务器下发一个(通常是加密了的)Cookie 文件. 客户端(通常是网页浏览器)将收到的 Cookie 文件保存起来. 下次客户端与服务器连接时,将 Cookie 文件发送给服务器,由服务器校验其含义,恢复登录状态(从而避免再次登录). 2. req

今天接到一个需求:要对一个物理分表的逻辑表进行查询统计.而数据库用的是公司自己研发的产品,考虑的到公司产品的特点以及业务的需求,该逻辑表是按年月进行分表的,而非分区.我们来看一下,在按时间段进行查询统计的时候,会有哪些问题: 需要对多个表查询,且表个数不确定 时间跨度越大,查询等等表个数越多,对应查询时间也会越长 如何解决?一起来看一下 分表与分区 目的 既然谈到数据的分表与分区,那我们来简单了解一下.先说一下分表与分区的目的.我们日常开发中都会经常遇到百万或千万级的数据大表,这些表数据量大,数

进程:程序的一次执行(程序载入内存,系统分配资源运行).每个进程有自己的内存空间,数据栈等,进程之间可以进行通讯,但是不能共享信息. 线程:所有的线程运行在同一个进程中,共享相同的运行环境.每个独立的线程有一个程序入口,顺序执行序列和程序的出口. 线程的运行可以被强占,中断或者暂时被挂起(睡眠),让其他的线程运行.一个进程中的各个线程共享同一片数据空间. 多线程 import threading def thread_job(): print "this is added thread,numb

打算用python做一个写mtk camera driver的自动化工具. 模板选用标准库里面string -> Template 即可 但要重定义替换字符,稍后说明 配置文件纠结几天:cfg,yaml, python,csv. 但考虑到这些配置文件都是给程序员用的,纯文本的话有些vendor不明白,解释太麻烦了. 最后选用excel,里面可以慢慢写各个配置的含义,可以加图.表.文字等注释,比较好用. 常用的python excel lib有xlrd OPENPYXL.    兼容性 速度 功能

如何在C#中实现对Excel的条件查询呢? 在使用Sql条件语句对Excel进行查询时,遇到"至少一个参数没有被指定值"的问题,如何解决? 使用OleDbConnection对象创建一个到Excel的连接. 1.首先,了解一下创建连接时,字符串中的对应参数的含义: 命名空间:System.Data.OleDb     程序集:System.Data(在 system.data.dll 中)     strConn = "Provider=Microsoft.Jet.OLEDB

,新建C#控制台应用程序(Excel创建图表) using System; using System.Collections.Generic; using System.Linq; using System.Text; //解决方案中 添加引用 Execl(COM组件) using MSExcel = Microsoft.Office.Interop.Excel; using System.IO; using System.Reflection; namespace ExeclCharts {

本文将介绍使用Python编写多线程HTTP下载器,并生成.exe可执行文件. 环境:windows/Linux + Python2.7.x 单线程 在介绍多线程之前首先介绍单线程.编写单线程的思路为: 解析url: 连接web服务器: 构造http请求包: 下载文件. 接下来通过代码进行说明. 解析url 通过用户输入url进行解析.如果解析的路径为空,则赋值为'/':如果端口号为空,则赋值为"80":下载文件的文件名可根据用户的意愿进行更改(输入'y'表示更改,输入其它表示不需要更