数据库学习笔记 (三) python操作数据库

python 操作MYSQL数据库主要有两种方式： 　　

　　使用原生模块：pymysql
　　ORM框架：SQLAchemy

一、pymysql

1.1下载安装模块

第一种：cmd下：执行命令下载安装：pip3 install pymysql

第二种：IDE下pycharm python环境路径下添加模块

1.2使用操作

#导入模块

import pymysql

#建立连接通道，建立连接填入（连接数据库的IP地址，端口号，用户名，密码，要操作的数据库，字符编码）

conn = pymysql.connect(

	host="",

	port="",

	user='',

	password='',

	database=""

	charset="",

	)  

# 创建游标，操作设置为字典类型，返回结果为字典格式！不写默认是元组格式！

cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)

#操作数据库的sql语句

sql=""

# 向数据库发送数据，在方法内部进行拼接！！！

#向数据库发送操作单条操作指令

# 格式化输入的值可以单个按顺序传入 或是写成列表 （注意 顺序和位置）

r = cursor.execute(sql,v1,v2……)

r = cursor.execute(sql,args)

#r 代表接收返回受影响的行数（数字）及执行这一条sql语句，数据库中有多少行受到了影响。

#sql 指上边写的sql语句

#args 指要给sql语句中传的参数

sql 语句可以不传值 及为空 []

sql 语句可以传一个值 及 [v1,]

sql 语句可以传多值 及 [v1,v2,v3……]

#向数据库发送操作多条数据指令 args=[(v1,s1),(v2,s2),(v3,s3)]

r = cursor.executemany(sql,[('egon','sb'),('laoyao','BS')])

#数据库有四种操作：增删改查！

# 执行查操作的时候就得接收从数据库返回的数据！

#执行增删改操作的时候，就需要像数据库提交数据！

#查操作：（接收的数据格式由创建的游标样式决定！）

#接收数据有三种方式：

res = cursor.fetchone()  #接收返回的第一行数据

ret = cursor.fetchmany(n) #接收返回的n行数据

req = cursor.fetchall() #接收返回的说有数据

#注：在fetch数据时按照顺序进行，可以使用cursor.scroll(num,mode)来移动游标位置，如：

cursor.scroll(1,mode='relative')  # 相对当前位置移动

cursor.scroll(2,mode='absolute') # 相对绝对位置移动

#增删改操作：

#写完发送操作语句之后，就需要把更改的数据提交，不然数据库无法完成新建或是修改操作

conn.commit() #提交

#注：此处有个获取新建数据自增ID的操作(只能拿到最后那一行的id数)

#执行增加语句，并提交之后，可以获取到

new_id=cursor.lastrowid

print(new_id)

#操作完成之后，就需要关闭连接

cursor.close() #关闭游标

conn.close()   #关闭连接

操作总结：
　　1、重中之重，一定要注意sql注入的问题！！！

#格式化写入sql语句，就会造成sql注入的情况！！！

import pymysql

user = input("username:")

pwd = input("password:")

conn = pymysql.connect(host="localhost",user='root',password='',database="db666")

cursor = conn.cursor()

sql = "select * from userinfo where username='%s' and password='%s'" %(user,pwd,)

# select * from userinfo where username='uu' or 1=1 -- ' and password='%s'

cursor.execute(sql)

result = cursor.fetchone()

cursor.close()

conn.close()

if result:

    print('登录成功')

else:

    print('登录失败')

sql注入问题示例

import pymysql

user = input("username:")

pwd = input("password:")

conn = pymysql.connect(host="localhost",user='root',password='',database="db666")

cursor = conn.cursor()

sql = "select * from userinfo where username=%s and password=%s"

# sql = "select * from userinfo where username=%(u)s and password=%(p)s"

#传入数据类型举例

cursor.execute(sql,user,pwd)  #直接传值

# cursor.execute(sql,[user,pwd]) #列表形式

# cursor.execute(sql,{'u':user,'p':pwd}) #字典格式

result = cursor.fetchone()

cursor.close()

conn.close()

if result:

    print('登录成功')

else:

    print('登录失败')

传入数据类型举例

import pymysql

# 增加，删，该

# conn = pymysql.connect(host="localhost",user='root',password='',database="db666")

# cursor = conn.cursor()

# sql = "insert into userinfo(username,password) values('root','')"

# 受影响的行数

# r = cursor.execute(sql)

# #  ******

# conn.commit()

# cursor.close()

# conn.close()

# conn = pymysql.connect(host="localhost",user='root',password='',database="db666")

# cursor = conn.cursor()

# # sql = "insert into userinfo(username,password) values(%s,%s)"

# # cursor.execute(sql,(user,pwd,))

#插入多条信息

# sql = "insert into userinfo(username,password) values(%s,%s)"

# # 受影响的行数

# r = cursor.executemany(sql,[('egon','sa'),('laoyao','BS')])

# #  ******

# conn.commit()

# cursor.close()

# conn.close()

# 查

# conn = pymysql.connect(host="localhost",user='root',password='',database="db666")

# cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)

# sql = "select * from userinfo"

# cursor.execute(sql)

# cursor.scroll(1,mode='relative')  # 相对当前位置移动

# cursor.scroll(2,mode='absolute') # 相对绝对位置移动

# result = cursor.fetchone()

# print(result)

# result = cursor.fetchone()

# print(result)

# result = cursor.fetchone()

# print(result)

# result = cursor.fetchall()

# print(result)

# result = cursor.fetchmany(4)

# print(result)

# cursor.close()

# conn.close()

# 新插入数据的自增ID: cursor.lastrowid

# import pymysql

#

# conn = pymysql.connect(host="localhost",user='root',password='',database="db666")

# cursor = conn.cursor()

# sql = "insert into userinfo(username,password) values('asdfasdf','')"

# cursor.execute(sql)

# conn.commit()

# print(cursor.lastrowid)

# cursor.close()

# conn.close()

增删改查操作

二、SQLAchemy

2.1下载安装模块

pip3 install SQLAlchemy

IDE下pycharm python环境路径下添加模块

2.2原理

SQLAlchemy是python编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据库操作，简言之便是：将对象转换成SQL，然后使用数据API执行SQL并获取执行结果。

　　利用模块，按照对应规则，自动生成sql语句！
　　　　作用：提供简单的规则，自动转换成sql语句，最终还是执行sql语句，获取结果！

ORM操作流程：
　　创建一个类，类对应数据库的表，类能实例一个对象，这个对象对应表里的数据行
关系对象映射关系：

代码数据库

类 ---> 表
对象 ---> 行

DB first :手动创建数据库和表，通过ORM框架根据数据库，通过类生成一个一个表

code first :手动创建类和数据库，通过ORM框架利用类创建表

SQLAlchemy本身无法操作数据库，其必须以来pymsql等第三方插件，Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作。

远程连接数据库引擎类型：

	MySQL-Python

		mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>

	pymysql

		mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]

	MySQL-Connector

		mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>

	cx_Oracle

		oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]

	更多详见：http://docs.sqlalchemy.org/en/latest/dialects/index.html

　　SQLAchemy 只负责把类转换成sql语句，连接数据库还是需要插件配合着数据库模块连接的。
　　　　连接的数据库不同，转换成的sql语句也不同。
　　　　提前必须有连接不同数据库的模块或是软件，SQLAchemy再去配置

　　规则：导入模块，生成一个基类，然后再用创建类的方法去创建表，sql语句中的语法，全部转换成了方法

　　　　虽然没有使用__init__方法，但是在执行定义的时候，会copy到__init__中
　　　　找到当前所有继承base的类，然后创建对应的表

　　注意：利用SQLAchemy 创建表之前，需要先手动创建一个数据库！

2.3操作

导入模块：

	from sqlalchemy.ext.declarative import declarative_base

	from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index,CHAR,VARCHAR

	from sqlalchemy.orm import sessionmaker, relationship

	from sqlalchemy import create_engine

创建基类：

	Base = declarative_base()

通过pymysql与mysql数据库建立远程连接 和设置最大连接数：

	engine = create_engine("mysql+pymysql://root:@127.0.0.1:3306/day63?charset=utf8", max_overflow=5)

创建单表：

	class 类名(Base):

		__tablename__="表名" #创建表名

		列名=Column(数据类型,是否为空，主键，自增，索引，唯一索引)

		__table_args__(

			UniqueConstraint("列名1","列名2","联合唯一索引名"),

			index("索引名","列名1","列名2"),

		) #创建联合唯一索引

	数据类型：Integer 整型；String 字符串类型(CHAR,VARCHAR也可以)；

	是否为空：nullable=True,

	是否为主键：primary_key=True,

	是否自增：autoincrement=True

	索引：index=True

	唯一索引：unique=True

	例：

	class Users(Base):

		__tablename__ = 'users'

		id = Column(Integer, primary_key=True, autoincrement=True)

		name = Column(VARCHAR(32), nullable=True, index=True)

		email = Column(VARCHAR(16), unique=True)

		__table_args__ = (

			UniqueConstraint('id', 'name', name='uix_id_name'),

			Index('ix_n_ex','name', 'email',),

		 )

创建有外键关系的多表：

	1、先创建一个继承Base基类 存放数据的普通表

	2、创建一个继承Base基类 与其有外键关系的表

	3、语法：外键名("表名.列名")ForeignKey("usertype.id") 

	例：

		class UserType(Base):

    __tablename__ = "usertype"

    id = Column(Integer,primary_key=True,autoincrement=True)

    title = Column(String(32),nullable=True,index=True)

	class Users(Base):

		__tablename__ = "users"

		id = Column(Integer,primary_key=True,autoincrement=True)

		name = Column(String(32),nullable=True,index=True)

		email = Column(String(16),unique=True)

		u_type_id = Column(Integer,ForeignKey("usertype.id"))

		#外键名 = Column(数据类型,ForeignKey("表名.列名"))

生成表或是删除表(可以把操作写成一个函数！)：

	#找到当前所有继承base的类，然后创建所有的表

	def create_table():

		Base.metadata.create_all(engine)

	#找到当前所有继承base的类，然后删除所有的表

	def del_table():

		Base.metadata.drop_all(engine)

操作表：

	万年不变的 数据行 的增删改查

	#首先，先建立链接通道

		Session = sessionmaker(bind=engine)

		session = Session()

	#其次，操作表   注意：操作内填如的内容，一定并必须是表达式！

		#增

			对哪张表更改，就用其对应的类进行实例化，生成的对象就代表着数据行

			#增加单个  session.add()

				obj = UserType(title = "黑金用户")

				session.add(obj)

			#增加多个  session.add_all()

				objs =[

					UserType(title = "会员用户"),

					UserType(title = "超级用户"),

					UserType(title = "铂金用户"),

					UserType(title = "黑金用户"),

				]

				session.add_all(objs)

		#查  session.query(类名).all()  #直接获取整个类(表)下所有的对象(数据行)

			#直接操作，获取的是像数据库发送执行的sql语句

			res = session.query(UserType)  #SQL语句

			print(res)

			#获取所有对应类（表）的对象（数据行） 列表类型

			res_list = session.query(UserType).all()

 			print(res_list)

			#查询操作，获取表中某列的值！是对接收到的整个列表进行循环遍历查找

			#查询整个表内的信息 ------->等效于数据库中：  select xxx from usertype

			res_list = session.query(UserType).all()

			for sss in res_list:

				print(sss.id,sss.title)

		#注意点：.filter()方法是过滤的意思，相当于sql语句中的where

			#条件查找表内信息 -------->等效于数据库中： select xxx usertype where 条件

			res_list = session.query(UserType).filter(UserType.id >2)

			for sss in res_list:

				print(sss.id,sss.title)

	#注意点：执行删除和更改操作时，都是先把数据行找到(查操作)，再进行删或改操作！

		#删  找到对应的数据行，删除即可  .delete()

			#先找后删，等效于------> delete from usertype where usertype.id > 4

			session.query(UserType).filter(UserType.id > 4).delete()

		#改 先查后改  注意传值的格式！

			#这里有个参数 synchronize_session 没别的招，看源码解释！！！

			#对表进行批量更改！

			session.query(UserType).filter(UserType.id>0).update({"title":"黑金"})

			#动态获取原表的数据（char类型），对表进行批量更改

			session.query(UserType).filter(UserType.id>0).update({UserType.title:UserType.title+"SX"},synchronize_session=False)

			#动态获取原表的数据（int类型），对表进行批量更改

			session.query(UserType).filter(UserType.id>0).update({"title":UserType.id+1},synchronize_session="evaluate") 

		#查找其他操作：

			# 分组，排序，连表，通配符，子查询，limit，union,where,原生SQL、

			#　条件

				#过滤，又叫条件判断

				ret = session.query(Users).filter_by(name='alex').all()

				#两个表达式同时存在，逗号分开，不写关系默认是 and

				ret = session.query(Users).filter(Users.id > 1, Users.name == 'eric').all()

				#between and

				ret = session.query(Users).filter(Users.id.between(1, 3), Users.name == 'eric').all()

				#in判断 语法：in_

				ret = session.query(Users).filter(Users.id.in_([1,3,4])).all()

				# not in 判断 语法：表达式最前加 ~

				ret = session.query(Users).filter(~Users.id.in_([1,3,4])).all()

				#子查询

				ret = session.query(Users).filter(Users.id.in_(session.query(Users.id).filter_by(name='eric'))).all()

				#逻辑判断：  and_ or_ 操作

				from sqlalchemy import and_, or_

				ret = session.query(Users).filter(and_(Users.id > 3, Users.name == 'eric')).all()

				ret = session.query(Users).filter(or_(Users.id < 2, Users.name == 'eric')).all()

				ret = session.query(Users).filter(

				or_(

					Users.id < 2,

					and_(Users.name == 'eric', Users.id > 3),

					Users.extra != ""

				)).all()

			# 通配符 .like()的方法调用

				ret = session.query(Users).filter(Users.name.like('e%')).all()

				ret = session.query(Users).filter(~Users.name.like('e%')).all()

			# 限制

				ret = session.query(Users)[1:2]

			#分页 .limit(n) 取n个数据

				res_list = session.query(UserType).limit(2).all()

				for sss in res_list:

					print(sss.id,sss.title)

			# 排序  查表.order_by(列名.desc()/列名.asc())  [.desc() 由大到小；.asc() 由小到大]

				ret = session.query(Users).order_by(Users.name.desc()).all()

				ret = session.query(Users).order_by(Users.name.desc(), Users.id.asc()).all()

			# 分组 聚合函数func.方法(列名)  和 .group_by(列名) 方法

				from sqlalchemy.sql import func

				ret = session.query(Users).group_by(Users.extra).all()

				ret = session.query(

					func.max(Users.id),

					func.sum(Users.id),

					func.min(Users.id)).group_by(Users.name).all()

				ret = session.query(

					func.max(Users.id),

					func.sum(Users.id),

					func.min(Users.id)).group_by(Users.name).having(func.min(Users.id) >2).all()

			# 连表

				ret = session.query(Users, Favor).filter(Users.id == Favor.nid).all() #直连

				ret = session.query(Person).join(Favor).all()

				ret = session.query(Person).join(Favor, isouter=True).all()

			#子查询 三种样式

				#查询的信息作为另一张表的条件

				# 1.select * from b where id in (select id from tb2)

				#最为一张新表进行二次筛选

				# 2. select * from (select * from tb) as B

					#查询语句.subquery()  查询结果作为一个子查询（新表）好在进行下一步的查询。不加.subquery()的话会报错，不再往下查询

					# q1 = session.query(UserType).filter(UserType.id > 0).subquery()

					# result = session.query(q1).all()

					# print(result)

				#作为一个列内的数据，在另一张表中显示 ****** .as_scalar()方法

				# 3. select id ,(select * from users where users.user_type_id=usertype.id) from usertype;

					# session.query(UserType,Users)

					# result = session.query(UserType.id,session.query(Users).as_scalar())

					# print(result) #查看对应的sql语句

					# result = session.query(UserType.id,session.query(Users).filter(Users.user_type_id==UserType.id).as_scalar())

					# print(result) #查看对应的sql语句

			# 组合（上下连表） .union()  和 .union_all()  注意是：先把信息找到再操作！

				q1 = session.query(Users.name).filter(Users.id > 2)

				q2 = session.query(Favor.caption).filter(Favor.nid < 2)

				ret = q1.union(q2).all()

				q1 = session.query(Users.name).filter(Users.id > 2)

				q2 = session.query(Favor.caption).filter(Favor.nid < 2)

				ret = q1.union_all(q2).all()

		- 便利的功能 relationship() 与生成表结构无关，仅用于查询方便  释放了连表操作的繁琐查找，直接通过方法定位！

			使用规范：哪个类中有外键列，就在外键列下添加。

			语法：自定义名=relationship("外键有联系的类名",backref="任意命名")

			# 问题1. 获取用户信息以及与其关联的用户类型名称(FK,Relationship=>正向操作)

				#初始方法：连表操作

				user_list = session.query(Users,UserType).join(UserType,isouter=True)

				print(user_list)

				for row in user_list:

				    print(row[0].id,row[0].name,row[0].email,row[0].user_type_id,row[1].title)

				user_list = session.query(Users.name,UserType.title).join(UserType,isouter=True).all()

				for row in user_list:

				    print(row[0],row[1],row.name,row.title)

				#(FK,Relationship=>正向操作) 先查用户信息表，通过命名的 自定义名 正向获取用户类型

				user_list = session.query(Users)

				for row in user_list:

					print(row.name,row.id,row.user_type.title)

			# 问题2. 获取用户类型  (FK,Relationship=>反向操作)

				#连表操作：

				type_list = session.query(UserType)

				for row in type_list:

				    print(row.id,row.title,session.query(Users).filter(Users.user_type_id == row.id).all())

				#反向操作：先查类型表，再通过backref 自定义的变量 反向查找用户信息

				type_list = session.query(UserType)

				for row in type_list:

				    print(row.id,row.title,row.xxoo)

			PS:正向操作与反向操作，是相对于外键来相对判断的！

				例如：A表与B表，A表中建立了与B表联系的外键，A表通过外键获取B表中的信息，叫正向操作；反之，叫反向操作！

	最后，操作及语法写完后，都需要提交给数据库去执行，不再使用也需要断开连接！

		session.commit()  #提交

		session.close()	  #关闭连接

#!/usr/bin/env python

# _*_ coding:utf-8 _*_

from sqlalchemy.ext.declarative import declarative_base

from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index

from sqlalchemy.orm import sessionmaker, relationship

from sqlalchemy import create_engine

Base = declarative_base()

engine = create_engine("mysql+pymysql://root:@127.0.0.1:3306/day63?charset=utf8",max_overflow=5)

class UserType(Base):

    __tablename__ = "usertype"

    id = Column(Integer,primary_key=True,autoincrement=True)

    title = Column(String(32),nullable=True,index=True)

class Users(Base):

    __tablename__ = "users"

    id = Column(Integer,primary_key=True,autoincrement=True)

    name = Column(String(32),nullable=True,index=True)

    email = Column(String(16),unique=True)

    u_type_id = Column(Integer,ForeignKey("usertype.id"))

    u_type = relationship("UserType",backref="sss")

def create_table():

    Base.metadata.create_all(engine)

def del_table():

    Base.metadata.drop_all(engine)

#类 --> 表

#对象 --> 行

#建立链接通道

Session = sessionmaker(bind=engine)

session = Session()

#操作内填入的内容，必须是表达式

########## 增加 ###################

#增加单个

# obj = UserType(title = "黑金用户")

# session.add(obj)

#增加多个

# objs =[

#     UserType(title = "会员用户"),

#     UserType(title = "超级用户"),

#     UserType(title = "铂金用户"),

#     UserType(title = "黑金用户"),

# ]

# session.add_all(objs)

############ 查询 ################

# res = session.query(UserType)  #SQL语句

# print(res)

# res_list = session.query(UserType).all()  #获取所有对应类（表）的对象（数据行） 列表类型

# print(res_list)

#select xxx from usertype

# res_list = session.query(UserType).limit(2).all()

# for sss in res_list:

#     print(sss.id,sss.title)

#

# #select xxx usertype where ***

# res_list = session.query(UserType).filter(UserType.id >2)

# for sss in res_list:

#     print(sss.id,sss.title)

############### 删除 ###################

# delete from usertype where usertype.id > 4

# session.query(UserType).filter(UserType.id > 4).delete()

################ 更改 ########################

#这里有个参数 synchronize_session 没别的招，看源码解释！！！

# session.query(UserType).filter(UserType.id>0).update({"title":"黑金"}) #对表进行批量更改

# session.query(UserType).filter(UserType.id>0).update({UserType.title:UserType.title+"SX"},synchronize_session=False) #动态获取原先的数据，对表进行批量更改

# session.query(UserType).filter(UserType.id>0).update({"title":UserType.id+1},synchronize_session="evaluate") #对表进行批量更改

############# 查询其他操作 #################

# 分组，排序，连表，通配符，limit,union,where,原生SQL#

#条件 and or

# ret = session.query(Users).filter(Users.id > 1, Users.name == "sesc").all()

# for row in ret:

#     print(row.email)

# #正向操作

# res = session.query(Users)

# for row in res:

#     print(row.id,row.name,row.u_type.title)

#

# #反向操作

# res = session.query(UserType)

# for row in res:

#     for a in row.sss:

#         print(row.id,row.title,a.name)

session.commit()

session.close()

部分代码举例！从上边粘贴测试即可！

巴特西

数据库学习笔记 (三) python操作数据库

最新文章

热门文章