python面试总结3(性能分析优化，GIl常考题)

python性能分析和优化，GIL常考题

什么是Cpython GIL

Cpython解释器的内存管理并不是线程安全的
保护多线程情况下对python对象访问
Cpython使用简单的锁机制避免多个线程同时执行字节码

GIL的影响

限制了程序的多核执行

同一个时间只能有一个线程执行字节码
CPU密集程序难以利用多核优势
IO期间会释放GIL，对IO密集程序影响不大

如何规避GIL影响和IO密集程序

CPU密集可以使用多进程+进程池
IO密集使用多线程/协程
Cpython扩展

为什么有了GIl还要关注线程安全

python中什么操作才是原子的?一步到位执行完

一个操作如果是一个字节码指令可以完成就是原子的
原子的是可以保证线程安全的
使用dis操作来分析字节码

原子操作

import dis

def update_list(l):

  l[0] = 1 #原子操作，不用担心线程安全问题

dis.dis(update_list)

"""

 6 						0 LOAD_CONST							1 (1)

 							3 LOAD_FAST								0 (L)

 							6 LOAD_CONST							2 (0)

 							9 STORE_SUBSCR						# 但字节码操作 线程安全

 							10 LOAD_CONST							0 (None)

 							13 RETURN_VALUE

"""

非原子操作不是线程安全的

def incr_list(l):

  l[0] += 1  #危险!!! 不是原子操作

dis.dis(incr_list)

"""

 21							0 LOAD_FAST								0(l)

 								3 LOAD_CONST							1 (0)

 								6 DUP_TOPX								2

 								9 BINARY_SUBSCR

 								10 LOAD_CONST							2 (1)

 								13 INPLACE_ADD						# 需要多个字节码操作，有可能在线程中切到其他线程

"""

import threading

lock = threading.Lock() # 加锁，保证线程安全

# 加锁操作对性能有一定影响

n = [0]

def foo():

  with lock:

    n[0] = n[0] + 1

    n[0] = n[0] + 1

threads = []

for i in range(5000);

		t = threading.Thread(target=foo)

  	threads.append(t)

for t in threads:

  	t.start()

print(n)

如何剖析程序性能

使用各种profile工具(内置或第三方)

二八定律,大部分时间耗时在少量代码上
内置的profile/cprofile等工具
使用pyflame(uber开源)的火焰图工具

服务端性能优化措施

web应用一般语言不会成为瓶颈

数据结构与算法优化
数据库层: 索引优化，满查询消除,批量操作减少IO，NoSql
网络IO：批量操作，pipeline操作减少IO
缓存: 使用内存数据库 redis/memcached
异步; asyncio , celery
并发: gevent/多线程

python生成器与协程

Generator

生成器就是可以生成值的函数
当一个函数里有了yield关键字就成了生成器
生成器可以挂起执行并且保持当前执行的状态

# 生成器

def simple_gen():

  yield 'hello'

  yield 'world'

gen = simple_gen()

print(type(gen))  # 'generator' object

print(next(gen))	# 'hello'

print(next(gen))	# 'world'

基于生成器的协程(python2)

python3之前没有原生协程，只有基于生成器的协程

pep 342增强生成器功能
生成器可以通过yield暂停执行和产出数据
同时支持send()向生成器发送数据和throw()向生成器抛出异常

def coro():

  hello = yield 'hello'  # yield关键字在=右边作为表达式， 可以被sengd的值

  yield hello

  c = cor0()

  #输出 ' hello' ,这里调用next产出一个值 'hello'，之后函数暂停

  print(next(c))

  # 再次调用send发送值， 此时hello变量赋值为'world', 然后yield产出hello变量的值 'world'

  print(c.send('world'))

  # 之后协程结束，后续再send值会抛出异常StopIteration

python3原生协程

python3.5引入async/await支持原生协程(natice copoutine)

import asyncio

import datetime

import random

async def display_date(num, loop):

  end_time = loop.time(0) + 50.0

  while True:

    print('Loop: {} Time: {}').format(num, datetime.datetime.now())

    if (loop.time() + 1.0) >= end_time:

      break

    await asyncio.sleep(random.randint(0, 5))

 loop = asyncio.get_event_loop()

 asyncio.ensure_future(display_date(1, loop))

 asyncio.ensure_future(display_date(2, loop))

 loop.run_forever()

python 单元测试

什么是单元测试

针对程序模式进行正确性检验
一个函数，一个类进行验证
自底向上保证程序正确性

为什么要写单元测试

三无代码不可取(无文档，无注释，无单测)

保证代码逻辑的正确性(甚至有些采用测试驱动开发TDD)
单测影响设计，易测的代码往往是高内聚低耦合的
回归测试，防止改一处整个服务不可用

单元测试相关的库

nose/pytest 较为常用
mock 模块用来模拟替换网络请求等
coverage 统计测试覆盖率

def test():

  """

  如何设计测试用例:(等价类划分)

  - 正常功能测试

  - 边界值 (比如最大最小，最左最右值)

  - 异常值 (比如None， 空值，非法值)

  """

  assert binary_search([0,1,2,3,4,5],1) == 1

  assert binary_search([0,1,2,3,4,5],6) == -1

python深拷贝与浅拷贝

什么是深拷贝？什么是浅拷贝?
python中如何实现深拷贝?
思考: python中如何正确初始化一个二维数组？

巴特西

python面试总结3(性能分析优化，GIl常考题)

python性能分析和优化，GIL常考题

python生成器与协程

最新文章

热门文章