https://www.bilibili.com/video/BV1g7411k7MD?from=search&seid=13649975876676293013 import asyncio import random #需求:有一个crontab调度器,每隔1秒,拉起1个job,要求这些job可以并发爬取网页 async def cron_scheduler(): page = 1 while True: url = "{}/{}".format("https:/

import asyncio #携程(携程不是函数) async def print_hello(): while True: print("hello world") await asyncio.sleep(1) #暂停1s async def print_goodbye(): while True: print("goodbye world") await asyncio.sleep(2) #创建携程对象 co1 = print_hello() co2 = pr

协程实现了在单线程下的并发,每个协程共享线程的几乎所有的资源,除了协程自己私有的上下文栈:协程的切换属于程序级别的切换,对于操作系统来说是无感知的,因此切换速度更快.开销更小.效率更高,在有多IO操作的业务中能极大提高效率. 系列文章 python并发编程之threading线程(一) python并发编程之multiprocessing进程(二) python并发编程之asyncio协程(三) python并发编程之gevent协程(四) python并发编程之Queue线程.进程.协程通信(

目录概念介绍测试环境开始测试测试[单进程单线程]测试[多进程 并行]测试[多线程 并发]测试[协程 + 异步]结果对比绘图展示概念介绍首先简单介绍几个概念: 进程和线程进程就是一个程序在一个数据集上的一次动态执行过程(数据集是程序在执行过程中所需要使用的资源).线程也叫轻量级进程,它是一个基本的 CPU 执行单元,是比进程更小的能独立运行的基本单位.进程和线程的关系:一个线程只能属于一个进程,而一个进程可以有多个线程,但至少有一个线程.资源分配给进程,同一进程的所有线程共享该进程的所有资源.CP

  由于才开始写博客,之前都是写笔记自己看,所以可能会存在表述不清,过于啰嗦等各种各样的问题,有什么疑问或者批评欢迎在评论区留言. 如果你初次接触协程,请先阅读上一篇文章初识asyncio协程对asyncio有个初步的认识. 一.任务对象(task任务) 参照上一篇初识asyncio协程我们了解到了任务对象是对协程的一种封装,其中包含各种状态,如阻塞状态(suspended),运行状态(running),完成状态(done): 1.创建任务对象的三种方式 第一种:loop.create_task

初识asyncio协程 一.基本概念 ​ 要想了解学习协程相关知识要先对以下几个概念先行了解: 阻塞 ​ 阻塞状态是指程序未得到某所需计算资源时的挂起状态,简单说就是程序在等待某个操作未执行完前无法执行其他操作. 非阻塞 ​ 非阻塞状态是指在等待某项操作执行完前可以继续运行其他操作,也就是不会被阻塞. 同步 ​ 不同程序单元为了完成某项任务,在执行过程中以某种通信方式保证协调一致,假如有一个售票窗口,你必须等前面的人买完票,轮到你才能买,简言之同步意味着有序. 异步 ​ 不同程序单元为了完成某项

在 12 月 28 日微信公开课上,张小龙对微信小程序的形态进行了阐释,小程序有四个特定:无需安装.触手可及.用完即走.无需卸载. 由于携程这种订酒店.火车票和机票等工具性质非常强的服务,非常符合张小龙的对小程序的定义,所以很适合做一个小程序. 今天,有机会体验了一下携程酒店机票火车票这个小程序,在这里跟大家分享一下. 扫一扫携程提供的二维码之后,看到携程小程序的名字为"携程酒店机票火车票". 携程小程序加载页面 确认进入体验版之后,就正式加载进入小程序,跳到了以下这个页面--没错,就

首先介绍一下携程App的网络服务架构.由于携程业务众多,开发资源导致无法全部使用Native来实现业务逻辑,因此有相当一部分频道基于Hybrid实现.网络通讯属于基础&业务框架层中基础设施的一部分,为App提供统一的网络服务: 1Native端的网络服务 Native模块是携程的核心业务模块(酒店.机票.火车票.攻略等),Native模块的网络服务主要通过TCP连接实现,而非常见的Restful HTTP API那种HTTP连接,只有少数轻量级服务使用HTTP接口作为补充. TCP连接网络服务模

实现携程X分钟前有人预定功能 原理:利用cookie与计时器两部分: 首先,进入页面,x会被随机数赋值,赋值后x会一分钟加1,直到加到60,再从1开始累加. 页面是否相同是根据页面的url后的id值判断: <span id='myspan'></span>   x分钟前有人预定该景点 <script>$(document).ready(function() { if (window.location.href.includes('?')) {       if (win

就在今天,2015年5月28日,中国最大的旅游机票预订网站--携程网粗大事了.据传携程网的数据库被人物理删除了,而容灾备份的数据又无法正常使用,服务器全面遭受瘫痪.每小时给携程带来的损失约100万美元.巴拉巴拉,作为中国最大的.Net互联网公司,携程出了这样的事情真是不应该(技术人员:怪我咯). 转入正题当我们打开携程首页会看到这样一个错误页面: 在页面的下方我们会看到404这样一串数字. 其实在我们打开一些小网站时,常常会遇到这样一串数字,这些数字是我们进行http请求时,服务端给出的响应结果

携程Ctrip DAL的学习 2 本人net开发菜鸟,原理请自行看github的官网源码. 我这里是简单的使用(helloworld的水平). 代码生成器的使用 详见 官网使用说明 注意的地方: 1 sqlserver 查看是否开了端口和服务 2 填写sqlserver端口的时候, 在数据库中执行 exec sys.sp_readerrorlog 0, 1, 'listening' 查看使用的端口. 返回 2016-12-10 13:12:09.420 spid17s Server is lis

携程Ctrip DAL的学习 1 本人net开发菜鸟,原理请自行看github的官网源码. 我这里是简单的使用(helloworld的水平). Ctrip DAL是携程框架部开发的数据库访问框架,支持代码生成和水平扩展.其由携程技术中心框架部DAL团队开发,历经3年不断打磨,并在长期的实际使用中基于大量的用户反馈不断优化. 开源范围包括代码生成器,Java客户端和C#客户端. 注:C#客户端于2016年9月29日也正式开源了:地址 https://github.com/ctripcorp/dal

编者:本文为刘科在第六期[携程技术微分享]中的分享内容.在携程技术中心(微信号ctriptech)微信后台回复[云桌面],可加入微信交流群,和关注云桌面的小伙伴一起玩耍~ 刘科,携程系统研发云平台桌面虚拟架构师,多年从事分布式计算.通信系统平台设计.开发. [携程技术微分享]是携程技术中心推出的线上公开分享课程,每月1-2期,采用目前最火热的直播形式,邀请携程技术人,面向广大程序猿和技术爱好者,一起探讨最新的技术热点,分享一线实战经验. 本期视频回放点击这里. OpenStack是当前最主流.最

Ceph 作为软件定义存储的代表之一,最近几年其发展势头很猛,也出现了不少公司在测试和生产系统中使用 Ceph 的案例,尽管与此同时许多人对它的抱怨也一直存在.本文试着整理作者了解到的一些使用案例. 1. 携程(Ctrip) 携程所使用的各种存储的现状: 商业存储: SAN(HP/ HPS) , 1+ PB, 数据库 NAS (HW) , 800+ TB, 文件共享 开源存储 GlusterFS, 1+ PB, 数据库备份 FastDFS,   1+ PB, 海量照片 HDFS,      10

用携程机票为例: 携程联盟 飞机票.门票 联盟ID:278639 站点ID:739462 密钥KEY:BE57B925-E8CE-4AA2-AC8E-3EE4BBBB686F API_URL:openapi.ctrip.com http://open.ctrip.com/InlandFlight/OTA_FlightSearch.aspx 1.首先在使用携程api的时候你需要明白什么是soap? SOAP(SimpleObjectaccessPRotocal,简单对象访问协议)技术有助于实现大量

参加过几次 OpenStack meetup 活动,听过这几家公司的Architect 讲他们公司的 OpenStack产品.本文试着凭借影响加网络搜索,按照自己的理解,对这些公司的 OpenStack 产品和使用做个大概的比较.一家之言而已. 1. 京东的 OpenStack 云 京东在其多个数据中心中是用 OpenStack 部署其私有云. 特点如下: 1.部署在多个数据中心,物理服务器在几千台以上规模. 2. 支持虚机.Bare metal 和容器,而且将来存量以虚机为主,增量以容器为主.

携程Android App的插件化和动态加载框架已上线半年,经历了初期的探索和持续的打磨优化,新框架和工程配置经受住了生产实践的考验.本文将详细介绍Android平台插件式开发和动态加载技术的原理和实现细节,回顾携程Android App的架构演化过程,期望我们的经验能帮助到更多的Android工程师. 需求驱动 2014年,随着业务发展需要和携程无线部门的拆分,各业务产品模块归属到各业务BU,原有携程无线App开发团队被分为基础框架.酒店.机票.火车票等多个开发团队,从此携程App的开发和发布

编者:本文来自携程框架研发部高级经理魏晓军在第二期[携程技术微分享]上的分享,以下为整理后的文字实录.视频回放可点击这里.关注携程技术中心微信公号ctriptech,可获知更多微分享课程信息. 因为支持用javascript开发原生应用,React Native一推出就受到不少公司热捧,各家都跃跃欲试.但有一个痛点是,在移动端,我们是否有必要开发多套程序:iOS.Android和H5?本次将通过对Moles框架的分享,介绍携程在React Native方面的实战干货,希望给大家一些灵感和启发.

[上海] 携程 门票事业部 招聘.NET 架构师 2 名 - V2EX [上海] 携程 门票事业部 招聘.NET 架构师 2 名

http://kb.cnblogs.com/page/519824/ 携程App的网络性能优化实践 受益匪浅的一篇文章,让我知道网络交互并不是简单的传输和接受数据.真正的难点在于后面的性能优化 下面对文章中的几点进行总结和整理,作为个人的笔记 常见的网络性能问题: 1.DNS问题 DNS被劫持或失效 DNS解析慢或者失败 2.TCP连接问题 TCP的连接端口被封 TCP连接超时 3.write/Read问题 设置合理的读写超时时长 客户端所处环境的常用端口被限制 网络切换(即当用户的网络在WIF