PHP中的curl_multi一类函数可以实现同时请求多个url,而不是一个一个依次请求,这就类似一个进程实现了多个线程的功能,因此可以使用PHP利用CURL_MULTI实现完成多线程类的任务,下面就一个利用PHP CURL_MULTI多线程采集网页为例来说明一下。
02 |
//功能:PHP利用CURL_MULTI多线程采集网页函数 |
05 |
function remote( $urls ){ |
06 |
if (! is_array ( $urls )||! count ( $urls )){ |
10 |
$handle =curl_multi_init(); |
11 |
foreach ( $urls as $k => $v ){ |
12 |
//$nurl[$k]=preg_replace('/([^:\/\.]+)/i',rawurlencode('\\1'),$v); |
13 |
//$curl[$k]=curl_init($nurl[$k]); |
14 |
$curl [ $k ]=curl_init( $v ); |
15 |
curl_setopt( $curl [ $k ], CURLOPT_RETURNTRANSFER,1); |
16 |
curl_setopt( $curl [ $k ], CURLOPT_HEADER,0); |
17 |
curl_multi_add_handle( $handle , $curl [ $k ]); |
21 |
$mrc =curl_multi_exec( $handle , $active ); |
22 |
} while ( $mrc ==CURLM_CALL_MULTI_PERFORM); |
23 |
while ( $active && $mrc ==CURLM_OK){ |
24 |
if (curl_multi_select( $handle )!=-1){ |
26 |
$mrc =curl_multi_exec( $handle , $active ); |
27 |
} while ( $mrc ==CURLM_CALL_MULTI_PERFORM); |
31 |
foreach ( $curl as $k => $v ){ |
32 |
if (curl_error( $curl [ $k ])== "" ){ |
33 |
$text [ $k ]=(string)curl_multi_getcontent( $curl [ $k ]); |
35 |
curl_multi_remove_handle( $handle , $curl [ $k ]); |
36 |
curl_close( $curl [ $k ]); |
38 |
curl_multi_close( $handle ); |
另外我对CURL_MULTI类的函数也做了一下小小的总结,通过查看php手册文档会找出PHP CURL_MULTI类的函数主要有以下几个:
curl_multi_add_handle
curl_multi_close
curl_multi_exec
curl_multi_getcontent
curl_multi_info_read
curl_multi_init
curl_multi_remove_handle
curl_multi_select
调用这些函数实现目的的步骤一般如下:
第一步:调用curl_multi_init初始化一个curl批处理句柄资源
第二步:循环调用curl_multi_add_handle向curl批处理会话中添加单独的curl句柄资源(这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle)
第三步:持续调用curl_multi_exec解析curl批处理句柄
第四步:根据需要循环调用curl_multi_getcontent返回获取的输出的文本流以获取结果
第五步:调用curl_multi_remove_handle移除curl批处理句柄资源中的某个句柄资源,并为每个handle调用curl_close
第六步:调用curl_multi_close关闭批处理句柄资源
另外需要注意的是PHP 5 版本才可以使用这个函数,必须开启 curl 扩展(打开 php.ini 把;extension=php_curl.dll前面的分号去掉 , 重启apache 就可以使用了)。
最新文章
- CentOS 6.5 Python Image Library 配置
- CWMP开源代码研究1——开篇之作
- jQuery实用的语法总结
- jboss服务器修改端口说明
- swift + jj实践
- 为mysql在表的某一位置增加一列
- netty入门实例
- 【iOS-cocos2d-X 游戏开发之九】Cocos2dx利用CCSAXParser解析xml数据&;CCMutableDictionary使用与注意!
- pragma pack(非常有用的字节对齐用法说明)
- javascript面向对象一:函数
- 剑指Offer——知识点储备-网络基础
- word20170102日用家电 household appliances
- FFmpeg开发实战(三):FFmpeg 打印音视频Meta信息
- CSS样式—— 字体、元素的垂直水平居中
- C# UpdatePanel加载完毕回调JS
- mybatis05--多条件的查询
- BZOJ4377[POI2015]Kurs szybkiego czytania——数学思维题
- 动态绑定数据至Html Table
- Java Web(八) MVC和三层架构
- C++中使用ODBC API访问数据库例程
热门文章
- 从github下载某个git库的4种方法[zz]
- 基础002_V7-CLB
- 安装SQL Server提示“等待数据库引擎恢复句柄失败”
- windows7使用Source insight上远程改动ubuntu共享内核源代码
- hdoj 1874 畅通project续【SPFA】
- Atitit nodejs5 nodejs6  nodejs 7.2.1  新特性attialx总结
- 【Unity】5.1 3D坐标系基础知识
- Linux学习笔记(九)
- DjangoUeditor 使用七牛云存储
- JAVA-JSP内置对象之page范围