《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言 》所使用的程序框架

编写PHP网络爬虫, 需要具备以下技能:

  • 爬虫采用PHP编写

  • 从网页中抽取数据需要用XPath

  • 当然我们还可以使用CSS选择器

  • 很多情况下都会用到正则表达式

  • Chrome的开发者工具是神器, 很多AJAX请求需要用它来分析

注意:本框架只能在命令行下运行,命令行、命令行、命令行,重要的事情说三遍 ^_^

第一个demo

爬虫采用PHP编写, 下面以糗事百科为例, 来看一下我们的爬虫长什么样子:

    $configs = array(
'name' => '糗事百科',
'domains' => array(
'qiushibaike.com',
'www.qiushibaike.com'
),
'scan_urls' => array(
'http://www.qiushibaike.com/'
),
'content_url_regexes' => array(
"http://www.qiushibaike.com/article/\d+"
),
'list_url_regexes' => array(
"http://www.qiushibaike.com/8hr/page/\d+\?s=\d+"
),
'fields' => array(
array(
// 抽取内容页的文章内容
'name' => "article_content",
'selector' => "//*[@id='single-next-link']",
'required' => true
),
array(
// 抽取内容页的文章作者
'name' => "article_author",
'selector' => "//div[contains(@class,'author')]//h2",
'required' => true
),
),
);
$spider = new phpspider($configs);
$spider->start();

爬虫的整体框架就是这样, 首先定义了一个$configs数组, 里面设置了待爬网站的一些信息, 然后通过调用$spider = new phpspider($configs);和$spider->start();来配置并启动爬虫.

运行界面如下:

$configs对象如何定义, 后面会作详细介绍.^_^


官方下载地址:https://github.com/owner888/phpspider

官方开发手册:https://doc.phpspider.org/

最新文章

  1. Qt中使用Windows API
  2. JAVA的String的传值和传地址问题
  3. Javascript实现Linq查询方式
  4. 【PHP】金额数字转换成大写形式
  5. HDU 5768 Lucky7 (中国剩余定理 + 容斥 + 快速乘法)
  6. NPOI Excel导入 导出
  7. WimTool(Wim映像处理工具) V1.30.2011.501 免费绿色版
  8. http请求报文格式和响应报文格式
  9. angular-cli学习笔记 快速创建代码模板
  10. STM32按键输入
  11. codeforces545C
  12. Luogu P2602 [ZJOI2010]数字计数
  13. mvc中简单的异常记录
  14. redis常见应用场景
  15. 微信开发-业务域名、JS接口安全域名、网页授权域名
  16. OWASP TOP10(2017)
  17. 巧妙使用CSS媒体查询(Media Queries)和JavaScript判断浏览器设备类型的好方法
  18. ADT离线安装教程
  19. C#匿名类型 - Anonymous Types
  20. js对字符串进行编码方法总结

热门文章

  1. #leetcode刷题之路2-两数相加
  2. Linux基础 ppt pptx
  3. numpy的总结
  4. Ajax在表单中的应用
  5. 使用webBrowser进行C#和JS通讯
  6. ARM串口控制终端命令
  7. POJ3687 反向拓扑排序
  8. Rmarkdown:输出pdf设置
  9. 【Java】关于Spring框架的总结 (三)
  10. js分类多选全选