该事例演示了如何在多线程中统计和分析数据；

首先建一个状态实体类CrawlStat：

package com.demo.collectingData;

/**

 * 爬虫状态实体类 统计爬虫信息

 * @author

 *

 */

public class CrawlStat {

  private int totalProcessedPages; //处理的页面总数

  private long totalLinks; // 总链接数

  private long totalTextSize; // 总文本长度

  public int getTotalProcessedPages() {

    return totalProcessedPages;

  }

  public void setTotalProcessedPages(int totalProcessedPages) {

    this.totalProcessedPages = totalProcessedPages;

  }

  /**

   * 总处理页面数加1

   */

  public void incProcessedPages() {

    this.totalProcessedPages++;

  }

  public long getTotalLinks() {

    return totalLinks;

  }

  public void setTotalLinks(long totalLinks) {

    this.totalLinks = totalLinks;

  }

  public long getTotalTextSize() {

    return totalTextSize;

  }

  public void setTotalTextSize(long totalTextSize) {

    this.totalTextSize = totalTextSize;

  }

  /**

   * 总链接数加count个

   * @param count

   */

  public void incTotalLinks(int count) {

    this.totalLinks += count;

  }

  /**

   * 总文本长度加total个

   * @param count

   */

  public void incTotalTextSize(int count) {

    this.totalTextSize += count;

  }

}

再建一个LocalDataCollectorCrawler类：

package com.demo.collectingData;

import java.io.UnsupportedEncodingException;

import java.util.Set;

import java.util.regex.Pattern;

import edu.uci.ics.crawler4j.crawler.Page;

import edu.uci.ics.crawler4j.crawler.WebCrawler;

import edu.uci.ics.crawler4j.parser.HtmlParseData;

import edu.uci.ics.crawler4j.url.WebURL;

/**

 * 该类演示了如何在多线程中统计和分析数据

 * @author user

 *

 */

public class LocalDataCollectorCrawler extends WebCrawler {

  // 正则匹配后缀

  private static final Pattern FILTERS = Pattern.compile(

      ".*(\\.(css|js|bmp|gif|jpe?g|png|tiff?|mid|mp2|mp3|mp4|wav|avi|mov|mpeg|ram|m4v|pdf" +

      "|rm|smil|wmv|swf|wma|zip|rar|gz))$");

  CrawlStat myCrawlStat; // 定义爬虫状态对象，用户统计和分析

  /**

   * 构造方法

   */

  public LocalDataCollectorCrawler() {

    myCrawlStat = new CrawlStat(); // 实例化爬虫状态对象

  }

  /**

   * 这个方法主要是决定哪些url我们需要抓取，返回true表示是我们需要的，返回false表示不是我们需要的Url

   * 第一个参数referringPage封装了当前爬取的页面信息

   * 第二个参数url封装了当前爬取的页面url信息

   */

  @Override

  public boolean shouldVisit(Page referringPage, WebURL url) {

    String href = url.getURL().toLowerCase(); // 获取url小写

    return !FILTERS.matcher(href).matches() && href.startsWith("http://www.xxx.com"); // 必须是www.xxx.com域名

  }

  /**

   * 当我们爬到我们需要的页面，这个方法会被调用，我们可以尽情的处理这个页面

   * page参数封装了所有页面信息

   */

  @Override

  public void visit(Page page) {

    System.out.println("正在爬取页面："+page.getWebURL().getURL());

    myCrawlStat.incProcessedPages(); // 处理页面加1

    if (page.getParseData() instanceof HtmlParseData) { // 假如是html数据

      HtmlParseData parseData = (HtmlParseData) page.getParseData(); // 获取Html数据

      Set<WebURL> links = parseData.getOutgoingUrls(); // 获取输出链接

      myCrawlStat.incTotalLinks(links.size()); // 总链接加link.size个

      try {

        myCrawlStat.incTotalTextSize(parseData.getText().getBytes("UTF-8").length); // 文本长度增加

      } catch (UnsupportedEncodingException ignored) {

        // Do nothing

      }

    }

    // 每获取3个页面数据 我们处理下数据

    if ((myCrawlStat.getTotalProcessedPages() % 3) == 0) {

      dumpMyData();

    }

  }

  /**

   * 获取下爬虫状态

   */

  @Override

  public Object getMyLocalData() {

    return myCrawlStat;

  }

  /**

   * 当任务完成时调用

   */

  @Override

  public void onBeforeExit() {

    dumpMyData(); // 处理处理

  }

  /**

   * 处理数据

   */

  public void dumpMyData() {

    int id = getMyId();

    System.out.println("当前爬虫实例id:"+id);

    System.out.println("总处理页面："+myCrawlStat.getTotalProcessedPages());

    System.out.println("总链接长度："+myCrawlStat.getTotalLinks());

    System.out.println("总文本长度："+myCrawlStat.getTotalTextSize());

  }

}

最后建一个控制器LocalDataCollectorController：

package com.demo.collectingData;

import java.util.List;

import edu.uci.ics.crawler4j.crawler.CrawlConfig;

import edu.uci.ics.crawler4j.crawler.CrawlController;

import edu.uci.ics.crawler4j.fetcher.PageFetcher;

import edu.uci.ics.crawler4j.robotstxt.RobotstxtConfig;

import edu.uci.ics.crawler4j.robotstxt.RobotstxtServer;

/**

 * 爬虫控制器

 * @author user

 *

 */

public class LocalDataCollectorController {

  public static void main(String[] args) throws Exception {

    String rootFolder = "c:/crawl"; // 定义爬虫数据存储位置

    int numberOfCrawlers = 2; // 定义7个爬虫，也就是7个线程

    CrawlConfig config = new CrawlConfig(); // 定义爬虫配置

    config.setCrawlStorageFolder(rootFolder); // 设置爬虫文件存储位置

    config.setMaxPagesToFetch(10);  // 设置最大页面获取数

    config.setPolitenessDelay(1000); // 设置爬取策略 1秒爬一次

    // 实例化爬虫控制器

    PageFetcher pageFetcher = new PageFetcher(config); // 实例化页面获取器

    RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); // 实例化爬虫机器人配置 比如可以设置 user-agent

    // 实例化爬虫机器人对目标服务器的配置，每个网站都有一个robots.txt文件 规定了该网站哪些页面可以爬，哪些页面禁止爬，该类是对robots.txt规范的实现

    RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher);

    // 实例化爬虫控制器

    CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer);

    controller.addSeed("http://www.xxx.com"); // 添加爬虫种子

    // 启动爬虫，爬虫从此刻开始执行爬虫任务，根据以上配置

    controller.start(LocalDataCollectorCrawler.class, numberOfCrawlers);

    List<Object> crawlersLocalData = controller.getCrawlersLocalData(); // 当多个线程爬虫完成任务时，获取爬虫本地数据

    long totalLinks = 0;

    long totalTextSize = 0;

    int totalProcessedPages = 0;

    for (Object localData : crawlersLocalData) {

      CrawlStat stat = (CrawlStat) localData;

      totalLinks += stat.getTotalLinks();

      totalTextSize += stat.getTotalTextSize();

      totalProcessedPages += stat.getTotalProcessedPages();

    }

    // 打印数据

    System.out.println("统计数据：");

    System.out.println("总处理页面："+totalProcessedPages);

    System.out.println("总链接长度："+totalLinks);

    System.out.println("总文本长度："+totalTextSize);

  }

}

打印结果：

正在爬取页面：http://www.xxx.com/

正在爬取页面：http://www.xxx.com/share/2814499085634560.htm

正在爬取页面：http://www.xxx.com/share/2519215530527744.htm

正在爬取页面：http://www.xxx.com/share/2783070349888512.htm

当前爬虫实例id:2

总处理页面：3

总链接长度：672

总文本长度：22295

正在爬取页面：http://www.xxx.com/share/2769260213275648.htm

正在爬取页面：http://www.xxx.com/share/kredis-p1-s1.htm

正在爬取页面：http://www.xxx.com/share/kswing-p1-s1.htm

当前爬虫实例id:2

总处理页面：6

总链接长度：1299

总文本长度：46674

正在爬取页面：http://www.xxx.com/share/kcodehaus-p1-s1.htm

正在爬取页面：http://www.xxx.com/user/2176279510861824.htm

正在爬取页面：http://www.xxx.com/blog/2881413902666752.htm

当前爬虫实例id:2

总处理页面：9

总链接长度：1617

总文本长度：90618

当前爬虫实例id:1

总处理页面：1

总链接长度：326

总文本长度：10321

当前爬虫实例id:2

总处理页面：9

总链接长度：1617

总文本长度：90618

统计数据：

总处理页面：10

总链接长度：1943

总文本长度：100939

　　

最新文章

  1. 编写具有单一职责(SRP)的类
  2. 学用MVC4做网站六后台管理:6.1管理员(续)
  3. Struts2运行流程
  4. 将页面打印成excel
  5. 控件（选择类）: ListBox, RadioButton, CheckBox, ToggleSwitch
  6. 游戏 标签gui.label
  7. Shell基础：Shell和Mysql交互
  8. role在标签中的作用是什么？
  9. 使用2to3转换python代码
  10. ant的入门 配置与安装
  11. C#-循环滚动字幕,timer,从左至右,从右至左,暂停---ShinePans
  12. windows短路径转换成长路径
  13. Vue ElementUI 按需引入
  14. vmware虚拟的ubuntu18.04死机，尝试关闭时关机报“虚拟机xxx繁忙”
  15. echo 内容显示颜色
  16. sql_id VS hash_value
  17. Linux学习笔记-基本操作4
  18. web05-CounterServlet
  19. Django(二)：url和views
  20. sql语句-2-字符串数字日期时间

热门文章

  1. 前端面试基础-html篇之CSS3新特性
  2. js中国各大城市快速选择代码
  3. 修改织梦data目录名
  4. Ajax内容签名技术(减少无谓流量损耗）
  5. 用python 4行搞定基数排序
  6. spring的HandlerMapping
  7. （转）RabbitMQ学习之主题topic（java）
  8. Juery实现选项卡
  9. Python笔记6----数组
  10. 配置mysql允许远程访问