Java Executor框架使用

　　Java Executor框架是Jdk1.5之后推出的，是为了更加方便的开发多线程应用而封装的框架；

　　相比传统的Thread类，Java Executor使用方便，性能更好，更易于管理，而且支持线程池，所以我们在开发爬虫的时候，为了提高爬虫的爬取效率，我们要使用多线程，推荐使用Java的Executor框架来实现，因为Executor框架既简单又高效；

Java Executor框架在爬虫应用中的使用

　　常用接口：

　　创建固定数目线程的线程池。

　　public static ExecutorService newFixedThreadPool(int nThreads)

　　执行一个线程

　　void java.util.concurrent.Executor.execute(Runnable command)

　　查看活动线程个数

　　int java.util.concurrent.ThreadPoolExecutor.getActiveCount()

　　结束所有线程

　　void java.util.concurrent.ExecutorService.shutdown()

　　说明：Executor在管理多个线程的时候，会进行有效的安排处理，比如创建的时候，线程池是10个，假如实际线程超过10个，Executor会进行有效的队列阻塞和调度。对我们开发者这是透明的，完全不用关心它内部的具体执行；

　　测试用例

 import java.util.concurrent.ExecutorService;

 import java.util.concurrent.Executors;

 import java.util.concurrent.ThreadPoolExecutor;

 import java.util.concurrent.atomic.AtomicInteger;

 /**

  * @author zsh

  * @site www.qqzsh.top

  * @company wlgzs

  * @create 2019-06-02 10:57

  * @description

  */

 public class ExecutorTest {

     // 执行标识

     private static boolean exeFlag=true;

     public static void main(String[] args) throws InterruptedException {

         // 创建ExecutorService 连接池创建固定的10个初始线程

         ExecutorService executorService = Executors.newFixedThreadPool(2);

         AtomicInteger atomicInteger = new AtomicInteger();

         while (exeFlag){

             if (atomicInteger.get() <= 100){

                 executorService.execute(new Runnable() {

                     @Override

                     public void run() {

                         System.out.println("爬取了第"+atomicInteger.get()+"网页...");

                         atomicInteger.getAndIncrement();

                     }

                 });

             }else {

                 if (((ThreadPoolExecutor)executorService).getActiveCount() == 0){

                     executorService.shutdown();

                     exeFlag=false;

                     System.out.println("爬虫任务已经完成");

                 }

             }

            Thread.sleep((long) 0.1);

         }

     }

 }

巴特西

Java Executor框架使用

Java Executor框架在爬虫应用中的使用

最新文章

热门文章