//根据爬取网页的协议 引入对应的协议， http||https

var http = require('https');

//引入cheerio  简单点讲就是node中的jquery  jquery写法获取所得页面dom元素

var cheerio = require('cheerio');

//目标网址  这里是图片网址

var url = '';

//文件读写

var fs = require('fs');

//发送request请求

var request = require('request');

//防止中文乱码

var iconv = require('iconv-lite');

function getimage(url, page) {

  //采用http模块向服务器发起一次get请求

  http.get(url, function (res) { //get到x网址，成功执行回调函数

    var html = ''; //用来存储请求网页的整个html内容

    var htmlarr = [];

    var htmllength = 0;

    //监听data事件，每次取一块数据

    res.on('data', function (chunk) {

      // html += chunk;

      htmlarr.push(chunk);

      htmllength += chunk.length;

    });

    //监听end事件，如果整个网页内容的html都获取完毕，就执行回调函数

    res.on('end', function () {

      html = Buffer.concat(htmlarr,htmllength);

      html = iconv.decode(html,'gb2312');

      var $ = cheerio.load(html,{decodeEntities: false}); //采用cheerio模块解析html

      //fs.stat 判断文件夹是否存在  ./2717/

      fs.stat("./2717/" + page, (err, stats) => {

        if(stats){

          save($,page)

         return

        }

        // fs.mkdir 没有文件夹就创建文件

        fs.mkdir("./2717/" + page, function (err) {

          if (err) {

            return console.error(err);

          }

          save($,page)

        });

      });

    });

  }).on('error', function (err) { //http模块的on data,on end ,on error事件

    console.log(err);

  });

}

function save($,page){

  var imgarr = [];

  console.log($('.w1200 .w1200 .w110 img').length);

  $('.w1200 .w1200 .w110 img').each(function (val, index) {

    var obj = {

      url: $(this).attr('src'),

      alt: $(this).attr('alt')

    }

    if('夏天少女系清新漂亮美甲背景图片' == $(this).attr('alt')) console.log($(this).attr('src'));

    imgarr.push(obj)

    request(encodeURI($(this).attr('src'))).pipe(fs.createWriteStream("./2717/" + page+'/'+$(this).attr('alt')+'.jpg'));

  });

  fs.appendFile("./2717/" + page+'/备注.txt', JSON.stringify(imgarr), 'utf-8', function (err) {

    if (err) {

      console.log(err);

    }

  });

}

for(var i = 1 ;i<12;i++){

  url='https://www.2717.com/beautiful/beijingtupian/list_24_'+i+'.html';

  getimage(url, i);

}