package main

import (

    "fmt"

    "strconv"

    "net/http"

    "regexp"

    "strings"

    "os"

)

//地址的规律

//第一页：https://www.pengfu.com/xiaohua_1.html

//第二页：https://www.pengfu.com/xiaohua_2.html

//第三页：https://www.pengfu.com/xiaohua_3.html

//查看每个页面的源码，可以看到标题的“<h1 class="dp-b"><a href="”有10个,它的实际搜索条件为<h1 class="dp-b"><a href="段子的地址"

//进行到段子的地址后，有两个h1，就是标题，但是我在使用的时候发现网页里有两个地方使用了h1的标签，后面过滤一下，只

//可能过滤到两个，只取一个

//内容开头<div class="content-txt pt10"> 结尾<a id="prev" href="https://www.pengfu.com/content_1850587_1.html"></a>

func HttpGet(url string) (result string, err error) {

    resp, err1 := http.Get(url)

    if err1 != nil {

        err = err1

        return

    }

    defer resp.Body.Close()  //关闭

    //读取网络内容

    buf := make([]byte, *)

    for true {

        n, _ := resp.Body.Read(buf)

        if n ==  {

            break

        }

        result += string(buf[:n])//累加读取的内容

    }

    return

}

func SpiderOneJoy(url string) (title, content string, err error) {

    //爬取页面内容

    result, err1 := HttpGet(url)

    if err1 != nil {

        fmt.Println("SpiderOneJoy HttpGet err = ", err)

        err = err1

        return

    }

    //取关键信息，标题

    re1 := regexp.MustCompile(`<h1>(.*?)</h1>`)

    if re1 == nil {

        err = fmt.Errorf("%s", "SpiderOneJoy regexp.MustCompile err ")

        return

    }

    //取内容

    tmpTitle := re1.FindAllStringSubmatch(result, )//因为我只过滤第一个内容

    for _, data := range tmpTitle{

        title = data[]

        title = strings.Replace(title, "\r", "", -)

        title = strings.Replace(title, "\n", "", -)

        title = strings.Replace(title, " ", "", -)

        title = strings.Replace(title, "\t", "", -)

        break

    }

    //取关键信息，内容

    re2 := regexp.MustCompile(`<div class="content-txt pt10">(?s:(.*?))<a id="prev" href="`)

    if re2 == nil {

        err = fmt.Errorf("%s", "SpiderOneJoy regexp.MustCompile err ")

        return

    }

    //取内容

    tmpContent := re2.FindAllStringSubmatch(result, -)

    for _, data := range tmpContent{

        content = data[]

        content = strings.Replace(content, "\r", "", -)

        content = strings.Replace(content, "\n", "", -)

        content = strings.Replace(content, " ", "", -)

        content = strings.Replace(content, "\t", "", -)

        content = strings.Replace(content, "\t", "", -)

        content = strings.Replace(content, "<br>", "", -)

        content = strings.Replace(content, "<br/>", "", -) //这种方式不太好，肯定有更好的办法

        break

    }

    return

}

func StoreJoyToFile(i int, fileTitile, fileContent []string) {

    //新建文件

    f, err := os.Create(strconv.Itoa(i) + ".txt")

    if err != nil {

        fmt.Println("os.Create err = ", err)

        return

    }

    defer f.Close()

    //写内容

    n := len(fileTitile)

    for i := ; i < n; i++{

        //写标题

        f.WriteString(fileTitile[i] + "\n")

        //写内容

        f.WriteString(fileContent[i] + "\n")

        f.WriteString("--------------------------------------\n")

    }

}

func SpiderPage(i int, page chan <- int)  {

    url := "https://www.pengfu.com/xiaohua_" + strconv.Itoa(i) + ".html"

    fmt.Printf("正在爬取%s\n", url)

    //爬取页面内容

    result, err := HttpGet(url)

    if err != nil {

        fmt.Println("HttpGet err = ", err)

        return

    }

    //fmt.Println("r = ", result)

    //取内容<h1 class="dp-b"><a href="”有10个,它的实际搜索条件为<h1 class="dp-b"><a href="段子的地址"，这里只需要地址内容

    re := regexp.MustCompile(`<h1 class="dp-b"><a href="(.*?)"`)

    if re == nil {

        fmt.Println("regexp.MustCompile err ")

        return

    }

    //解析表达式、并取关键信息

    joyUrls := re.FindAllStringSubmatch(result, -)

    fileTitle := make([]string, )

    fileContent := make([]string, )

    //fmt.Println("url = ", joyUrls)

    //取网址,遍历后第一个返回下标，这里不要，第二个返回内容

    for _, data := range joyUrls{

        fmt.Println("data = ", data[])

        //爬取每一个段子

        title, content, err := SpiderOneJoy(data[])//它应该返回标题和内容，并可能会有报错，共三个返回值

        if err != nil {

            fmt.Println("SpiderOneJoy err ", err)

            continue

        }

        //fmt.Printf("title = #%v#\n", title)//使用这种方式打印就能看到结果里是否包含一些空格

        //fmt.Printf("content = #%v#\n", content)

        fileTitle = append(fileTitle, title) //将所有的标题放在一个切片里

        fileContent = append(fileContent, content) //将所有的内容放在一个内容里

    }

    //将内容写入到文件

    StoreJoyToFile(i, fileTitle, fileContent)

    page <- i //告诉程序是哪一页爬完了

}

func DoWork(start, end int)  {

    fmt.Printf("准备爬取第%d页到第%d页的网址\n", start, end)

    page := make(chan int)

    for i:=start; i<=end; i++ {

        //定义一个函数，爬主页面

        go SpiderPage(i, page)

    }

    for i:=start; i<=end; i++ {

        fmt.Printf("第%d个页面爬取完成", <-page)

    }

}

func main() {

    var start, end int

    fmt.Printf("请输入起始页>=1：> ")

    fmt.Scan(&start)

    fmt.Printf("请输入结束页：> ")

    fmt.Scan(&end)

    DoWork(start, end)

}