go语言带cookie的net客户端请求与[]byte转string

前些日子参加了一个叫Advent of Code的编程大赛，每天一道题，快活似神仙。这每道题都有自己的拼图数据输入puzzle input，要做题就需要用到该数据，把数据复制过来感觉又太麻烦，于是就兴起写了一个直接从html读取数据的函数。

其数据如下：

+12

-10

-4

-8

+18

-1

-13

...

查看标准库文档，发现net/html包可以做这个功能，其函数如下：

resp, err := http.Get("http://example.com/")

if err != nil {

	// handle error

}

defer resp.Body.Close()

body, err := ioutil.ReadAll(resp.Body)

// ...

然后调试，但并未有相关数据输出，在浏览器中检查元素发现该请求需要带cookie才能正确返回数据。直接使用http.Get()并不带有cookie，所以改用NewRequest使用指定的方法、网址和可选的主题创建并返回一个新的*Request。其函数如下：

client := &http.Client{}

	req, err := http.NewRequest("GET", url, nil)

	if err != nil {

		log.Fatal(err)

	}

	req.Header.Set("Cookie", "name=value")

	resp, err := client.Do(req)

	robots, err := ioutil.ReadAll(resp.Body)

  resp.Body.Close()//必须要关闭Body

用ioutil.ReadAll()返回的是[]byte类型，入需要使用可以先将[]byte转换成string，Go语言初学者都会的类型转换语法：string(b)，Go为了稳定性对于上述方法需要经过一些数据上的复制，一旦数据量过大，这个成本是难以忍受的。

所以为了让Go服帖，我们得用上unsafe包，unsafe包提供一些可以跳过Go语言类型安全限制的操作。看下面代码：

func BytesString(b []byte) string {

  return *(*string)(unsafe.Pointer(&b))

}

我们取到[]byte的指针，Go会说*byte不是*string，但是我们有外挂unsafe.Pointer，所以Go就通过了，接着你很自在的把*byte转成了*string，因为reflect.StringHeader和reflect.SliceHeader的结构体只相差末尾一个字段。

类似的用法可以看Go语言黑魔法

接着用regexp包正则表达式FindAllString取出匹配的[]string数据使用，然后再用strconv.Atoi()进行转化就可以了。

Day1的题为求和，其代码如下：

package main

import (

   "fmt"

   "io/ioutil"

   "log"

   "net/http"

   "os"

   "regexp"

   "strconv"

   "unsafe"

)

func BytesString(b []byte) string {//[]byte 转string

   return *(*string)(unsafe.Pointer(&b))

}

func getPuzzle(url string) string {//从网页抓取数据

   client := &http.Client{}

   req, err := http.NewRequest("GET", url, nil)

   if err != nil {

   	log.Fatal(err)

   }

   req.Header.Set("Cookie", "session=53616c7xxx")

   resp, err := client.Do(req)

   robots, err := ioutil.ReadAll(resp.Body)

   resp.Body.Close()

   str := BytesString(robots)

   return str

}

func sum(num []int) int {

   sum := 0

   for _, n := range num {

   	sum += n

   }

   return sum

}

func strtoint(str []string) []int {//string转int

   num := make([]int, len(str))

   for i := 0; i < len(str); i++ {

   	flag := str[i][0]

   	chafre, _ := strconv.Atoi(str[i][1:])

   	switch flag {

   	case '+':

   		num[i] = chafre

   	case '-':

   		num[i] = -chafre

   	}

   }

   return num

}

func main() {

   change := getPuzzle("https://adventofcode.com/2018/day/1/input")

   re := regexp.MustCompile("[+|-][0-9]*")//正则表达式

   str := re.FindAllString(change, -1)

   num := strtoint(str)

   sum := sum(num)

   fmt.Printf("sum is %d\n", sum)

}

如果有更好的方法，欢迎私信，哈哈哈···

巴特西

go语言带cookie的net客户端请求与[]byte转string

最新文章

热门文章