通过TCP Allocate连接数告警了解promethous-NodeExporter数据采集及相关知识扩散

1.问题由来

近日有环境告警如下：TCP Allocate连接数过多

很多资料告诉我们使用:netstat –ant | grep ^tcp | wc –l命令查询，但查询的值与告警中获取的只相差很大，于是抱着学习的心态下载NodeExporter的源码进行查看进行一探究竟。

2.NodeExporter源码初探

通过查看node_exporter-1.1.2代码了解到node_sockstat_TCP_alloc调用的是node_exporter.go代码中parseSockstatProtocol函数。

func parseSockstatProtocol(kvs map[string]int) NetSockstatProtocol {

	var nsp NetSockstatProtocol

	for k, v := range kvs {

		// Capture the range variable to ensure we get unique pointers for

		// each of the optional fields.

		v := v

		switch k {

		case "inuse":

			nsp.InUse = v

		case "orphan":

			nsp.Orphan = &v

		case "tw":

			nsp.TW = &v

		case "alloc":

			nsp.Alloc = &v

		case "mem":

			nsp.Mem = &v

		case "memory":

			nsp.Memory = &v

		}

	}

	return nsp

}

进一步分析调用可知TCP Alloc的值取自于/proc/net/sockstat文件。

// NetSockstat retrieves IPv4 socket statistics.

func (fs FS) NetSockstat() (*NetSockstat, error) {

	return readSockstat(fs.proc.Path("net", "sockstat"))

}

那么第一个疑问解决了，知道了TCP Alloc的取值方法。

那么问题来了，为什么netstat –ant | grep ^tcp | wc –l和/proc/net/sockstat查看的不一样。

3.ss VS netstat

3.1.socket

socket是用于与网络通信的Linux文件描述符。在Linux中，所有东西都是一个文件。在这种情况下，可以将socket视为写入网络而不是写入磁盘的文件。socket在TCP和UDP中有不同的风格。

3.2.procfs

Procfs（proc filesystem）是Linux公开的一种文件系统，它就像窥探内核内存一样。它存在于/proc中，并在/proc/net/tcp和/proc/net/udp 中暴露TCP和UDP套接字的信息。

3.3.ss VS netstat

通过查找netstat相关资料《netstat》了解到如下信息，人们正在从netstat转向ss，因为netstat(实际上是网络工具)已被弃用。但为什么还要如此多的人在使用netstat，猜测是因为netstat也可能被安装在更多的地方。

On Linux, netstat (part of "net-tools") is superseded by ss (part of iproute2). The replacement for netstat -r is ip route, the replacement for netstat -i is ip -s link, and the replacement for netstat -g is ip maddr, all of which are recommended instead.

ss包含在iproute2包中，是netstat的替代品。它除了显示类似于netstat的信息。并且可以显示比其他工具更多的TCP和状态信息。对于跟踪TCP连接和套接字，它是一种新的、非常有用的和更快的(与netstat相比)工具，同时ss直接查询内核，响应速度比netstat快得多。。

关于netstat的替代如下：

$ netstat -r   replaced by   $ ip route

$ netstat -i   replaced by   $ ip -s lin

$ netstat -g   replaced by   $ ip maddr

而ss命令是怎么获取到相关参数的？通过查看ss源码发现ss实际上是解析/proc/net/sockstat的输出。

tcp_total在/proc/net/sockstat的输出中实际上是“alloc”;
tcp4_hash在/proc/net/sockstat的输出中实际上是“inuse”;
tcp_tws在/proc/net/sockstat的输出中实际上是“tw”;

因此，/proc/net/sockstat的输出必须与ss -s的输出一致。

#  cat /proc/net/sockstat &&  echo "----" && cat /proc/net/sockstat6 && echo "---" && ss -s

sockets: used 7095

TCP: inuse 2066 orphan 0 tw 193 alloc 3235 mem 290

UDP: inuse 6 mem 3

UDPLITE: inuse 0

RAW: inuse 0

FRAG: inuse 0 memory 0

----

TCP6: inuse 1072

UDP6: inuse 4

UDPLITE6: inuse 0

RAW6: inuse 0

FRAG6: inuse 0 memory 0

---

Total: 7095 (kernel 17923)

TCP:   3428 (estab 3079, closed 290, orphaned 0, synrecv 0, timewait 193/0), ports 0

Transport Total     IP        IPv6

*	     17923       -         -

RAW	       0         0         0

UDP	      10        6         4

TCP	      3138      2066      1072

INET	  3148      2072      1076

FRAG	  0         0         0

让我们手动解析下/proc/net/sockstat和sockstat6的输出：

s.tcp4_hashed = 2066

s.tcp6_hashed = 1072

s.closed      = 290

s.tcp_tws     = 193

我们可得出如下公式：

alloc=s.tcp_total=s.tcp_total =s.tcp4_hashed + s.tcp6_hashed + s.closed  - s.tcp_tws

减去s.tcp_tws是因为290个closed套接字中193个是tcp_tws状态。

关于/proc/net/sockstat的输出信息如下：

sockets: used：已使用的所有协议套接字总量

TCP: inuse：正在使用（正在侦听）的TCP套接字数量。

TCP: orphan：无主（不属于任何进程）的TCP连接数（无用、待销毁的TCP socket数）

TCP: tw：等待关闭的TCP连接数。

TCP：alloc(allocated)：已分配（已建立、已申请到sk_buff）的TCP套接字数量。

TCP：mem：套接字缓冲区使用量（单位不详。用scp实测，速度在4803.9kB/s时：其值=11，netstat –ant 中相应的22端口的Recv-Q＝0，Send-Q≈400）

4.什么是tcp alloc

在socket统计中，有两种类型的TCP套接字：allocated (已分配)的和inuse(使用状态)。

1,.allocated ：所有的TCP socket状态都被计数为alloc。

2,inuse：除TCP_CLOSE之外的所有TCP socket状态都被计算为inuse(使用状态)。

在许多情况下，TCP套接字可以标记为TCP_CLOSE。然而，内核将TCP套接字的初始状态设置为“TCP_CLOSE”。

因此，如果名为Closed的列具有较高的数字，而名为timewait的列具有较低的数字，那么应用程序可能会创建TCP套接字，而不做其他任何事情。在许多情况下，内核可能会将一个TCP套接字标记为TCP_CLOSE。这种情况就是其中一种，也是最常见的情况。

5.NodeExporter采集内存和CPU的方式

5.1.NodeExporter采集内存使用率

在promethous中获取内存使用率的公式为：

(1 - (node_memory_MemAvailable_bytes{instance=~"$node"} / (node_memory_MemTotal_bytes{instance=~"$node"})))* 100

通过分析NodeExporter的源码node_exporter-1.1.2/node_exporter_test.go，可知内存读取/proc/meminfo文件：

func (fs FS) Meminfo() (Meminfo, error) {

	b, err := util.ReadFileNoStat(fs.proc.Path("meminfo"))

	if err != nil {

		return Meminfo{}, err

	}

	m, err := parseMemInfo(bytes.NewReader(b))

	if err != nil {

		return Meminfo{}, fmt.Errorf("failed to parse meminfo: %v", err)

	}

	return *m, nil

}

从而可知promethous中node_memory_MemAvailable_bytes的值是取自/proc/meminfo的MemAvailable参数值，node_memory_MemTotal_bytes是取自/proc/meminfo的MemTotal参数值。

而内存使用率公式为：

(1-MemAvailable/MemTotal)*100

5.2.NodeExporter采集CPU使用率