XX公司网络卡断问题

1. 问题现象

2017年XX公司机关网络出现几次异常情况，并寻求内外部专家对异常情况进行诊断分析，均未找到原因，具体情况如下：

1.XX分公司机关网络IP地址为10.0.0.1-10.0.0.254，上半年约有15台电脑出现不能上网现象，但是修改IP地址后可正常使用，约三四天后还需再修改IP地址才能正常使用，该现象大约持续2个月左右。
2.10月中旬，有一台电脑突然出现断网现象，经过修改IP地址后可以正常使用，目前再未出现问题。
3.9月、11月和12月共有三台电脑正在使用的时候突然断网，用笔记本电脑测试网线正常，IP地址配置正常，但是不能上网，最后更换网卡后，网络恢复正常。
4. 12月6号上午视频会期间网络出现闪断3次， 12月7号上午视频会期间网络出现闪断1次，下午闪断1次，12月8号上午视频会期间网络出现闪断2次，断网时间约在1分钟之内，然后网络自行恢复。
5.12月10日，业务运作部网络突然断开，重启交换机后，网络恢复，反复出现三次。
6. 9月21日，下午4点公司到分支机构的所有网络（包含高清监控）全部断开，持续到下午6点恢复，联通公司也未找到原因，但是高清视频监控一直卡顿严重，登录后约5分钟就会自动掉线，再次登录总是提示CMS连接失败，多次尝试才能登录成功，并且还会自动掉线，不能回放，服务器能ping通，一直未测试出真正原因。

2. 环境

3. 问题定位及排查

3.1. 定位

arp攻击，PC主机中病毒

3.2. 排查

3.2.1. 跟踪arp报数据

在S5756-01跟踪后发现10.0.0.25的arp请求和发送包较多，列为怀疑对象。

3.2.2. 查看arp表

[CT-01]dis arp all

查看两次12.29日和1.9日的arp缓存表（见文后附件）

1.9日发现mac为9934-a431-9d00的机器最为可疑，缓存对应了多达43个ip，但不对应0.25的机器。

3.2.3. PC端

PC机arp -d,arp -a测试

1、在客户机运行路由跟踪命令如：tracert -d www.baidu.com，正常情况是路由跟踪执行后的输出第一条应该是默认网关地址，由此判定第一跳的那个非网关IP地址的主机就是罪魁祸首。在局域网内随机找出几台主机，arp -a发现网关是10.0.0.254，而不是mac为9934-a431-9d00的主机。

2、清除缓存重新获取时依然会出现大量指向9934-a431-9d00的记录，初步判定为arp攻击。

3.2.4. 抓包

3.2.4.1. 配置端口镜像

3.2.4.2. 包数据

【1月9日17-36】和【1月10日11-00】

分析的时候也没有发现大量异常的数据包，但是看到了一条嫌疑mac的记录，决定第二天查看10.0.0.53的主机情况。

3.2.5. 处理

3.2.5.1. 思路和方法

由于ip地址是静态的，所以很快找到目的主机，但其ip是10.0.0.162，看看是不是“10.0.0.53”的mac9934-a431-9d00如果是，则与抓包数据对应。

先随机在局域网主机上arp -a 查看缓存表应该还是大量的mac9934-a431-9d00，

断开问题主机，arp-d，清除缓存，五到十分钟再arp -a下，如果不再大面积出现53的mac证明已隔离完毕。

3.2.5.2. 现场

ipconfig查看时发现此主机缓存了大量的ip，而且根据客户描述静态输入其他ip地址时，主机会自动跳转到10.0.0.162。

拔掉网线，隔离。

3.2.6. 观察

1、PC机arp -d,arp -a测试后发现不再出现大量arp缓存，也没有指向9934-a431-9d00的记录了。

2、联系视频会议人员进行连接测试，观察连通情况。

3、将问题主机低格后重新安装操作系统，连接到局域网内

4. 视频监控

4.1. 排查

根据客户反映的视频监控卡顿问题进行排查：

一开始以为也是arp问题，后来PC机无异常后视频还是卡，所以用自己电脑和网线直连交换机测试，发现没有任何延迟和卡顿，观察机柜环境时，发现网线质量很差，怀疑是网线问题，请分公司换了E5的网线后立竿见影。

4.2. 观察

1、随机打开两台主机科达监控客户端进行测试

2、ping 10.0.0.240（监控主机）观察延迟及丢包情况

5. 结束

由于公司人员调整频繁，无法固定使用ip，为管理方便，故没有采用核心交换和pc端绑定mac策略。

结束：

1、核心交换arp表不再出现大量9934-a431-9d00的缓存。

2、局域arp表不再出现大量9934-a431-9d00的缓存，且上网正常，无异常现象。

3、视频监控无卡顿现象，基本无丢包。

4、视频会议测试数据为15000-9丢包率，考虑到中间会经过运营商，所以属于正常。

6. 相关知识

ARP （地址解析协议）

地址解析协议，即ARP（Address Resolution Protocol），是根据IP地址获取物理地址的一个TCP/IP协议。主机发送信息时将包含目标IP地址的ARP请求广播到网络上的所有主机，并接收返回消息，以此确定目标的物理地址；收到返回消息后将该IP地址和物理地址存入本机ARP缓存中并保留一定时间，下次请求时直接查询ARP缓存以节约资源。地址解析协议是建立在网络中各个主机互相信任的基础上的，网络上的主机可以自主发送ARP应答消息，其他主机收到应答报文时不会检测该报文的真实性就会将其记入本机ARP缓存；由此攻击者就可以向某一主机发送伪ARP应答报文，使其发送的信息无法到达预期的主机或到达错误的主机，这就构成了一个ARP欺骗。ARP命令可用于查询本机ARP缓存中IP地址和MAC地址的对应关系、添加或删除静态对应关系等。相关协议有RARP、代理ARP。NDP用于在IPv6中代替地址解析协议。

v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}

Normal
0
false

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

/* Style Definitions */
table.MsoNormalTable
{mso-style-name:普通表格;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin:0cm;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.5pt;
mso-bidi-font-size:11.0pt;
font-family:等线;
mso-ascii-font-family:等线;
mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:等线;
mso-fareast-theme-font:minor-fareast;
mso-hansi-font-family:等线;
mso-hansi-theme-font:minor-latin;
mso-font-kerning:1.0pt;}

巴特西

一次ARP病毒排查