云平台大流量攻击导致网络堵塞问题处理

云平台由于承载了大量的vms，发生大流量攻击事件，大流量攻击来自两个方向：一个是由外部攻击云平台内部的流量，一个是内部vm中了木马或者病毒，发起的有内部攻击外部的流量。

 一、关于内部流量攻击的处理

 （一）、问题描述告警

收到监控告警，交换机或者防火墙某端口流量过高；或者云平台网络出口堵塞，影响整个云平台的业务服务。

 （二）、分析过程

进入机房，串口线连接华为9306交换机，登陆交换机，查看端口流量，查找具体是哪个端口流量太大。

显示端口流量信息

<S9306-1>dis interface brief

InUti/OutUti: input utility/output utility

Interface                   PHY   Protocol InUti OutUti   inErrors  outErrors

Eth-Trunk1                  up    up       0.01%  0.03%          0          0

  GigabitEthernet2/0/11     up    up       0.01%  0.01%          0          0

  GigabitEthernet2/0/14     up    up       0.01%  0.05%          0          0

……………………………………………………………………………….

GigabitEthernet2/0/0        up    up       0.01%  0.05%          0          0

GigabitEthernet2/0/1        up    up       0.20%  0.24%          0          0

GigabitEthernet2/0/2        up    up       0.01%  0.06%          0          0

GigabitEthernet2/0/3        up    up       0.01%  0.05%          0          0

GigabitEthernet2/0/4        up    up       0.37%  0.10%          0          0

GigabitEthernet2/0/5        up    up         78%  1.89%          0          0

GigabitEthernet2/0/6        up    up       0.01%  0.01%          0          0

GigabitEthernet2/0/7        up    up       0.01%  0.01%          0          0

GigabitEthernet2/0/8        down  down        0%     0%          0          0

GigabitEthernet2/0/9        down  down        0%     0%          0          0

GigabitEthernet2/0/10       up    up       1.15%  1.19%          0          0

…………………………………………………………………………………

GigabitEthernet2/0/36       up    up       0.01%  0.01%          0          0

GigabitEthernet2/0/37       up    up       0.01%  0.01%          0          0

…………………………………………………………………

XGigabitEthernet6/0/0       up    up       0.18%  7.81%          0          0

XGigabitEthernet6/0/1       down  down        0%     0%          0          0

可以看到端口interface GigabitEthernet 2/0/5 In方向的流量很大，利用率达到了78%。根据历史经验，肯定是有问题的。

进一步查看该端口的状态：

<S9306-1>dis interface GigabitEthernet 2/0/5

GigabitEthernet2/0/5 current state : UP

Line protocol current state : UP

Description:connect to 09-03-c7000-sw01-int02-S1_S4

Switch Port, PVID : 2640, TPID : 8100(Hex), The Maximum Frame Length is 9216

IP Sending Frames' Format is PKTFMT_ETHNT_2, Hardware address is 0819-a6eb-1651

Last physical up time   : 2013-12-20 10:08:55

Last physical down time : 2013-12-18 10:57:23

Port Mode: COMMON COPPER

Speed : 1000,  Loopback: NONE

Duplex: FULL,  Negotiation: ENABLE

Mdi   : AUTO

Last 300 seconds input rate 781025216 bits/sec, 64829 packets/sec

Last 300 seconds output rate 18883416 bits/sec, 23678 packets/sec

Input peak rate 994720240 bits/sec, Record time: 2014-03-14 00:39:52

Output peak rate 938518136 bits/sec, Record time: 2014-03-06 17:28:01

Input:  31379646364 packets, 44851971775816 bytes

  Unicast:                31378437973,  Multicast:                     1179323

  Broadcast:                    29068,  Jumbo:                               0

  Discard:                          0,  Total Error:                         0

  …………………………………………………………………………….

Output:  15729080925 packets, 6633953767230 bytes

  Unicast:                15203902015,  Multicast:                   381790756

  Broadcast:                143388154,  Jumbo:                               0

  Discard:                    3044676,  Total Error:                         0

 …………………………………………………………………………….

    Input bandwidth utilization threshold : 100.00%

    Output bandwidth utilization threshold: 100.00%

    Input bandwidth utilization  : 78.10%

    Output bandwidth utilization : 1.89%

通过黄色字体可以看出，input方向最高利用率为78.10%，最近5分钟 781025216bits/sec=97628152Bit=97628KB=97MB/sec。 

 我们在配置交换机时，对于description的属性，有具体的描述规范，通过description的描述可以看出，该端口连接09-03-E9000-sw01-int02-S1_S4，这端口链接是的华为E9000刀框第二个交换模块的第二个口子，该刀框上有4个服务器s1、s2、S3、S4，登陆虚拟化平台，分别查看S1-S4服务器的网络信息，发现S1的最高速率为63026M。

进一步查看该服务器上的vms，查看每个虚拟机的网络资源使用情况，可以查找到具体时哪个vm的网络有问题，直接断网，然后通知包机人处理。

（三）、后续跟踪

清空端口流量信息，一段时间后，进行观察

<S9306-1> Undo terminal

<S9306-1>reset counters interface GigabitEthernet 1/0/0

This operation resets the counters in the display interface command output on this interface.

Info: Reset successfully.

二、关于外部流量攻击的处理

1、登录交换机，查看各个端口的流量，如果端口流量不大。

<SD-Tolerant-SW-1>dis interface brief

2、查看防火墙各个端口的流量

<SD-Tolerant-SW-1>dis interface  GX/X/X(重点是与ce侧互联的端口)

如果来自ce端口的流量大，则查看log日志，并打开console日志刷新：

Dis log

 [SD-Tolerant-SW-1]info-center enable

会发现有黑名单不断产生，则可以基本断定是外部网络攻击；即使在log中没有发现，也有可能是攻击量太大，防火墙已经放弃处理。

3、立即通知soc人员查看其监控设备，是否异常流量，如果有，则根据被攻击地址，soc人员配置清洗，或通知数据网人员进行黑洞配置。