基于大数据的DDoS防护

华为率先把“大数据”技术应用到DDoS检测和防御中，从而在高仿真、高隐蔽性DDoS攻击检测与防御方面走在了业界前列。

伴随着互联网的发展，黑客网络攻击也在不断增加和发展，在众多的网络攻击中，拒绝服务攻击DDoS（Distributed Denial of Service）始终被认为是黑客攻击的终极武器，在互联网发展不同阶段均能掀起血雨腥风。
当前，DDoS攻击产生了革命性的变化，由纯粹的黑客技术炫耀逐渐形成了完整的黑客产业链，进而以恶意竞争、黑色产业链为目的的DDoS攻击越来越多，攻击流量也越来越高，2013年3月，针对欧洲反垃圾邮件公司Spamhaus的300G DDoS攻击创历史新高。DDoS攻击，可谓互联网挥之不去的梦魇。

防御技术面临新挑战
在开始谈DDoS流量清洗或者防护技术之前，先一起来看看DDoS攻击发展趋势：一方面，以SYN Flood、UDP Flood、DNS Flood为代表的虚假源攻击，大部分僵尸主机都来自IDC服务器，因此攻击峰值流量带宽越来越大，直接威胁网络基础设施，如网络带宽拥塞导致网络访问变慢、DNS服务器瘫痪造成网络业务大面积瘫痪；另一方面，针对具体应用的真实源攻击越来越多，典型代表如针对电子商务、网页游戏的CC攻击，此类攻击因需要僵尸主机和被攻击服务器建立TCP连接，为了隐藏僵尸网络，攻击流量越来越小，仿真程度越来越高，以有效躲避安全设备的识别。
2013年3月，欧洲反垃圾邮件公司Spamhaus的网站遭遇史上最大流量DDoS攻击，攻击流量峰值高达300G。同样从业界最大Anti-DDoS服务提供商Prolexic于2013年Q2发布的《Prolexic Quarterly Global DDoS Attack Report》可看到，有17%的DDoS攻击流量平均带宽超过60G。大流量DDoS攻击相对容易检测，但直接挑战防御系统的处理性能及对攻击的快速响应能力，否则攻击流量如决堤的洪水般会瞬间涌至被攻击网络，导致网络链路完全拥塞，部署在接入侧的安全设备完全失效。此类攻击必须依靠部署在网络上游的超大容量防御系统阻断，可见对超大带宽DDoS攻击的清洗系统比较适合由运营商或专业Anti-DDoS服务提供商构筑。业界针对大流量DDoS攻击的检测技术比较成熟，采用低成本的flow流分析技术即可。但清洗系统必须由高性能的硬件平台构成，单机可提供上百G的防御能力，否则防御设备本身就会成为网络瓶颈。
从DDoS攻击技术发展趋势看，攻击手段越来越复杂，应用层攻击越来越像客户端访问，直接威胁业务可用性。针对业务的应用层DDoS攻击，最大特点是攻击目标经过精心挑选，攻击流量小，攻击流量速度慢、持续时间长、手段隐蔽、攻击源分散等，最终形成的攻击效果是服务器IP可达，业务不可用。
DDoS攻击检测系统主要依靠流量模型识别攻击，流量模型越精确，越容易发现攻击。应用层小流量攻击检测难点在于小流量的攻击报文淹没在大流量的网络访问报文中，直接挑战检测设备流量模型的精准度。以10G访问背景流量下，针对移动Web应用的DDoS攻击为例，攻击流量峰值仅有250kbps（50QPS，平均包长600字节），但只要攻击目标选择合理，比如请求不存在的资源，每次查询都需要查询数据库，即可导致被攻击URI无法响应正常用户请求。当采用传统flow检测技术时，为了减少flow流日志对路由器转发性能的影响，一般抽样比设置为10000:1，而250k的攻击流量隐藏在10G的正常访问流量中，攻击报文仅占三十万分之一，这么大的抽样比，很难抽取到攻击报文。因此对flow流分析设备而言，攻击流量越小，越难反映到流量基线的变化。此外，flow流技术描述流量基线的模型仅限于pps和bps，无法深入到应用层，无法用QPS描述业务访问流量模型。由此可见，flow流技术确实不适合做应用层攻击检测。
而且针对应用层的攻击高度模拟业务访问行为，攻击源分散，每个源的访问流量甚至还小于正常客户端的访问流量。尤其是针对移动Web应用的DDoS攻击，导致传统防御系统重定向防御技术失效，传统防御系统则只能采取类似限制源的连接数以缓解攻击。但对移动应用而言，正常访问源即智能终端来自大量移动网关，最终体现为每个正常源IP（移动网关IP）的连接数比攻击源的连接数还高，因此限制连接数的做法会直接导致访问中断。

引入大数据分析
华为率先把“大数据”技术应用到DDoS检测和防御中，从而在高仿真、高隐蔽性DDoS攻击检测与防御方面走在了业界前列。
为什么要大数据？
RSA执行主席Art Coviello在2013年RSA大会上谈到他对安全行业中大数据应用的观点：“我看好大数据。从大数据分析中获取情报意味着我们不再只是响应攻击。黑客将如何攻击我们，这并不重要。重点在于从预防模式跳出来，大数据将让你更快速地检测和响应攻击。”
快速发现和响应应用层攻击的首要条件是防御系统能够多维度地精确描述流量模型。流量模型又可分为业务访问的流量模型和攻击的流量模型两种，业务访问的流量模型用于描述没有攻击时的网络状态，一旦业务访问流量模型发生变化，说明网络有异常。对于一次50QPS的CC攻击，250k的攻击流量隐藏在10G的正常访问流量中，攻击报文仅占30万分之一，仅仅用针对80端口的TCP报文的pps显然难以描述出业务访问模型的变化。事实上，用于检测攻击的业务访问模型必须用到目的IP的http get报文速率即QPS描述。为了防止正常访问流量突变，比如“双11”网络购物热潮引起的QPS突变引入检测误判，还可以依靠高危URI访问流量模型变化监控攻击。而对攻击的流量模型则比较适合各类针对会话缺陷或应用缺陷的慢速攻击检测，比如TCP retransmission attack、socktress、SSL-DoS/DDoS、http slow headers/post attack，此类攻击流量更小，隐蔽性更强，但攻击效果非常明显。此类攻击必须基于源+会话的维度描述，由此可见，针对攻击的流量模型的描述是否准确是快速检测慢速攻击的关键。
由以上分析可以看出，防御系统要想快速发现和响应攻击，必须具备完整、无误地描述防护网络的各种流量模型的能力，这就要求防御系统能够对防护网络做全流量拷贝，基于大数据逐包统计、分析、对比。
华为拥有一个超过300人的专业攻防团队，实时监控和分析全球安全事件，针对每一类新型DDoS构建数据模型、开发关联分析算法，以确保高检出率。
大数据全流量采集及分析
全流量采集：首先从流量选取上一定要“全”，大数据的核心理念之一就是只有提取全面，后续的分析才能精准。华为Anti-DDoS方案采用旁路部署方式，对1:1镜像或者分光过来的流量进行全流量分析，以确保防护网络流量模型学习及攻击检测的精准度。以数据中心边界防护为例进行说明，要以低成本部署实现对来自外部的DDoS攻击的防御能力，仅对入数据中心的流量进行全流量采集。以百G带宽数据中心为例，假设数据中心入和出的流量比例为1:10，进入检测系统的流量，1秒钟10G，1分钟600G，1天高达864T，1周的数据就更大得惊人——756TB！
华为Anti-DDoS方案对从防护网络链路拷贝到的流量，从3/4/7层分60多种维度建立流量模型，进行关联分析，生成业务访问动态流量基线，然后基于动态流量基线自动生成攻击防护策略检测阈值。动态流量基线的学习周期默认为1周，为适应网络流量模型因业务变化而发生变化，流量基线学习也是以学习周期为一个循环，不断学习不断调整、更新检测阈值。因此，对一个10G带宽网络链路，华为Anti-DDoS方案每建立一套DDoS检测阈值，就必须处理高达756TB的数据。带宽越大，需要处理的数据就越多。
大数据关联分析技术，提升检测和防御精度：华为Anti-DDoS方案对防护网络进行60多种维度的流量基线模型学习时，基于高性能多核CPU并行处理硬件，采用大数据处理技术，以确保基线学习的高效性。基本工作原理是：流量进入Anti-DDoS系统的接口板，进行并发分流处理，到达各业务板的每个CPU，一个CPU又可分为多个微处理器，各微处理器同一时间并行处理采集到的流量，以提升处理性能。整个系统采用“MapReduce”大数据处理思想，将学习的60多种维度的流量模型定义成层次化的数据结构，根据报文类型有针对性地分解、统计、分析，最后将分析结果记录到相应的数据结构。
动态基线学习结束后，攻击检测流程实质上就是不断将进入设备的报文按3/4/7层逐层解析，以1秒为计算单位，按照这60多种维度进行精细化统计，然后将统计结果和攻击检测阈值相比较，当流量统计值大于攻击检测阈值，则认为流量异常，触发防御流程，这个响应时间在秒级。一般现网DDoS攻击在5分钟之内，可轻松升至20G，可见，秒级的响应攻击延迟是领先的Anti-DDoS系统的必备条件。
由此可见，Anti-DDoS系统要做到轻松应对网络层攻击、应用层攻击、会话层威胁及各类慢速攻击，且做到秒级攻击响应延迟，必须依托高性能的硬件平台，在大数据全流量采集的前提下，实施多维度的统计和检测，真正有能力做到不漏判、不误判。
精准与实时性缺一不可
攻击检测的精准度完全取决于流量模型的精细化程度。华为Anti-DDoS系统可实现从防护网段、防护目标IP、及源IP这3个维度展开学习，按网络层次不同又可将统计点分为网络层、会话层、应用层3大纵向维度，统计点又可以进一步细分为pps、bps、QPS、访问比例。为了提升检测精度和降低防御误判，系统还分别从网络层、会话层及应用层对TOP N访问源IP及访问资源进行学习，这些业务访问TOP N流量模型，不仅可用来快速发现攻击，还可用于检验防御效果。其中基于会话的多维度统计分析，并结合行为分析技术进行关联分析发现和防御各类慢速攻击是华为Anti-DDoS解决方案的特有技术。
同时为提升防御时的客户体验，华为Anti-DDoS系统采用会话维度建立业务访问IP信誉体系，当攻击发生时，直接作为白名单，快速转发业务访问流量。业务访问IP信誉的数量最大最高可达40M，足以满足攻击发生时业务访问流量快速转发需求。
从以上分析可以看出，为了应对越来越像正常用户业务访问的DDoS攻击，基于大数据的DDoS攻击检测，必须保证攻击检测的精准以确保快速响应攻击，同时又要保证防御的精准，以确保防御不影响用户体验。

历经考验，表现卓越
2013年11月11日——“双11”网络购物节当天，国内著名的电子商务网站阿里巴巴的网上流量峰值达到了数Tbps，与此同时阿里巴巴的业务系统也遭受着多轮DDoS攻击，有近20Gbps的大流量攻击，也有小于500Mbps的应用层攻击，每轮攻击华为的清洗方案均在2秒内成功阻断，无漏报误报现象，有力地保障了阿里巴巴“双11”的业务正常运转，充分验证了大数据时代华为Anti-DDoS技术的优势。
除此之外，华为Anti-DDoS系统在全球多个国家的数据中心均有成功部署，每天成功抵御攻击次数上万次，防护效果获得客户的一致好评。