基于LSTM的CDN网络流量预测

实验目标

1. 掌握时序预测中基础的数据分析及训练模型的基本流程；
2. 掌握时序预测中基于多线路的单元多步时序预测的基本方法；
3. 掌握使用Pytorch进行LSTM模型的构建、训练、保存、加载、预测、统计准确率指标的方法；

案例内容介绍

随着互联网、云业务的迅速发展，企业运转与云服务运维产生的数据与日俱增，在实际生产中，业务的运转往往遵循着相应的规律，时序数据所能带来的价值也日益显现。

本案例是基于CDN(Content Delivery Network）的网络流量预测，CDN是构建在现有网络基础之上的智能虚拟网络，目的是将源站内容分发至最接近用户的节点，使用户可就近取得所需内容，提高用户访问的响应速度和成功率。CDN智能调度中的流量分配算法、95调度算法与错峰调度等算法的有效性高度依赖域名流量的趋势，若能较为准确的预测域名流量的趋势，则可以提升调度算法的效果。与此类似的还有零售预测、供需预测等相关场景。

时间序列预测按数据及场景类别主要可分为单元时序预测(单变量)、多元时序预测、单步预测(预测)、多步预测几类。时间序列预测算法有基于统计的、基于机器学习的和基于深度学习的等等。
本文根据实际场景(单元多步时序预测)，针对多线路预测问题，从数据分析到模型预测，采用LSTM，端到端实现CDN网络流量预测模型。

注意事项

1. 本案例需使用 GPU 运行，请查看《ModelAtrs JupyterLab 硬件规格使用指南》了解切换硬件规格的方法；
2. 如果您是第一次使用 JupyterLab，请查看《ModelAtrs JupyterLab使用指导》了解使用方法；
3. 如果您在使用 JupyterLab 过程中碰到报错，请参考《ModelAtrs JupyterLab常见问题解决办法》尝试解决问题。

实验步骤

1. 下载代码和数据集

本案例使用的数据集是来自于脱敏过的CDN网络流量预测项目数据集，因此数据及模型精度较真实效果有点偏差，仅供学习使用

运行下面的代码后可得到network_traffic_forecast目录，里面含有本案例所需的代码和数据集，其data子目录下有4个csv，数据的时间间隔是1分钟，每个区域下面有3个运营商，共31个区域，每个{区域，运营商}对应一条具体的线路，即共31*3条线路，4个csv文件分别对应不同区域流量的4天数据，例如：time_series_1.csv: {0-3}区域，time_series_2.csv: {4-7}区域

import os
import moxing as mox
if not os.path.exists('./network_traffic_predict'):
    mox.file.copy('obs://modelarts-labs-bj4-v2/course/modelarts/zjc_team/time_series_forecast/network_traffic_forecast/network_traffic_forecast.zip', './network_traffic_forecast.zip')
    os.system('unzip network_traffic_forecast.zip')

if not os.path.exists('./network_traffic_forecast'):
    raise Exception('错误！数据不存在！')

INFO:root:Using MoXing-v1.17.3-

INFO:root:Using OBS-Python-SDK-3.20.7

2. 查看数据

构建任何模型之前，都需要先对数据集进行分析，了解数据集的规模、属性名、属性值等情况。因为我们要先了解数据，才能用好数据

2.1 读取csv文件

pandas是常用的python数据分析模块，我们先用它来加载数据集中的csv文件。以time_series_1.csv为例，我们先加载该文件来分析数据的情况

import pandas as pd
df_data = pd.read_csv("./network_traffic_forecast/data/time_series_1.csv")

2.2 查看单个csv文件数据的规模

print('单个csv文件数据的规模，行数：%d, 列数：%d' % (df_data.shape[0], df_data.shape[1]))

单个csv文件数据的规模，行数：68601, 列数：4

2.3 查看前20行数据

使用pandas加载csv后，得到的是一个DataFrame对象，可以理解为一个表格，调用该对象的head()函数，我们查看一下该表格的头20行数据

df_data.head(20)

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

如上所示是表格的头20行数据，表头是属性名，属性名下面是属性值，各属性含义如下：

2.3.1 查看单条线路数据情况

df_data[(df_data['att1'] == 0) & (df_data['att2'] ==0)]

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

如上所示，以att1=0，att2=0 查看单条线路{区域，运营商}数据情况，可以看到数据是1min采样一次，共4天。

2.3.2 查看数据时序性情况

画出每条线路数据曲线图，根据曲线图判断数据时序性

import time
df_data["TimePoint"] = df_data["TimePoint"].apply(lambda x: time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(x)))  # 时间戳转换

%matplotlib inline
df_data = df_data.set_index(['TimePoint'])
print(df_data.groupby(["att1","att2"])['Value'].plot(figsize=(20,10)))
df_data = df_data.reset_index(['TimePoint']) 

INFO:matplotlib.font_manager:font search path ['/home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/ttf', '/home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/afm', '/home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/pdfcorefonts']

INFO:matplotlib.font_manager:generated new fontManager


att1  att2

0     0       AxesSubplot(0.125,0.125;0.775x0.755)

      1       AxesSubplot(0.125,0.125;0.775x0.755)

      2       AxesSubplot(0.125,0.125;0.775x0.755)

1     0       AxesSubplot(0.125,0.125;0.775x0.755)

      1       AxesSubplot(0.125,0.125;0.775x0.755)

      2       AxesSubplot(0.125,0.125;0.775x0.755)

2     0       AxesSubplot(0.125,0.125;0.775x0.755)

      1       AxesSubplot(0.125,0.125;0.775x0.755)

      2       AxesSubplot(0.125,0.125;0.775x0.755)

3     0       AxesSubplot(0.125,0.125;0.775x0.755)

      1       AxesSubplot(0.125,0.125;0.775x0.755)

      2       AxesSubplot(0.125,0.125;0.775x0.755)

Name: Value, dtype: object

时间序列数据构成要素：长期趋势，季节变动，循环变动，不规则变动。

1. 长期趋势（T）现象在较长时期内受某种根本性因素作用而形成的总的变动趋势。
2. 季节变动（S）现象在一年内随着季节的变化而发生的有规律的周期性变动。
3. 循环变动（C）现象以若干年为周期所呈现出的波浪起伏形态的有规律的变动。
4. 不规则变动（I）是一种无规律可循的变动，包括严格的随机变动和不规则的突发性影响很大的变动两种类型。

分析：

如上图所示，是将数据按照(att1，att2)分组后，每条线路的曲线示意图，图上每条曲线则对应不同的线路，横轴为时间，纵轴为单条线路对应的Value值。根据图中曲线及以上时间序列数据特点，可得出以下结论：

• 数据存在周期性 每天一个周期，同一线路各周期间数据范围大致相同，不存在趋势性，季节性由于数据较少，暂看不出来，
• 共31个区域，每个{区域，运营商}]对应一条具体的线路，即共31*3条线路 每条线路大致趋势相同，但是量级不一样 需要进行归一化
• 数据峰值处波动较大，其余部分较平缓
• 整体数据质量较好，不需要进行数据平滑等使得数据变平稳的操作，后续建模预测未来10min，将主要依赖待预测点前一段时序数据进行预测。
• 数据中无明显脱离整体趋势范围的异常值。

2.4 数据分析

查看数据的统计值及空值情况

df_data.groupby(["att1","att2"]).describe()

.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead tr th {
    text-align: left;
}

.dataframe thead tr:last-of-type th {
    text-align: right;
}

• 数据在时间列采样上存在缺失值，需要进行缺失值填充

  对于count列，不同的att1与att2组合(不同线路)对应的count长度不同，正常情况下，数据有4天，应该是1440*4 = 5760个点，说明数据在时间列采样上存在缺失值，需要进行缺失值填充

查看Value列的最大最小值

由于以上分析中，value的max和min显示并不直观，因此这里再做具体分析

print(df_data['Value'].min())
print(df_data['Value'].max()) 

1.1694885305466325

609569980.8860668

可以看到最小值是1.1694885305466325，最大值为609569980.8860668，无小于等于0的异常值；

未完待续