•  Atlas加速卡产品

Atlas全系列硬件产品型号如下：

• Atlas 200 DK 开发者套件（型号：3000）

• Atlas 200 AI加速模块（型号：3000）

• Atlas 300I 推理卡（型号：3000/3010）

• Atlas 300T 训练卡（型号：9000）

• Atlas 500 智能小站（型号：3000）

• Atlas 500 Pro 智能边缘服务器 （型号：3000）

• Atlas 800 推理服务器 （型号：3000）

• Atlas 800 推理服务器 （型号：3010）

• Atlas 800 训练服务器（型号：9000）

• Atlas 800 训练服务器 （型号：9010）

• Atlas 900 PoD（型号：9000）

服务器常用Atlas 300I 推理卡（型号：3000/3010）和Atlas 300T 训练卡（型号：9000）这两种，其他不多赘述。

Atlas 300T 训练卡（型号：9000）：

Atlas 300I 推理卡（型号：3000）：

Atlas 300I 推理卡（型号：3010）：

3000和3010外观基本一致，靠标签、BIOS/BMC/OS信息加以区分

3000一般被用于Arm平台，3010用于X86平台。

3010和3000硬件架构略有不同，多了Pcie Switch对进行芯片和服务器PCIE lane进行转接。功耗有所差别，性能基本一致。

昇腾推理产品芯片架构：

•  昇腾AI全栈解决方案

行业应用：智巡、智造、智行、智城、电力、金融、超算、安防....

Atlas系列产品：提供AI训练、推理卡及训练服务器。

CANN（异构计算架构）：芯片使能、驱动层。

MindSpore（AI框架）：全场景AI框架。

MindX SDK（昇腾SDK）：行业SDK和应用解决方案。

ModelArts（AI开发平台）：华为云AI开发平台。

MindStudio（全流程开发工具链）：AI全流程开发IDE。

• 业界常见AI框架

Tensorflow v1 --> Tensorflow v2

谷歌开发的，基于数据流编程的机器学习系统。V1不支持动态图，且需要创建Session会话机制，V2加以改进。

Pytorch

一个针对深度学习，使用AI加速卡来优化的张量库，由Torch7团队开发，以Python优先的深度学习框架，能够实现强大的加速功能，支持动态神经网络。

Onnx

一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架可以采用相同格式存储模型数据并交互，即能够使模型在不同框架之间进行转移。

Caffe

一个兼具表达性、速度和思维模块化的深度学习框架。由伯克利人工智能研究小组和伯克利视觉和学习中心开发。Caffe支持多种类型的深度学习架构，面向图像分类和图像分割，还支持CNN、RCNN、LSTM和全连接神经网络设计。Caffe支持基于GPU和CPU的加速计算内核库，如NVIDIA cuDNN和Intel MKL。

MindSpore

MindSpore是端边云全场景按需协同的华为自研AI计算框架，提供全场景统一API，为全场景AI的模型开发、模型运行、模型部署提供端到端能力。

TensorRT

TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，能在几乎所有的框架中进行快速和高效的部署推理。

• AI训练模型常见分支及实现方式

1.  机器学习

机器学习--深度学习关系图

机器学习主要解决三类问题：

分类---监督学习：解决问题类型如字面意思

回归---监督学习：通过函数表达样本映射的关系来发现属性值的依赖问题

监督学习有标签

聚类--无监督学习：将数据集分为N个类别，通过内在相似性寻找同类

无监督学习无标签

好的数据VS坏的数据

大量数据经过提取，需要数据清洗，排除掉无意义的数据，填补“脏”数据，进行格式转换和特征提取后，才算是“好”的数据。

好的模型VS坏的模型

具有泛化能力，数据集样本喂进模型误差小，可塑性强，预测速率高，无过拟合、欠拟合现象，或影响非常小的模型，是好模型。

训练方法--梯度下降法

每次选取1个样本，训练速度过慢；选择样本数过大，会引起震荡，反向位移的问题，因此要选合适的样本数。迭代时有可能找的全局最低点，而是局部最低点。

超参由人工设定。

这些机器学习算法均有相关数学函数进行计算表达，内容比较多。遇到实际问题再去找相关方向进行参考即可。

2　 深度学习

相比机器学习，深度学习网络结构更深，计算的数据量更大，特征可解释性弱。

训练法则：

梯度下降：

梯度下降原理同机器学习。

反向传播：

激活函数：神经网络用于学习、理解复杂和非线性的函数。仅使用线性函数，则网络复杂度有限。

Sigmoid函数：

tanh函数：

Softsign函数：

ReLU函数：

Softplus函数：

Softmax函数：

正则化---减少模型的泛化误差，防止模型过拟合：

优化器---对传统梯度下降算法进行包装优化：

常见神经网络类型：

a. 卷积神经网络

前馈神经网络，相应一部分覆盖范围内的周围单元。包括卷积层、池化层、全连接层。

b. 循环神经网络

c. 长短记忆性网络

d. 生成对抗网络

常见问题：

数据不平衡：数据集中各类别数据样本数差异过大

梯度消失、态度爆炸：

过拟合、欠拟合

3　 计算机视觉--CV

计算机视觉是AI的一个方向，主要是解决图像、视频等相关领域的问题，另外一个大方向是NLP。

计算机对图像的识别，是识别像素级别的每一点的灰度值，（彩图为RGB三维向量的值）。

计算机视觉难点：

人类存在视觉偏差、视觉欺骗、会对图片赋予意义，计算机不理解这些东西，且欠缺常识。

计算机视觉三大基本原则：

局部性

结构化

几何性

• 训练&推理流程

训练：运用上述方式，根据数学原理分析具体情境问题，构建神经网络。构建过程中，通过对大量数据集的训练，针对训练结果调整神经网络的各项指标和参数，或修改神经网络，导出最优结构。

推理：训练好的模型进行模型格式转换（昇腾是ATC转换），用ACL语言进行推理空间的创建封装后，使用推理数据集进行推理验证，精度或性能出现问题时，通过算子重排、ACL参数重新选择、ATC参数重构等进行优化。推理性能依赖于训练性能。

文中图片来自于华为云学院相关课程