量化是指将信号的连续取值近似为有限多个离散值的过程。可理解成一种信息压缩的方法。在计算机系统上考虑这个概念，一般用“低比特”来表示。

模型量化为定点与浮点等数据之间建立一种数据映射关系，使得以较小的精度损失代价获得了较好的收益。详细如下：

R 表示真实的浮点值，Q 表示量化后的定点值，Z 表示 0 浮点值对应的量化定点值，S 则为定点量化后可表示的最小刻度。 由浮点到定点的量化公式如下：

浮点到定点的量化:

               (1)

定点到浮点的反量化:

            (2)

其中，S和Z的求值公式如下：

            (3)

 分别表示最大和最小的浮点数，最大和最小的定点数。量化后的 Q 还是反推求得的浮点值 R，若它们超出各自可表示的最大范围，则需进行截断处理。

---

2.3量化基础概率

均匀与非均匀量化:

如上图所示，量化可分为均匀量化和非均匀量化，上图左图的均匀量化即为公式(1)方式的线性量化。而网络权重或者特征分布不一定是均匀的，简单的线性量化可能导致原网络明显的信息丢失，因此还可以进行非均匀量化，如使用Kmeans对网络权重进行聚类，得到不同的聚类中心，然后将聚类中心作为同一簇权重的量化代表。

对称与非对称量化:

在理想的情况下，如上图左图所示，特征分布比较均匀，因此可以对模型进行对称量化，即以0点值左右两边绝对值相等进行量化。但是很多情况下模型权重或特征是分布不均匀的，不一定在0点值两边对称，如上图右图所示，直接进行对称量化会某一侧的特征被严重压缩，大量丢失网络信息，因此可为了尽可能以的保持原网络表示的信息，可进行非对称量化。

动态与静态量化:

有不同的校准方法来确定上图[α， β]的剪切范围。量化方法的另一个重要区分因素是裁剪范围的确定。可以静态地计算权重的范围，因为在大多数情况下，参数在推断期间是固定的。然而，每个输入样本的激活映射是不同的。因此，有两种量化激活的方法:动态量化和静态量化。

在动态量化中，在运行时期间为每个激活映射动态计算此范围。这种方法需要实时计算信号统计信息（最小值、最大值、百分位数等），这些统计信息可能具有非常高的开销。然而，动态量化通常能获得更高的精度，因为信号范围是精确计算每个输入的。

另一种量化方法是静态量化，其中剪裁范围是预先计算的，在推理期间是静态的。这种方法在推理过程不会增加任何计算开销，但与动态量化相比，它通常会导致更低的精度。预计算的一种流行方法是运行一系列校准输入以计算典型激活范围。

总的来说，动态量化动态计算每个激活的裁切范围，通常可实现最高精度。然而，动态计算裁切的范围非常消耗计算，因此，业界最常使用静态量化，其中所有输入的裁切范围都是固定的。

不同量化粒度:

在计算机视觉任务中，每层的激活输入有许多不同的卷积滤波器卷积，如图上所示。这些卷积滤波器的每个都可以具有不同的值范围。因此，量化方法的一个区别是如何为权重计算裁切范围[α，β]的粒度。可将它们分类为层量化，分组量化和通道量化：
a)层量化：在这种方法中，裁切范围是通过考虑层卷积滤波器中的所有权重来确定的，如上图的第三列所示。通过该层中整个参数的统计信息(如最小、最大和百分位数等)，然后对整层卷积滤波器使用相同的裁切范围。虽然这种方法实现非常简单，但它通常会导致次优解，因为每个卷积滤波器的范围可能会有很大的变化，会使某些参数范围相对较窄的卷积核失去量化分辨率。
b)分组量化：可以将层内的多个不同通道分组，以计算裁切范围（激活或卷积核）。这对于单个卷积/激活中参数分布变化很大的情况可能会有所帮助，分组量化可以在量化分辨率和计算开销之间建立一个很好的妥协。
c)通道量化：裁切范围的一个通常选择是为每个卷积滤波器使用固定值，独立于其他通道，如上图最后一列所示。也就是说，每个通道都被分配了一个专用的缩放因子。这确保了更好的量化分辨率，并通常导致更高的精度，通道量化是目前用于量化卷积核的标准方法。

随机量化

在推理过程中，量化方案通常是确定性的。然而，这并不是唯一的可能性，一些工作已经探索了随机量化用于量化感知训练以及降低精度训练。高层次的直觉是，与确定性量化相比，随机量化可能允许NN进行更多探索。人们通常认为小的权重更新可能不会导致任何权重变化，因为四舍五入操作可能总是返回相同的权重。然而，启用随机舍入可能会为NN提供转变的机会，从而更新其参数。下面公式为在Int量化和二值量化的随机舍入方式。

微调的方法

量化后，通常需要调整神经网络(NN)中的参数。这可以通过retraining模型来执行，该过程称为量化感知训练（QAT），也可以在不retraining的情况下完成，该过程通常称为训练后量化(PTQ)。上图显示了这两种方法之间的示意性比较(左图为量化感知训练，右图为训练后量化)，并在下文进一步讨论。

• 量化感知训练（伪量化）

给定一个训练好的模型，量化可能会对训练好的模型参数引入扰动，这可能会将模型偏离以浮点精度训练时收敛到的点。可以通过使用量化参数重新训练NN模型来解决这个问题，以便模型能够收敛到具有更好损失的点。一种流行的方法是使用量化感知训练（QAT），其中通常的正向和反向传递是在浮点中对量化模型执行的，但模型参数在每次梯度更新后都会量化。特别是，在以浮点精度执行权重更新后，执行此投影非常重要。使用浮点执行向后传递非常重要，因为在量化精度中累积梯度可能会导致零梯度或具有高误差的梯度，特别是在低精度中。
反向传播中的一个重要微妙之处是如何处理不可微量化算子（公式1）。在没有任何近似的情况下，这个运算符的梯度几乎在任何地方都是零，因为在公式中的舍入操作是分段平面运算符。解决这个问题的一种流行方法是通过所谓的直通估计器（STE）近似该运算符的梯度。STE基本上忽略了舍入操作，并使用标识函数近似它，如下图所示。

尽管STE是粗略近似的，但QAT已被证明有效。然而，QAT的主要缺点是重新训练NN模型的计算成本。这种重新训练可能需要执行几百个epoch来恢复精度，特别是对于低位精度量化。如果量化模型要在很长一段时间内部署，如果效率和准确性特别重要，那么在重新训练方面的投资可能是值得的。然而，情况并不总是这样，因为有些模型的寿命相对较短。

• 训练后量化

替代昂贵的QAT方法是训练后量化（PTQ）执行量化和权重调整，不进行任何微调。因此，PTQ的开销非常低，而且往往可以忽略不计。与QAT不同，QAT需要足够数量的训练数据进行再培训，PTQ还有一个额外的优势，即它可以应用于数据有限或未标记的情况。然而，与QAT相比，这通常是以更低的精度为代价的，尤其是对于低精度量化。

• Zero Shot（即data-free）

如目前所讨论的，为了在量化后实现最小的精度下降，我们需要访问整个或者部分训练数据。首先，我们需要知道激活的范围，以便我们可以剪裁值并确定适当的缩放因子（文献中通常称为校准）。其次，量化模型通常需要微调来调整模型参数并恢复精度下降。然而，在许多情况下，在量化过程中，不可能访问原始训练数据。这是因为训练数据集要么太大，无法分发，要么是独有的（例如Google的JFT-300M），要么是由于安全或隐私问题（例如医疗数据）而敏感的。目前提出了几种不同的方法来解决这一挑战，我们称之为Zero Shot量化（ZSQ）。根据高通的一个工作的启示[2]，可以描述两个不同级别的Zero Shot量化：
第1级：无数据，无微调（ZSQ+PTQ）。
第2级：无数据，但需要微调(ZSQ +QAT).
级别1允许更快、更容易的量化，而无需任何微调。微调通常很耗时，而且通常需要额外的超参数搜索。级别1可通过权重均衡或者BatchNorm的统计参数实现校正，无需微调。
然而，级别2通常会导致更高的精度，因为微调有助于量化模型恢复精度下降，特别是在超低位精度设置中。级别2微调的输入数据主要通过GAN生成，可根据量化前的模型，使用GAN生成近似的分布数据，而无需再访问外部数据。

Zero Shot（又名date-free）量化执行整个量化，而不访问训练/验证数据。这对于希望加快客户工作负载部署而无需访问其数据集的提供商来说尤其重要。此外，这对于安全或隐私问题可能限制对训练数据的访问的情况非常重要。

---

2.4量化进阶概念

• FP32,伪量化和定点量化

部署量化NN模型有两种常见的方法，模拟量化（又名伪量化）和仅整数量化（又名定点量化）。在模拟量化中，量化的模型参数存储在低精度中，但操作（如矩阵乘法和卷积）是用浮点算法执行的。因此，量化参数需要在浮点运算之前反量化，如图上图（中间）所示。因此，人们不能完全受益于快速高效的低精度逻辑与模拟量化。然而，在纯整数量化中，所有操作都使用低精度整数算术执行，如上图（右）所示。这允许整个推理可以用有效的整数算法执行，而不需要对任何参数或激活进行任何浮点反量化。
一般来说，使用浮点算法在全精度下执行推理可能有助于最终量化精度，但这是以无法从低精度逻辑中受益为代价的。低精度逻辑在延迟、功耗和区域效率方面与全精度逻辑相比具有多重优势。与模拟/假量化相比，仅整数量化和二进量化更可取。这是因为仅整数使用较低精度的逻辑进行算术，而模拟量化使用浮点逻辑来执行运算。然而，这并不意味着伪量化永远没有用处。事实上，伪量化方法对带宽限制而不是计算限制的问题是有益的，例如在推荐系统中，对于这些任务，瓶颈是内存占用空间和从内存加载参数的成本。因此，在这些情况下，执行伪量化是可以接受的。

• 混合精度量化

很容易看到，随着我们使用较低精度量化，硬件性能得到了提高。然而，将模型均匀量化到超低精度可能会导致精度显著下降。可以通过混合精度量化来解决这个问题。在这种方法中，每个层都以不同的位精度量化，如上所示。这种方法的一个挑战是，选择此位设置的搜索空间在层数上是指数级的。
目前提出了不同的方法来解决这一巨大的搜索空间。
a）为每个层选择这种混合精度本质上是一个搜索问题，并且已经提出了许多不同的搜索方法。

b）另一类混合精度方法使用周期函数正则化来训练混合精度模型，通过自动区分不同层及其在精度方面的变化重要性，同时学习它们各自的位宽。

c）HAWQ 引入了一种基于模型二阶灵敏度的自动方法来查找混合精度设置。
混合精度量化已被证明是一种有效的硬件高效方法，用于不同神经网络模型的低精度量化。在这种方法中，NN的层被分组为对量化敏感/不敏感，每个层使用高/低位。因此，人们可以最大限度地减少精度下降，并仍然受益于减少内存占用和低精度量化更快的加速。

• 硬件感知量化

量化的目标之一是提高推理时延。然而，并非所有硬件在量化某个层/操作后都提供相同的速度。事实上，量化的好处取决于硬件，片上内存、带宽和缓存层次结构等许多因素都会影响量化速度。
考虑这一事实对于通过硬件感知量化实现最佳效益非常重要。因此需要模拟硬件延迟，在硬件中部署量化操作时，需测量不同量化位精度的每层的实际部署延迟。

• 蒸馏辅助量化

量化中一个有趣的工作路线是结合模型蒸馏以提高量化精度。模型蒸馏是一种使用精度较高的大模型作为教师，帮助训练紧凑型学生模型的方法。在学生模型的训练过程中，模型蒸馏提出利用教师产生的软概率，而不是仅仅使用ground-true类标签，该软概率可能包含更多输入信息。也就是说，总体损失函数包括学生损失和蒸馏损失。

• 极致量化

二值化是最极端的量化方法，其中量化值被限制为1位表示，从而将内存需求大幅降低32×。除了内存优势外，二进制（1位）和三元（2位）操作通常可以使用位算术有效计算，并可以在更高精度（如FP32和INT8）上实现显著的加速。然而，简单的二值化方法将导致精度显著下降。因此，有大量工作提出了不同的解决方案来解决这一问题，主要分为以下三类：

1. 量化误差最小化(使用多个二值矩阵组合模拟近似，或者使用更宽网络)
2. 改进损失函数(例如加入蒸馏损失)
3. 改进训练方法(如反向传播时用更光滑的函数取代sign)

极低位精度量化是一条非常有前途的研究方向。然而，与基线相比，现有方法通常会导致高精度下降，除非执行非常广泛的调谐和超参数搜索。但这种精度下降对于不那么关键的应用可能是可以接受的。

---

2.5未来量化方向

在这里，我们简要讨论了未来量化研究的几个挑战和机遇。这分为量化工具、硬件和NN架构的共同设计、联合多种压缩方法和量化训练。

• 量化工具：
  使用当前的方法，将不同的NN模型量化并部署到INT8是很简单的，而不会明显失去准确性。有几个软件包可用于部署INT8量化模型（例如，Nvidia的TensorRT、TVM等），每个软件包都有良好的文档。然而，用于低位精度量化的软件并不广泛可用，有时也不存在。例如，Nvidia的TensorRT目前不支持INT8以外的量化。此外，对INT4量化的支持直到最近才被添加到TVM中。使用INT4/INT8进行低精度和混合精度量化在实践中有效和必要的，因此，开发用于低精度量化的高效软件API将产生重要影响。
• 硬件和NN架构联合设计：
  如上所述，低精度量化的经典工作与机器学习的最新工作之间的一个重要区别是，神经网络参数可能具有非常不同的量化值，但仍然可以很好地泛化近似。例如，通过量化感知训练，我们可能会收敛到一个不同的解，远离单一精度参数的原始解，但仍然获得良好的准确率。人们可以利用这种自由度，也可以在NN架构被量化时调整它。例如，改变NN架构的宽度可以减少/消除量化后的泛化间隙。未来的工作之一是在模型被量化时联合调整其他体系结构参数，如深度或单个内核。未来的另一项工作是将这种共同设计扩展到硬件体系结构。
• 联合多种压缩方法：
  如上所述，量化只是有效部署NN的方法之一。其他方法包括高效的NN架构设计、硬件和NN架构的协同设计、剪枝和知识蒸馏、网络框架搜索等。量化可以与这些其他方法结合使用。然而，目前很少有工作探索这些方法的最佳组合。例如，NAS联合量化、剪枝和量化可以一起应用于模型，以减少其开销，理解结构化/非结构化剪枝和量化的最佳组合非常重要。同样，未来的另一个方向是研究这些方法与上述其他方法之间的联合。
• 量化训练：
  也许量化最重要的用途是以半精度加速NN训练。这使得使用更快、更节能的低精度逻辑进行训练。然而，要把这一点进一步推到INT8精确训练是非常困难的。虽然在这一领域存在一些有趣的工作，但所提出的方法通常需要大量的超参数调整，或者它们只适用于一些相对容易的学习任务的NN模型。基本的问题是，在INT8精度的情况下，训练可能会变得不稳定和发散。解决这一挑战可能会对多个应用程序产生很大影响，特别是对于前沿的训练。

---

3.量化论文解读

3.1Data-Free 量化