信源编码是一个数据压缩的过程，其目的是尽可能地将信源中的冗余度去掉；而信道编码则是一个增加冗余的过程，通过适当加入冗余度来达到抵抗信道噪声，保护传输数据的目的。
经典端对端无线通信系统如下图所示：

• 信源 xx 使用信源编码，去除冗余得到比特流 ss。
• 对 ss 进行信道编码（如 Turbo、LDPC 等）得到 yy，增加相应的校验位来抵抗信道噪声。
• 对比特流 yy 进行调制（如 BPSK、16QAM 等）得到 zz，并经物理信道发送。
• 接收端对经信道后的符号 \bar{z}zˉ 进行解调、解码操作得到 \bar{x}xˉ。
  根据定义信道方式不同，基于深度学习的信源信道联合编码（Deep JSCC）可以分为两类。
  第一类，受无编码传输的启发，将信源编码、信道编码和调制联合设计为编码器。
  系统模型如下图所示：
  

第二类，将通信系统中的调制、噪声信道、解调模块抽象为离散的二进制信道。
系统模型如下图所示：
![image.png](https://bbs-img.huaweicloud.com/blogs/img/语音等具有时间序列化结构信源适合 RNN 网络结构。
对于非结构化信源，Deep JSCC 则稍显羸弱。
因为非结构化信源内部相关性弱，难以去除冗余。

基于物理信道的符号编码

结构化信源
Gunduz 团队1 提出了一个传输高分辨率图像的 Deep JSCC 框架。
发送端和接收端都使用 CNN 网络，并在训练时加入了高斯白噪声和瑞利衰减噪声。
提出的 Deep JSCC 框架如下图所示：

实验表明，从 PSNR 和 SSIM 数据来看，提出的信源信道联合编码比信源信道分离方案更优，在低信噪比的信道环境下，优势尤其明显。
Gunduz 团队2 在前一个方案的基础上，提出将噪声反馈模块融入传输系统，以增强编解码器对变换信噪比的鲁棒性。
解码器将一部分经过噪声信道的接收到的符号 \bar{z}zˉ 反馈给编码器，编码器根据 \bar{z}zˉ 重新计算信噪比，并对编解码网络参数进行改进，以适应变换的信噪比环境。
其通信方案如下图所示：

Jankowski3 提出了一种使用 Deep JSCC 来进行图像检索的方案，先提取图像特征，然后使用 Deep JSCC 编码传输图像特征子，接收端接收解码特征子并基于特征对图像进行检索。
系统架构如下图所示：

非结构化信源

Saidutta4 提出了一种应用双编码解码结构的 Deep JSCC 方案对高斯信源进行编码传输。
训练时采用 MSE 优化器。
系统架构如下图所示：

在前面工作的基础上，Saidutta5 提出了基于变分自编码器对高斯信源编码的 Deep JSCC 方案，通过假设接收信号和重构信号的高斯统计特性，给出了正则化 MSE 损失的可变上限证明。
Xuan6 提出了一种基于 RNN 对高斯信源编码的 Deep JSCC 方案。
其不需要获取信源的先验信息，并在理论上证明了 Deep JSCC 的有效性，同时证明了基于深度学习的编码器与基于混沌动态系统（Chaotic Dynamical System）的编码函数之间的相似性。
系统框架如下图所示：

基于抽象信道的比特编码

与传统符号流的 Deep JSCC 方案不同，二进制信道下传输离散比特流无法计算反向传播梯度。
因此，离散信道的嵌入也比物理信道的嵌入更为复杂。
近年来，神经网络离散化7和离散自编码器8的发展，为上述难点提供了解决思路。
针对离散化神经网络的问题，一个简单的方法是使用得分函数估计器替代梯度9。
由于该估计方差较高，一部分工作提出了不同的公式和控制变量来解决该问题10。
另外，为了达到使离散随机变量连续化的目的，Jang 和 Maddisonet 分别提出了 Gumbel-Softmax 分布11和 Concrete 方案12。

结构化信源

Choi13 提出了一种使用离散自编码器对图像进行抽象信道的比特编码方案。
为了保留编码的硬离散性，使用了多样本变分下界目标，用于获得低变差梯度。
系统结构如下图所示：

其使用图像及其二进制表示的互信息的变分下界来训练模型，以获得更好的鲁棒性。
Song14 提出了新的正则化方法 IABF(Infomax Adversarial Bits Flip) ，以增强 NECST 的压缩和纠错能力，提升鲁棒性。
并提出了新的损失函数，实现了网络对高维数据更有效的优化。
Shao15 基于轻量级 CNN 网络提出了可部署到计算能力有限的移动设备中的低功耗 Deep JSCC。
系统架构如下图所示：

Farsad16 提出了基于 RNN 结构的 Deep JSCC 方案，以对文本信源进行编码传输。
采用里德-所罗门（ReedSolomon）码对信道进行编码；结果表明，当编码比特较短时，该方案比传统方法具更低的单词错误率。
系统架构如下图所示：

非结构化信源

Carpi17 提出了一种基于强化学习的 Deep JSCC 方案，采用了比特位翻转解码（bitflipping decoding）、残差信念传播（residual belief propagation）和锚解码（anchor decoding）三种算法，让解码器由数据驱动去学习最佳的解码策略。

1. [2019 TCCN]
   Deep Joint Source-Channel Coding for Wireless Image Transmission
2. [2020 JSAIT]
   DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback
3. [2019 ICASSP]
   Deep Joint Source-Channel Coding for Wireless Image Retrieval
4. [2019 DCC]
   M to 1 Joint Source-Channel Coding of Gaussian Sources via Dichotomy of the Input Space Based on Deep Learning
5. [2019 ISIT]
   Joint Source-Channel Coding for Gaussian Sources over AWGN Channels using Variational Autoencoders
6. [2020 SPCOM]
   Analog Joint Source-Channel Coding for Gaussian Sources over AWGN Channels with Deep Learning
7. [2019 TPMI]
   Learning Deep Binary Descriptor with Multi-Quantization
8. [2018 NIPS]
   DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors
9. [1992 ML]
   Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning
10. [2017 NIPS]
    REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models
11. [2016 ML]
    Categorical Reparameterization with Gumbel-Softmax
12. [2016 ML]
    The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables
13. [2018 ML]
    Neural Joint Source-Channel Coding
14. [2020 AAAI]
    Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip
15. [2020]
    BottleNet++: An End-to-End Approach for Feature Compression in Device-Edge Co-Inference Systems
16. [2018 ICASSP]
    Deep Learning for Joint Source-Channel Coding of Text
17. [2019 AACCCC]
    Reinforcement Learning for Channel Coding: Learned Bit-Flipping Decoding
18. [2020 电信科学]
    基于深度学习的信源信道联合编码方法综述