连续信源的熵与RD

举报
timerring 发表于 2023/04/17 09:05:09 2023/04/17
【摘要】 连续信源的熵由于连续信源信号幅度取值无限性, 要精确表示这样的信号, 理论上需要无穷个bit才行。即连续信源的绝对熵为 ∞\infty∞ 。仿照离散信源熵的定义, 有连续信源的熵(相对熵)定义为H(X)=−∫−∞∞f(x)log⁡(f(x))dxH(X)=-\int_{-\infty}^{\infty} f(x) \log (f(x)) d xH(X)=−∫−∞∞​f(x)log(f(x)...

连续信源的熵

由于连续信源信号幅度取值无限性, 要精确表示这样的信号, 理论上需要无穷个bit才行。即连续信源的绝对熵为 \infty

仿照离散信源熵的定义, 有连续信源的熵(相对熵)定义为

H ( X ) = f ( x ) log ( f ( x ) ) d x H(X)=-\int_{-\infty}^{\infty} f(x) \log (f(x)) d x

其中 f ( x ) f(x) 为连续信源信号 X \mathbf{X} 的概率密度函数。连续信源的 (相对) 熵可正可负。

R(D) 的定义域

率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度 D ˉ \bar{D} 的最小和最大取值问题

由于平均失真度 D ˉ \bar{D} 是非负实数 d ( x i , y j ) d\left(x_{i}, y_{j}\right) 的数学期望, 因此 D ˉ \bar{D} 也是非负的实数,即 D ˉ 0 \bar{D} \geq 0 , 故 D ˉ \bar{D} 的下界是 0 。允许平均失真度能否达到其下限值0, 与单个符号的失真函数有关。

D min D_{\min } R ( D min ) R\left(D_{\min }\right)

信源的最小平均失真度:

D min = i = 1 n p ( x i ) min j d ( x i , y j ) D_{\min }=\sum_{i=1}^{n} p\left(x_{i}\right) \min _{j} d\left(x_{i}, y_{j}\right)

只有当失真矩阵的每一行至少有一个 0 \mathbf{0} 元素时,信源的平均失真度才能达到下限值 0 \mathbf{0}

D min  = 0 \boldsymbol{D}_{\text {min }}=\mathbf{0} , 即信源不允许任何失真时,信息率至少应等于信源输出的平均信息量一信息熵。

R ( 0 ) = H ( X ) R(0)=H(X)

对于连续信源

R ( D min ) = lim D 0 R ( D ) R\left(D_{\min }\right)=\lim _{D \rightarrow 0} R(D) \rightarrow \infty

因为实际信道总是有干扰,其容量有限,要无失真地传送连续信息是不可能的。

当允许有一定失真时, R ( D ) R(D) 将为有限值, 传送才是可能的。

R ( D ) \mathbf{R}(\mathbf{D}) 的定义域为 [ D min  , D max  ] [D_{\text {min }}, D_{\text {max }}]

  • 通常 D min  = 0 , R ( D min ) = H ( X ) D_{\text {min }}=0, \quad R\left(D_{\min }\right)=H(X)

  • D D max  D \geq D_{\text {max }} 时, $\quad R(D)=0 $

  • 0 D D max  0 \leq D \leq D_{\text {max }} 时, 0 < R ( D ) < H ( X ) 0\lt R(D)\lt H(X)

由于 I ( X , Y ) I(X, Y) 是非负函数,而 R ( D ) R(D) 是在约束条件下的 I ( X , Y ) I(X, Y) 的最小值, 所以 R ( D ) R(D) 也是一个非负函数, 它的下限值是零。

R ( D ) 0 \boldsymbol{R}(D) \geq 0

D max  D_{\text {max }} :是定义域的上限。

D max  D_{\text {max }} 是满足 R(D)=0 时所有的平均失真度中的最小值。

D max  = min R ( D ) = 0 D D_{\text {max }}=\min _{R(D)=0} D

由于 I ( X , Y ) = 0 I(X, Y)=0 的充要条件是 X 与 Y 统计独立, 即:

p ( y j x i ) = p ( y j ) D max = min p ( y j ) i j p ( x i ) p ( y j ) d ( x i , y j ) = min p ( y j ) j p ( y j ) i p ( x i ) d ( x i , y j ) D max = min j = 1 , 2 m i = 1 n p ( x i ) d ( x i , y j ) \begin{array}{c} p\left(y_{j} \mid x_{i}\right)=p\left(y_{j}\right) \\ D_{\max }=\min _{p\left(y_{j}\right)} \sum_{i} \sum_{j} p\left(x_{i}\right) p\left(y_{j}\right) d\left(x_{i}, y_{j}\right) \\ =\min _{p\left(y_{j}\right)} \sum_{j} p\left(y_{j}\right) \sum_{i} p\left(x_{i}\right) d\left(x_{i}, y_{j}\right) \\ D_{\max }=\min _{j=1,2 \cdots m} \sum_{i=1}^{n} p\left(x_{i}\right) d\left(x_{i}, y_{j}\right) \end{array}

例: 设输入输出符号表为 X = Y = { 0 , 1 } \mathbf{X}=\mathbf{Y}=\{\mathbf{0}, 1\} , 输入概率分布 p ( x ) = { 1 / 3 , 2 / 3 } p(x)=\{1 / 3,2 / 3\} , 失真矩阵

d = [ 0 1 1 0 ] d=\left[\begin{array}{ll} 0 & 1 \\ 1 & 0 \end{array}\right]

D min \mathbf{D}_{\min } D max \mathbf{D}_{\max }

解:失真矩阵的每一行至少有一个 0 元素时, D min = 0 D_{\min }=0

D max = min j = 1 , 2 i = 1 2 p i d i j = min j ( 1 3 × 0 + 2 3 × 1 , 1 3 × 1 + 2 3 × 0 ) = min j ( 2 3 , 1 3 ) = 1 3 \begin{array}{l} D_{\max }=\min _{j=1,2} \sum_{i=1}^{2} p_{i} d_{i j} \\ =\min _{j}\left(\frac{1}{3} \times 0+\frac{2}{3} \times 1, \frac{1}{3} \times 1+\frac{2}{3} \times 0\right) \\ =\min _{j}\left(\frac{2}{3}, \frac{1}{3}\right)=\frac{1}{3} \end{array}

例: 设输入输出符号表为 X = Y = { 0 , 1 } \mathbf{X}=\mathbf{Y}=\{\mathbf{0}, \mathbf{1}\} , 输入概率分布 p ( x ) = { 1 / 3 , 2 / 3 } p(x)=\{1 / 3,2 / 3\} , 失真矩阵

d = [ 1 / 2 1 2 1 ] d=\left[\begin{array}{ll} 1 / 2 & 1 \\ 2 & 1 \end{array}\right]

D min D_{\min } D max  \mathbf{D}_{\text {max }}

解:

D min = i = 1 n p ( x i ) min j d ( x i , y j ) = 1 3 × 1 2 + 2 3 × 1 = 5 6 D max = min j = 1 , 2 i = 1 2 p i d i j = min j ( 1 3 × 1 2 + 2 3 × 2 , 1 3 × 1 + 2 3 × 1 ) = min j ( 3 2 , 1 ) = 1 \begin{array}{l} D_{\min }=\sum_{i=1}^{n} p\left(x_{i}\right) \min _{j} d\left(x_{i}, y_{j}\right) \\ =\frac{1}{3} \times \frac{1}{2}+\frac{2}{3} \times 1=\frac{5}{6} \\ D_{\max }=\min _{j=1,2} \sum_{i=1}^{2} p_{i} d_{i j}=\min _{j}\left(\frac{1}{3} \times \frac{1}{2}+\frac{2}{3} \times 2, \frac{1}{3} \times 1+\frac{2}{3} \times 1\right) \\ =\min _{j}\left(\frac{3}{2}, 1\right)=1 \\ \end{array}

参考文献:

  1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  3. 周炯槃. 通信原理(第3版)[M]. 北京:北京邮电大学出版社, 2008.
  4. 樊昌信, 曹丽娜. 通信原理(第7版) [M]. 北京:国防工业出版社, 2012.

本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。