连续信源的熵
由于连续信源信号幅度取值无限性, 要精确表示这样的信号, 理论上需要无穷个bit才行。即连续信源的绝对熵为
∞ 。
仿照离散信源熵的定义, 有连续信源的熵(相对熵)定义为
H(X)=−∫−∞∞f(x)log(f(x))dx
其中
f(x) 为连续信源信号
X 的概率密度函数。连续信源的 (相对) 熵可正可负。
R(D) 的定义域
率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度
Dˉ 的最小和最大取值问题。
由于平均失真度
Dˉ 是非负实数
d(xi,yj) 的数学期望, 因此
Dˉ 也是非负的实数,即
Dˉ≥0 , 故
Dˉ 的下界是 0 。允许平均失真度能否达到其下限值0, 与单个符号的失真函数有关。
Dmin 和
R(Dmin)
信源的最小平均失真度:
Dmin=i=1∑np(xi)jmind(xi,yj)
只有当失真矩阵的每一行至少有一个
0 元素时,信源的平均失真度才能达到下限值
0 。
当
Dmin =0 , 即信源不允许任何失真时,信息率至少应等于信源输出的平均信息量一信息熵。
R(0)=H(X)
对于连续信源
R(Dmin)=D→0limR(D)→∞
因为实际信道总是有干扰,其容量有限,要无失真地传送连续信息是不可能的。
当允许有一定失真时,
R(D) 将为有限值, 传送才是可能的。
R(D) 的定义域为
[Dmin ,Dmax ] 。
通常
Dmin =0,R(Dmin)=H(X)
当
D≥Dmax 时, $\quad R(D)=0 $
当
0≤D≤Dmax 时,
0<R(D)<H(X)
由于
I(X,Y) 是非负函数,而
R(D) 是在约束条件下的
I(X,Y) 的最小值, 所以
R(D) 也是一个非负函数, 它的下限值是零。
R(D)≥0
Dmax :是定义域的上限。

Dmax 是满足 R(D)=0 时所有的平均失真度中的最小值。
Dmax =R(D)=0minD
由于
I(X,Y)=0 的充要条件是 X 与 Y 统计独立, 即:
p(yj∣xi)=p(yj)Dmax=minp(yj)∑i∑jp(xi)p(yj)d(xi,yj)=minp(yj)∑jp(yj)∑ip(xi)d(xi,yj)Dmax=minj=1,2⋯m∑i=1np(xi)d(xi,yj)
例: 设输入输出符号表为
X=Y={0,1} , 输入概率分布
p(x)={1/3,2/3} , 失真矩阵
d=[0110]
求
Dmin 和
Dmax
解:失真矩阵的每一行至少有一个 0 元素时,
Dmin=0
Dmax=minj=1,2∑i=12pidij=minj(31×0+32×1,31×1+32×0)=minj(32,31)=31
例: 设输入输出符号表为
X=Y={0,1} , 输入概率分布
p(x)={1/3,2/3} , 失真矩阵
d=[1/2211]
求
Dmin 和
Dmax
解:
Dmin=∑i=1np(xi)minjd(xi,yj)=31×21+32×1=65Dmax=minj=1,2∑i=12pidij=minj(31×21+32×2,31×1+32×1)=minj(23,1)=1
参考文献:
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理(第3版)[M]. 北京:北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理(第7版) [M]. 北京:国防工业出版社, 2012.
本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。
评论(0)