学在信息——小有名气

定长编码的编码速率和编码效率

编码速率：R'＝（ｌ*ｌｏｇｒ）/N　　ｂｉｔ/信源符号

ｌ*ｌｏｇｒ＞N*H（S）

前者表示长为ｌ的码符号序列所能承载的最大信息量

后者表示长为N的信源符号序列平均携带的信息量

R'＞＝Ｈ（Ｓ）＋ε

编码速率要大于信源熵，才能实现几乎无失真编码

编码效率η=H(S)/R'=H(S)/((L/N)*ｌｏｇｒ)

η（ｍａｘ）＝H(S)/(H(S)+ε)

∴ε＝（（１－η）/η）*H(S)

显然，当要求译码错误概率时，信源序列长度N必须满足：

但是实际情况下要实现无失真等长编码，N得非常非常大

由上述原因，引出了新的编码，变长码

变长码

变长码可以在N不是很大的情况下，编出效率很高且无失真的信源编码。

唯一可译码的要求：必须是非奇异码，且他的N次扩展也是非奇异码。

即时码的要求：无需考虑后续，直接可译

即时码的构成：树图法

例如：设信源S有四种不同的码符号S:{s1,s2,s3,s4}信道输入符号集，即码符号集X:{0,1},要求与信源符号s1,s2,s3,s4对应的码字w1,w2,w3,w4的长度分别是n1=1,n2=2,n3=3,n4=4构造即时码。

说明：从根到每一个终端节点所走的路径是不同的，而且中间节点不安排为码字，即没有任何一个码字是另一个码字的延长（即前缀），所以一定满足对前缀的限制（非延长码）

 Kｒａｆｔ不等式

成立充要条件：

注意：若码长不满足Kraft不等式，则一定不是唯一可译码，若满足Kraft不等式，却不一定是唯一可译码。 

变长编码定理（香农第一定理）

码平均长度：

码率：R=H(S)/L　（比特／码符号）

R体现了其传输信息的有效性的高低，R越大，有效性越高

编码后信道每秒钟传输的信息量：

显然，L越短，Rｔ越大，信息传输效率越高

紧致码：最短可译码，也是信源变长编码的目的

平均码长界定定理：

前者等式成立的条件，为：

N次扩展后：

可推广到平稳遍历的有记忆信源（如马尔可夫信源）

为有记忆信源的极限熵

文章来源: blog.csdn.net，作者：渣渣ye，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/yyfloveqcw/article/details/124290976