有噪信道编码详解(前篇)

举报
nimo的小舔狗 发表于 2022/05/12 00:51:22 2022/05/12
【摘要】 引言 信道编码定理(香农第二定理)[解决的是可达性的问题] 对信源进行编码,再采用具有统计特性的信道进行传输,信道有噪声,但通过最优化输入信号的分布,可采取某种编码方式,达到信道容量。 信道编码:用于提高信息传输的可靠性 编码信道:信道输入端输出端连接着信道编码器和译码器的信道 信道译码:根据编码规则的相关性...

引言

信道编码定理(香农第二定理)[解决的是可达性的问题]

对信源进行编码,再采用具有统计特性的信道进行传输,信道有噪声,但通过最优化输入信号的分布,可采取某种编码方式,达到信道容量。

信道编码:用于提高信息传输的可靠性

编码信道:信道输入端输出端连接着信道编码器和译码器的信道

信道译码:根据编码规则的相关性来译码

错误概率(P_E):信源发出的消息和到达信宿后发生的错误的概率

错误概率与以下因素有关:信道统计特性(信道传递概率矩阵)、编码方法、译码规则

译码规则

对于没有一个输出符号yj都有一个确定的函数F(yj),使yj对应于唯一一个输入符号xi,则称这样的函数为译码规则

F(yj)=xi;i=1,2,3...r;j=1,2,...s

(输入r个,输出s个的信道,译码规则共有r^s种)

正确概率(\overline{p_e}):收到正确的译码,\overline{p_e}=p[F(y_j)|y_j]=p(x_i|y_j)

错误概率(p_e):上述条件下收到错误的概率,p_e=1-p[F(y_j)|y_j]=1-p(x_i|y_j)

选择译码规则

要使 P_E最小

1.最大后验概率译码规则

选择译码函数F(y_j)=x^*,使其满足p(x^*|y_j)\geq p(x_i|y_j) \rightarrow \forall i

2.极大似然译码规则

选择译码函数F(y_j)=x^*,使其满足p(y_j|x^*)p(x^*)\geq p(y_j|x_i)p(x_i)

当输入符号等概分布时,

若输入为等概分布

 3.费诺不等式(Fano不等式)

表明错误概率与信道疑义度H(X|Y)之间的关系

选择最佳译码规则只能使错误概率Pe有限的减小,无法使Pe任意小

由此引出信道编码方法

1.简单重复编码

重复发送某一码字,确保正确接收。将一码字多次扩展发送,“择多译码”。

随着重复次数n的增大,将会降低平均错误概率Pe

但是随着n的增大信息传输率R要减少

M:表示简单重复编码后的新信源符号个数。n:表示码长(即重复次数)。

R:表示M个信源符号(简单重复编码后的新信源符号),每个符号所携带的最大信息量为logM,现用n个码符号来传输,平均每个码符号所携带的信息量为R。

由此进一步引出香农第二定理,找到一种编码使错误概率充分小,且信息传输率R保持在一定的水平上。

2.线性码

适当增大M和n,可以得到较低的平均错误概率Pe和较好的信息传输速率R

线性码中的冗余位,具有检错和纠正错误的功能(部分)

汉明距离

模二和,表示两个码字之间在相同位上不同码符号的数目的总和

极大似然译码规则可用汉明距离表示为:

选择译码函数:

使其满足: 

即满足:

该准则称为最小距离译码准则

二元对称信道的编码原则

有噪信道编码定理(香农第二定理)

设有一离散无记忆平稳信道,其信道容量为C,只要保持传送的信息传输率R<C,则存在一种编码,当输入序列长度n足够大,可使译码错误概率Pe任意小。

错误概率的上界

对于离散无记忆信道(DMC),平均错误概率Pe为:

其中Er(R)为随机编码指数,又称为可靠性函数,与输入概率分布有关

文章来源: blog.csdn.net,作者:渣渣ye,版权归原作者所有,如需转载,请联系作者。

原文链接:blog.csdn.net/yyfloveqcw/article/details/124672850

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。