学在信息——渐露锋芒
【摘要】
N次扩展信源的熵
离散无记忆信源X的N次扩展心愿X^N的熵等于信源X熵的N倍,即H(X^N)=NH(X)
平均符号熵
表示N长信源输出符号序列中,平均每个符号所携带的信息量(即N长信源每发一个符号提供的平均信息量),用于评估离散平稳有记忆信源每发一个符号提供的平均信息量。
1.各维条件熵H(XN|X1X2...
N次扩展信源的熵
离散无记忆信源X的N次扩展心愿X^N的熵等于信源X熵的N倍,即H(X^N)=NH(X)
平均符号熵
表示N长信源输出符号序列中,平均每个符号所携带的信息量(即N长信源每发一个符号提供的平均信息量),用于评估离散平稳有记忆信源每发一个符号提供的平均信息量。
1.各维条件熵H(XN|X1X2X3...XN-1)随N的增加是非递增的
2.N给定时,平均符号熵大于等于条件熵
3.平均符号熵随着N的增加是非递增的
极限熵
信源输出为N长符号序列,当N——>∞,则极限熵H(∞)为
极限信息量(熵率)
即作为一个离散平稳有记忆信源X=X1X2…XN提供信息能力的衡量标准。
含义:对于离散平稳信源,当N→∞时(即依赖关系为无限长时),平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵(极限熵)。
实际中常取有限N下的条件熵作为H∞的近似值。因为取N不是很大时,就能得到非常接近H∞的值,常取N=7,8,9
平稳信源的记忆长度有限时,如马尔科夫信源。设记忆长度为m(即某时刻发出什么符号只与前m个符号有关),则离散平稳份信息的极限熵等于有限记忆长度m的条件熵
文章来源: blog.csdn.net,作者:渣渣ye,版权归原作者所有,如需转载,请联系作者。
原文链接:blog.csdn.net/yyfloveqcw/article/details/124273069
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)