第三代半导体 网络视频直播系统 PaddleHub Angular macos d3 plugins pagination ios5 Material UI vue树形菜单 后台管理模板下载 jq获取元素 oracle查看所有数据库 手动安装fastboot驱动 python生成多个随机数 python安装mysql python循环语句 python中time python字符串匹配 python传递参数 java删除数组元素 java操作mysql java编译 java的map java声明变量 java停止线程 万能低格工具 主板芯片组天梯图 联发科p70 图片批量处理工具 7个人 给视频加字幕的软件 特战英雄辅助 python缩进规则 图片转pdf免费软件 dnf95b套 小米9截图 头条视频解析 dll文件
当前位置: 首页 > 学习教程  > 编程语言

信息论3——信道(单符号离散信道,互信息,各种熵)

2021/1/13 19:24:01 文章标签: 测试文章如有侵权请发送至邮箱809451989@qq.com投诉后文章立即删除

信道 单符号离散信道 ​ 信源发出Xa,经过信道,信宿出现符号b的概率:“a出现的前提下出现b的条件概率”,也就是说P(b/a)P(b/a)P(b/a)体现了信道对输入符号的传递作用。 互信息(这才是信息) ​ 这里就是说…

信道

单符号离散信道

​ 信源发出X=a,经过信道,信宿出现符号b的概率:“a出现的前提下出现b的条件概率”,也就是说 P ( b / a ) P(b/a) P(b/a)体现了信道对输入符号的传递作用。

在这里插入图片描述

互信息(这才是信息)

​ 这里就是说,一开始信源传递a,由于信道的噪声干扰 I ( b / a ) I(b/a) I(b/a),信宿得到了b,那么互信息就是信宿得到b后对符号a的不确定性的消除。 I ( a ; b ) = I ( a ) − I ( a / b ) = I ( b ) − I ( b / a ) I(a;b)=I(a)-I(a/b)=I(b)-I(b/a) I(a;b)=I(a)I(a/b)=I(b)I(b/a)

可以为负值,当b拥有一种误导性质的时候,增大了a的不确定性。

平均交互信息量

​ 互信息只能表达信道上传递一个具体符号所传输的信息量,而平均交互信息量 I ( X ; Y ) = I ( Y ; X ) = H ( X ) − H ( X / Y ) I(X;Y)=I(Y;X)=H(X)-H(X/Y) I(X;Y)=I(Y;X)=H(X)H(X/Y)

在这里插入图片描述

​ 非负性:大于等于0,当且仅当X,Y独立的时候等号成立。

​ 极值性:小于等于H(X),这就是说从信宿Y中获取关于信源X的信息量不会超过信源X本身含有的信息量 。

损失熵,疑义度

H ( X / Y ) H(X/Y) H(X/Y)

噪声熵,散布度

H ( Y / X ) H(Y/X) H(Y/X)

归并无噪信道(从发送端考虑)

​ 损失熵=0, H ( Y / X ) = 0 H(Y/X)=0 H(Y/X)=0。就是说信源发出一个a,信宿接收的一定是b(不论b和a相差多少)。 I ( X ; Y ) = H ( Y ) I(X;Y)=H(Y) I(X;Y)=H(Y)

在这里插入图片描述

发散无损信道(从接收端考虑)

​ 疑义度=0, H ( X / Y ) = 0 H(X/Y)=0 H(X/Y)=0。就是信宿接收到b,那么就可以确定信源发送的是a,没有疑义。 I ( X ; Y ) = H ( X ) I(X;Y)=H(X) I(X;Y)=H(X)

在这里插入图片描述

无噪无损信道

I ( X ; Y ) = H ( X ) = H ( Y ) \mathrm{I}(\mathrm{X} ; \mathrm{Y})=\mathrm{H}(\mathrm{X})=\mathrm{H}(\mathrm{Y}) I(X;Y)=H(X)=H(Y),一对一。

在这里插入图片描述

串联信道

数据处理定理

传递的信息逐级递减。

在这里插入图片描述

信道容量(固有的属性,与输入的信源分布无关)

​ 信道容量:传输的有效性,即一个给定信道的最大信息传输率。(信道的信息传输率=平均互信息,即 R=I(X;Y) ,比特/符号)。

C = max ⁡ P ( X ) { I ( X ; Y ) } = max ⁡ P ( X ) { R ( X , Y ) } C=\max _{P(X) }\{I(X ; Y)\}=\max _{P(X)}\{R(X, Y)\} C=maxP(X){I(X;Y)}=maxP(X){R(X,Y)},信息传输率 = I ( X ; Y ) =I(X;Y) =I(X;Y)

​ 单位时间的信道容量: C t = C / t C_t=C/t Ct=C/t,也称为信道的最大信息传输速率(比特/秒,t是传递一个符号需要的时间秒)。

在这里插入图片描述

I ( X ; Y ) = H ( X ) − H ( X / Y ) = H ( Y ) − H ( Y / X ) I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) I(X;Y)=H(X)H(X/Y)=H(Y)H(Y/X)

匹配信源

能够使平均交互信息量达到信道容量C的信源。

几种特殊无噪信道的信道容量

无损信道:lgr,等概分布的输入信源

无噪信道:lgs,可以使输出等概分布的输入信源(很多)


本文链接: http://www.dtmao.cc/news_show_600062.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?