自信息, 此條目没有列出任何参考或来源, 2023年5月30日, 維基百科所有的內容都應該可供查證, 请协助補充可靠来源以改善这篇条目, 无法查证的內容可能會因為異議提出而被移除, 在信息论中, 英語, self, information, 由克勞德, 夏農提出, 是与概率空间中的單一事件或离散随机变量的值相关的資訊量的量度, 它用信息的單位表示, 例如, nat或是hart, 使用哪个单位取决于在计算中使用的对数的底, 的期望值就是信息论中的熵, 它反映了随机变量采样时的平均不确定程度, 定義, 编辑由定义, 当. 此條目没有列出任何参考或来源 2023年5月30日 維基百科所有的內容都應該可供查證 请协助補充可靠来源以改善这篇条目 无法查证的內容可能會因為異議提出而被移除 在信息论中 自信息 英語 self information 由克勞德 夏農提出 是与概率空间中的單一事件或离散随机变量的值相关的資訊量的量度 它用信息的單位表示 例如 bit nat或是hart 使用哪个单位取决于在计算中使用的对数的底 自信息的期望值就是信息论中的熵 它反映了随机变量采样时的平均不确定程度 定義 编辑由定义 当信息被拥有它的实体传递给接收它的实体时 仅当接收实体不知道信息的先验知识时信息才得到传递 如果接收实体事先知道了消息的内容 这条消息所传递的信息量就是0 只有当接收实体对消息的先验知识少于100 时 消息才真正传递信息 因此 一個隨機產生的事件w n displaystyle omega n 所包含的資訊本體數量 只與事件發生的機率相關 事件發生的機率越低 在事件真的發生時 接收到的資訊中 包含的資訊本體越大 w n displaystyle omega n 的自信息量 I w n f P w n displaystyle operatorname I omega n f operatorname P omega n 如果 P w n 1 displaystyle operatorname P omega n 1 那么 I w n 0 displaystyle operatorname I omega n 0 如果 P w n lt 1 displaystyle operatorname P omega n lt 1 那么 I w n gt 0 displaystyle operatorname I omega n gt 0 此外 根据定义 自信息的量度是非负的而且是可加的 如果事件 C displaystyle C 是两个独立事件 A displaystyle A 和 B displaystyle B 的交集 那么宣告 C displaystyle C 发生的信息量就等于分别宣告事件 A displaystyle A 和事件 B displaystyle B 的信息量的和 I C I A B I A I B displaystyle operatorname I C operatorname I A cap B operatorname I A operatorname I B 因为 A displaystyle A 和 B displaystyle B 是独立事件 所以 C displaystyle C 的概率为P C P A B P A P B displaystyle operatorname P C operatorname P A cap B operatorname P A cdot operatorname P B 应用函数 f displaystyle f cdot 会得到I C I A I B f P C f P A f P B f P A P B displaystyle begin aligned operatorname I C amp operatorname I A operatorname I B f operatorname P C amp f operatorname P A f operatorname P B amp f big operatorname P A cdot operatorname P B big end aligned 所以函数 f displaystyle f cdot 有性质f x y f x f y displaystyle f x cdot y f x f y 而对数函数正好有这个性质 不同的底的对数函数之间的区别只差一个常数f x K log x displaystyle f x K log x 由于事件的概率总是在0和1之间 而信息量必须是非负的 所以 K lt 0 displaystyle K lt 0 考虑到这些性质 假設事件w n displaystyle omega n 發生的機率是 P w n displaystyle P omega n 資訊本體 I w n displaystyle I omega n 的定義就是 I w n log P w n log 1 P w n displaystyle operatorname I omega n log operatorname P omega n log left frac 1 operatorname P omega n right 事件 w n displaystyle omega n 的概率越小 它发生后的自信息量越大 此定义符合上述条件 在上面的定义中 没有指定的对数的基底 如果以 2 为底 单位是bit 当使用以 e 为底的对数时 单位将是 nat 对于基底为 10 的对数 单位是 hart 信息量的大小不同于信息作用的大小 这不是同一概念 信息量只表明不确定性的减少程度 至于对接收者来说 所获得的信息可能事关重大 也可能无足轻重 这是信息作用的大小 和熵的联系 编辑熵是离散随机变量的自信息的期望值 但有时候熵也会被称作是随机变量的自信息 可能是因为熵满足 H X I X X displaystyle operatorname H X operatorname I X X 而 I X X displaystyle operatorname I X X 是 X displaystyle X 与它自己的互信息 取自 https zh wikipedia org w index php title 自信息 amp oldid 77481054, 维基百科,wiki,书籍,书籍,图书馆,