^Cover, Thomas M.; Thomas, Joy A. Elements of information theory 1st. New York: Wiley. 1991. ISBN 0-471-06259-6.
七月 11, 2023
条件熵, 在信息论中, 描述了在已知第二个随机变量, displaystyle, 的值的前提下, 随机变量, displaystyle, 的信息熵还有多少, 同其它的信息熵一样, 也用sh, hart等信息单位表示, 基于, displaystyle, 條件的, displaystyle, 的信息熵, displaystyle, mathrm, 表示, 目录, 定义, 链式法则, 貝葉斯規則, 推广到量子理论, 參考文獻定义, 编辑如果, displaystyle, mathrm, 爲變數, displaystyl. 在信息论中 条件熵描述了在已知第二个随机变量 X displaystyle X 的值的前提下 随机变量 Y displaystyle Y 的信息熵还有多少 同其它的信息熵一样 条件熵也用Sh nat Hart等信息单位表示 基于 X displaystyle X 條件的 Y displaystyle Y 的信息熵 用 H Y X displaystyle mathrm H Y X 表示 目录 1 定义 2 链式法则 3 貝葉斯規則 4 推广到量子理论 5 參考文獻定义 编辑如果 H Y X x displaystyle mathrm H Y X x 爲變數 Y displaystyle Y 在變數 X displaystyle X 取特定值 x displaystyle x 條件下的熵 那麼 H Y X displaystyle mathrm H Y X 就是 H Y X x displaystyle mathrm H Y X x 在 X displaystyle X 取遍所有可能的 x displaystyle x 後取平均的結果 给定随机变量 X displaystyle X 与 Y displaystyle Y 定義域分別爲 X displaystyle mathcal X 與 Y displaystyle mathcal Y 在給定 X displaystyle X 條件下 Y displaystyle Y 的條件熵定義爲 1 H Y X x X p x H Y X x x X p x y Y p y x log p y x x X y Y p x y log p y x x X y Y p x y log p y x x X y Y p x y log p x y p x x X y Y p x y log p x p x y displaystyle begin aligned mathrm H Y X amp equiv sum x in mathcal X p x mathrm H Y X x amp sum x in mathcal X p x sum y in mathcal Y p y x log p y x amp sum x in mathcal X sum y in mathcal Y p x y log p y x amp sum x in mathcal X y in mathcal Y p x y log p y x amp sum x in mathcal X y in mathcal Y p x y log frac p x y p x amp sum x in mathcal X y in mathcal Y p x y log frac p x p x y end aligned 注意 可以理解 對於確定的 c gt 0 表達式 0 log 0 和 0 log c 0 應被認作等於零 當且僅當 Y displaystyle Y 的值完全由 X displaystyle X 確定時 H Y X 0 displaystyle mathrm H Y X 0 相反 當且僅當 Y displaystyle Y 和 X displaystyle X 爲獨立隨機變數時H Y X H Y displaystyle mathrm H Y X mathrm H Y 链式法则 编辑假設兩個隨機變數 X 和 Y 確定的組合系統的聯合熵爲 H X Y displaystyle mathrm H X Y 即我們需要 H X Y displaystyle mathrm H X Y bit的信息來描述它的確切狀態 現在 若我們先學習 X displaystyle X 的值 我們得到了 H X displaystyle mathrm H X bits的信息 一旦知道了 X displaystyle X 我們只需 H X Y H X displaystyle mathrm H X Y mathrm H X bits來描述整個系統的狀態 這個量正是 H Y X displaystyle mathrm H Y X 它給出了條件熵的链式法则 H Y X H X Y H X displaystyle mathrm H Y X mathrm H X Y mathrm H X 链式法则接著上面條件熵的定義 H Y X x X y Y p x y log p x p x y x X y Y p x y log p x y x X y Y p x y log p x H X Y x X p x log p x H X Y H X displaystyle begin aligned mathrm H Y X amp sum x in mathcal X y in mathcal Y p x y log frac p x p x y amp sum x in mathcal X y in mathcal Y p x y log p x y sum x in mathcal X y in mathcal Y p x y log p x amp mathrm H X Y sum x in mathcal X p x log p x amp mathrm H X Y mathrm H X end aligned 貝葉斯規則 编辑條件熵的貝葉斯規則 英语 Bayes rule 表述爲 H Y X H X Y H X H Y displaystyle H Y X H X Y H X H Y 證明 H Y X H X Y H X displaystyle H Y X H X Y H X and H X Y H Y X H Y displaystyle H X Y H Y X H Y 對稱性意味著 H X Y H Y X displaystyle H X Y H Y X 將兩式相減即爲貝葉斯規則 推广到量子理论 编辑在量子信息论中 条件熵都概括为量子条件熵 參考文獻 编辑 Cover Thomas M Thomas Joy A Elements of information theory 1st New York Wiley 1991 ISBN 0 471 06259 6 取自 https zh wikipedia org w index php title 条件熵 amp oldid 54116826, 维基百科,wiki,书籍,书籍,图书馆,