分布式信源编码

分布式信源编码（Distributed Source Coding，DSC）是对信息互相关联但不互相通信的信源的一种信息压缩方式^[1]. 它和其他信源编码不同的是，在这里使用的是信道码。

分布式信源编码的主要应用领域有传感器网络（sensor network）和图像，视频，多媒体压缩^[2]). 其最主要的特点有两条，第一，编码计算非常简单，解码相对比较复杂;第二，互不通信的信息相关的信源压缩可以达到有互相通信的压缩效率。

理论值

做为信息论的一个分支，早在1973年David Slepian和Jack K. Wolf就利用信息熵提出针对于两个信息互相关联信源无损压缩的理论极限，称之为斯理篇-伍夫界限（Slepian-Wolf bound）^[3]. 他们证明了两个互不通信的信息相关的信源压缩可以达到有互相通信的压缩效率. 这个压缩界限后来被Thomas Cover扩展到了多个相关信源的情况.^[4].

于1976年, A. Wyner和J. Ziv在考虑高斯信源的有损压缩时得到了类似的结果^[5]. Wyner-Ziv界限在解码误码率为零时等于Slepian-Wolf界限。

历史

2003年, Pradhan和Ramachandran把校验子（syndrome）运用到了分布式信源网络并称之为DIstributed Source Coding Using Syndromes (DISCUS)^[6].他们将两个二进制的信源分成定长的组，对于一个信源用定长码压缩得到这些组的校验子，而另外一个信源则完全不压缩，作为边信息。这种码率不均衡的分布式信源编码压缩方式成为不对称压缩（asymmetric DSC）。显而易见的是，反复使用前一个信源的信息作为边信息，这种不对称的压缩方式可以轻易的扩展到多个信源. 有些分布式信源编码系统使用的奇偶校验子（parity-check bits）。

在先今的分布式信源编码中，常常用虚拟信道作为两个相关信源的关联性的模型，二元对称信道Binary symmetric channel多用于描述虚拟信道的特性^[7][8].

在对两个相关联的信源的相关性研究中，通常用到两种模型：确定式和概率式。基于这两种模型，分布式信源编码被扩展到跟普遍性的方式：两个信源都被压缩，不存在所谓的边信息^[9][10][11]. 这种更普遍的方式被称为非不对称压缩（Non-asymmetric DSC）。

基于一种确定式的虚拟信道模型，X.曹和M. Kuijper将非不对称压缩的分布式信源编码扩展到任何数量的相关信源，每个信源可以更灵活的在Slepian-Wolf界限内达到任意压缩码率，而所有信源压缩后的总码率和不对称式多信源的总码率相同^[12] .

Slepian-Wolf界限

${\displaystyle R_{x}\geq H(x|y)}$  ,

${\displaystyle R_{y}\geq H(y|x)}$ ,

${\displaystyle R_{x}+R_{y}\geq H(x,y)}$ 

虚拟信道

确定式模型

概率式模型

不对称压缩的分布式信源编码

非不对称压缩的分布式信源编码

对于多于两个相关信源的非不对称压缩的分布式信源编码

参考文献

1. "Distributed source coding for sensor networks" by Zixiang Xiong Liveris, A.D. Cheng, S.
2. "Distributed video coding in wireless sensor networks" by Puri, R. Majumdar, A. Ishwar, P. Ramchandran, K.
3. "Noiseless coding of correlated information sources" by D. Slepian and J. Wolf. [2009-07-22]. （原始内容于2014-11-13）. 
4. "A proof of the data compression theorem of Slepian and Wolf for ergodic sources" by T. Cover. [2009-07-22]. （原始内容于2014-11-19）. 
5. "The rate-distortion function for source coding with side information at the decoder" by Wyner, A. Ziv, J.
6. "Distributed source coding using syndromes (DISCUS)：　design and construction" by Pradhan, S.S. and Ramchandran, K.. [2009-07-22]. （原始内容于2010-08-23）. 
7. "Distributed code constructions for the entire Slepian-Wolf rate region for arbitrarily correlated sources" by Schonberg, D. Ramchandran, K. Pradhan, S.S.
8. "Generalized coset codes for distributed binning" by Pradhan, S.S. Ramchandran, K.
9. "On code design for the Slepian-Wolf problem and lossless multiterminal networks" by Stankovic, V. Liveris, A.D. Zixiang Xiong Georghiades, C.N.
10. "A general and optimal framework to achieve the entire rate region for Slepian-Wolf coding" by P. Tan and J. Li
11. "Distributed source coding using short to moderate length rate-compatible LDPC codes: the entire Slepian-Wolf rate region" by Sartipi, M. Fekri, F.
12. "A distributed source coding framework for multiple sources" by Xiaomin Cao and Kuijper, M.