- 文献综述(或调研报告):
Cover的《信息论基础》[1]是整个信息论领域的入门读物,从最基础的熵,相对熵与互信息讲起,和本课题相关的部分有:
渐进均分性:分为弱的渐进均分性和强的渐进均分性,其中弱的渐进均分性是弱大数定律直接作用的结果,由此引申出了典型集和非典型集的概念,直观的理解是典型集在整个集合中几乎占据了1的概率,这是后面一切理论推导的基础。
信道容量:核心内容为信道编码定理(channel capacity theorem),即信息传输速率的上界是信道容量C,其证明分为可达性和反向两个部分。另外比较重要的是费诺不等式,该不等式可以根据条件熵给出误差概率的下界。
微分熵:既是熵的连续形式,是对离散熵的推广。
率失真理论:核心内容为率失真定理(rate distortion theorem),即在允许一定的失真D存在的情况下,传输数据最小的速率为R(D),这样可以给出一个率失真的范围图示。证明仍然分为可达性和反向两个部分,一个给出上界,一个给出下界。
网络信息论:介绍经典的模型如高斯多用户信道,多接入信道,Slepian-Wolf,广播信道,具有边信息的信源编码和率失真(和本课题高度相关)
Gamal and Yong-Han Kim 的 Network Information Theory[2] 是网络信息论领域的入门读物,主要关注与网络信息论中的各种模型及相关的证明,开头仍然是基础知识,后面提到的经典模型有:Berger-Tung, Wyner-Ziv,Heegard-Berger Problem, Multiple Description Coding等。
重点考虑Wyner-Ziv Problem,该问题描述了在译码端存在边信息时的率失真函数,见[3][4],模型为图1中没有边信息Z,辅助源Y只发送边信息给译码端的情况。该问题的一个特殊情况是信源X必须无损地恢复出来,结果见[5],但是将结果扩展至X的有损重建时还尚未解决。[6]考虑了一种特殊情况:Z为退化信源时的可达域,但是反向部分的证明并不相匹配。[7][8]描述了当一个编码器损坏掉时一个更加泛化的率失真问题,并解决了当图1中一个信源为常量时的情况。然后考虑不含有辅助源的双向率失真问题,该问题在[9]中得到了解决,模型为图1中辅助源Y不存在的情况。
