双向信源编码的率失真理论研究文献综述

 2022-09-25 16:05:28

  1. 文献综述(或调研报告):

Cover的《信息论基础》[1]是整个信息论领域的入门读物,从最基础的熵,相对熵与互信息讲起,和本课题相关的部分有:

渐进均分性:分为弱的渐进均分性和强的渐进均分性,其中弱的渐进均分性是弱大数定律直接作用的结果,由此引申出了典型集和非典型集的概念,直观的理解是典型集在整个集合中几乎占据了1的概率,这是后面一切理论推导的基础。

信道容量:核心内容为信道编码定理(channel capacity theorem),即信息传输速率的上界是信道容量C,其证明分为可达性和反向两个部分。另外比较重要的是费诺不等式,该不等式可以根据条件熵给出误差概率的下界。

微分熵:既是熵的连续形式,是对离散熵的推广。

率失真理论:核心内容为率失真定理(rate distortion theorem),即在允许一定的失真D存在的情况下,传输数据最小的速率为R(D),这样可以给出一个率失真的范围图示。证明仍然分为可达性和反向两个部分,一个给出上界,一个给出下界。

网络信息论:介绍经典的模型如高斯多用户信道,多接入信道,Slepian-Wolf,广播信道,具有边信息的信源编码和率失真(和本课题高度相关)

Gamal and Yong-Han Kim 的 Network Information Theory[2] 是网络信息论领域的入门读物,主要关注与网络信息论中的各种模型及相关的证明,开头仍然是基础知识,后面提到的经典模型有:Berger-Tung, Wyner-Ziv,Heegard-Berger Problem, Multiple Description Coding等。

重点考虑Wyner-Ziv Problem,该问题描述了在译码端存在边信息时的率失真函数,见[3][4],模型为图1中没有边信息Z,辅助源Y只发送边信息给译码端的情况。该问题的一个特殊情况是信源X必须无损地恢复出来,结果见[5],但是将结果扩展至X的有损重建时还尚未解决。[6]考虑了一种特殊情况:Z为退化信源时的可达域,但是反向部分的证明并不相匹配。[7][8]描述了当一个编码器损坏掉时一个更加泛化的率失真问题,并解决了当图1中一个信源为常量时的情况。然后考虑不含有辅助源的双向率失真问题,该问题在[9]中得到了解决,模型为图1中辅助源Y不存在的情况。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

发小红书推广免费获取该资料资格。点击链接进入获取推广文案即可: Ai一键组稿 | 降AI率 | 降重复率 | 论文一键排版