1 .调研背景与研究目的连续随机变量微分熵 h(X) 描述模拟信源的平均信息量不同于离散熵连续熵可正可负且存在约束极值规律。信息论核心结论在平均功率二阶矩固定的所有连续随机变量中高斯分布的微分熵唯一达到最大值该结论称为限功率最大熵定理。香农AWGN信道容量公式、模拟信源率失真函数、最优调制波形设计全部建立在该定理之上。本次调研任务1. 使用相对熵KL散度严格证明限平均功率最大熵定理2. 推导均匀、三角、拉普拉斯、高斯四种分布在相同功率下的微分熵解析式3. MATLAB仿真对比相同功率下四类分布的微分熵数值验证定理2. 基础预备知识2.1 微分熵定义连续随机变量 X概率密度 p(x)微分熵2.2 相对熵KL散度两个密度 p(x), q(x) 的相对熵恒非负等号成立当且仅当2.3 平均功率约束随机变量平均功率二阶原点矩固定P 为给定常数代表信号平均功率。2.4 零均值高斯分布微分熵零均值、方差 \sigma^2P 的高斯分布密度代入微分熵积分得3 .定理严格数学证明定理表述设连续随机变量 X 满足g(x) 为同功率零均值高斯密度则等号仅当 X 服从高斯分布。证明步骤1. 构造相对熵自然对数形式展开左侧即为换底关系。2. 代入高斯密度对数项右侧积分拆分3. 代回不等式并转换为以2为底对数两边除以 ln2由相对熵性质仅当 p(x)g(x) 时取等证明完毕。4 .四类同功率分布微分熵理论对比固定平均功率分别推导解析式(1) 高斯分布(2)均匀分布 U[-a,a]满足(3) 拉普拉斯分布(4)三角分布对称区间微分熵数值恒小于高斯。理论结论相同功率约束下高斯熵最大。5 .MATLAB仿真实现原创代码区别网络通用脚本5.1 仿真目标固定平均功率 P1计算均匀、拉普拉斯、三角、高斯分布微分熵数值并柱状图对比遍历多组功率 P绘制四种分布熵随功率变化曲线直观验证定理。5.2 仿真结果分析1. 固定功率柱状图高斯分布微分熵数值显著高于其余三类分布2. 功率变化曲线随平均功率增大四类分布熵同步上升但高斯曲线始终位于最上方差值稳定存在3. 物理解释高斯随机信号的不确定性、携带信息量是同功率信号中上限这也是通信系统噪声天然服从高斯分布的核心原因。6.调研总结1. 通过KL相对熵严格证明平均功率约束下仅高斯分布微分熵取得全局最大值2. 理论解析式与MATLAB仿真双重验证均匀、拉普拉斯、三角分布信息量均低于同功率高斯信号3. 该定理是连续信道信息论的基石直接支撑香农信道容量、率失真函数两大核心理论4. 工程层面解释了无线通信最优发射波形、噪声特性、高阶调制设计的底层逻辑具备完整理论与实际价值。
