参数估计理论
贝叶斯估计
条件：待估计参数 \(\alpha\) 是随机变量；已知先验概率密度 \(p(\alpha)\) 和似然函数 \(p(r|\alpha)\)。
联合概率密度：
\[p(r,\alpha)=p(r|\alpha)p(\alpha)=p(\alpha|r)p(r)\]
后验概率密度：
\[p(\alpha|r)=\frac{p(r|\alpha)p(\alpha)}{p(r)}\]
其中：
\[p(r)=\int p(r|\alpha)p(\alpha)d\alpha\]
代价函数：
\[C(\alpha,\hat{\alpha})\]
条件风险：
\[R(\hat{\alpha}|r)=\int C(\alpha,\hat{\alpha})p(\alpha|r)d\alpha\]
贝叶斯估计量：
\[\hat{\alpha}_B(r)=\arg\min_{\hat{\alpha}}R(\hat{\alpha}|r)\]
结论：贝叶斯估计就是在给定观测 \(r\) 后，使条件风险最小的估计。
最小均方误差
条件：采用平方误差代价函数。
代价函数：
\[C(\alpha,\hat{\alpha})=(\hat{\alpha}-\alpha)^2\]
条件风险：
\[R(\hat{\alpha}|r)=\int(\hat{\alpha}-\alpha)^2p(\alpha|r)d\alpha\]
最小均方误差估计量：
\[\hat{\alpha}_{MMSE}(r)=E[\alpha|r]\]
即：
\[\hat{\alpha}_{MMSE}(r)=\int \alpha p(\alpha|r)d\alpha\]
结论：平方误差代价下，贝叶斯估计量等于后验均值。
条件中值估计量
条件：采用绝对误差代价函数。
代价函数：
\[C(\alpha,\hat{\alpha})=|\hat{\alpha}-\alpha|\]
条件风险：
\[R(\hat{\alpha}|r)=\int|\hat{\alpha}-\alpha|p(\alpha|r)d\alpha\]
条件中值估计量满足：
\[\int_{-\infty}^{\hat{\alpha}}p(\alpha|r)d\alpha=\int_{\hat{\alpha}}^{+\infty}p(\alpha|r)d\alpha\]
等价于：
\[P(\alpha\le \hat{\alpha}|r)=\frac{1}{2}\]
结论：绝对误差代价下，贝叶斯估计量等于后验分布的中值。
最大后验估计量
条件：采用阱形误差代价函数。
代价函数：
\[C(\alpha,\hat{\alpha})=\begin{cases}0, & |\hat{\alpha}-\alpha|\le \frac{\Delta}{2}\\1, & |\hat{\alpha}-\alpha|> \frac{\Delta}{2}\end{cases}\]
当 \(\Delta\) 很小时，使条件风险最小等价于使后验概率密度最大。
最大后验估计量：
\[\hat{\alpha}_{MAP}(r)=\arg\max_{\alpha}p(\alpha|r)\]
由 Bayes 公式：
\[p(\alpha|r)=\frac{p(r|\alpha)p(\alpha)}{p(r)}\]
由于 \(p(r)\) 与 \(\alpha\) 无关，因此：
\[\hat{\alpha}_{MAP}(r)=\arg\max_{\alpha}p(r|\alpha)p(\alpha)\]
对数形式：
\[\hat{\alpha}_{MAP}(r)=\arg\max_{\alpha}\left[\ln p(r|\alpha)+\ln p(\alpha)\right]\]
结论：阱形误差代价下，贝叶斯估计量近似为后验概率密度最大的位置。
最大似然估计
条件：待估计参数 \(\alpha\) 是未知非随机参数；已知似然函数 \(p(r|\alpha)\)；不使用先验概率。
似然函数：
\[L(\alpha)=p(r|\alpha)\]
最大似然估计量：
\[\hat{\alpha}_{ML}(r)=\arg\max_{\alpha}p(r|\alpha)\]
对数似然函数：
\[l(\alpha)=\ln p(r|\alpha)\]
等价形式：
\[\hat{\alpha}_{ML}(r)=\arg\max_{\alpha}l(\alpha)\]
若可微，通常由下式求解：
\[\frac{\partial}{\partial \alpha}\ln p(r|\alpha)=0\]
结论：最大似然估计选择使当前观测数据出现概率最大的参数值。
MAP 与 ML 的关系
MAP：
\[\hat{\alpha}_{MAP}(r)=\arg\max_{\alpha}p(r|\alpha)p(\alpha)\]
ML：
\[\hat{\alpha}_{ML}(r)=\arg\max_{\alpha}p(r|\alpha)\]
若先验分布为均匀分布，即 \(p(\alpha)\) 为常数，则：
\[\hat{\alpha}_{MAP}(r)=\hat{\alpha}_{ML}(r)\]
结论：最大似然估计可以看作“没有先验信息”或“先验均匀”时的最大后验估计。
估计量的性质
估计量是观测值的函数，表示由一组观测数据得到参数估计值的规则。
设 \(N\) 维观测矢量为 \(\mathbf r\)，待估计参数为 \(\alpha\)，估计量为 \(\hat{\alpha}_N(\mathbf r)\)。
评价估计量时主要关注：
\[E[\hat{\alpha}_N]\]
\[\mathrm{Var}(\hat{\alpha}_N)\]
\[E[(\hat{\alpha}_N-\alpha)^2]\]
其中均方误差可以分解为：
\[E[(\hat{\alpha}_N-\alpha)^2]=\mathrm{Var}(\hat{\alpha}_N)+\left(E[\hat{\alpha}_N]-\alpha\right)^2\]
即：
\[MSE=方差+偏差^2\]
无偏估计量
定义：若估计量的数学期望等于待估计参数的真值，则称该估计量为无偏估计量。
\[E[\hat{\alpha}_N]=\alpha\]
其中 \(\hat{\alpha}_N\) 表示由 \(N\) 维观测矢量构成的估计量。
偏差定义：
\[b(\alpha)=E[\hat{\alpha}_N]-\alpha\]
若：
\[b(\alpha)=0\]
则 \(\hat{\alpha}_N\) 是无偏估计量。
若：
\[b(\alpha)\ne 0\]
则 \(\hat{\alpha}_N\) 是有偏估计量。
渐近无偏估计量：
\[\lim_{N\to\infty}E[\hat{\alpha}_N]=\alpha\]
理解：
- 无偏性描述的是“多次重复实验后，估计结果的平均值是否等于真值”。
- 无偏性是有限样本性质。
- 无偏不一定一致，一致也不一定无偏。
一致估计量
定义：当观测样本数 \(N\) 增大时，估计量越来越集中在参数真值附近，则称该估计量为一致估计量。
数学定义：若当 \(N\to\infty\) 时，估计量依概率收敛于真值 \(\alpha\)，则称 \(\hat{\alpha}_N\) 为 \(\alpha\) 的一致估计量。
\[\hat{\alpha}_N \xrightarrow{P} \alpha\]
即对任意 \(\varepsilon>0\)，有：
\[\lim_{N\to\infty}P(|\hat{\alpha}_N-\alpha|<\varepsilon)=1\]
等价写法：
\[\lim_{N\to\infty}P(|\hat{\alpha}_N-\alpha|\ge \varepsilon)=0\]
理解：
- 一致性描述的是“样本数无限增大时，一次实验得到的估计值是否趋近真值”。
- 一致性是大样本性质。
- 无偏性看重复实验的平均结果；一致性看样本数增加后的单次估计极限。
课件中的直观说法：
- 无偏：先估计，再平均。
- 一致：用无限次观测一起估计。
充分估计量
定义：若一个估计量能够包含观测样本中关于参数 \(\alpha\) 的全部有用信息，则称它为充分估计量，也称充分统计量。
设观测矢量为 \(\mathbf r\)，统计量为 \(T(\mathbf r)\)。
若似然函数可以分解为：
\[p(\mathbf r|\alpha)=g(T(\mathbf r),\alpha)h(\mathbf r)\]
其中 \(h(\mathbf r)\) 与参数 \(\alpha\) 无关，则称 \(T(\mathbf r)\) 是参数 \(\alpha\) 的充分统计量。
理解：
- 充分统计量把样本中关于参数 \(\alpha\) 的全部信息提取出来。
- 已知 \(T(\mathbf r)\) 后，样本 \(\mathbf r\) 的条件分布与 \(\alpha\) 无关。
- 也就是说，除了 \(T(\mathbf r)\) 以外，样本中剩下的信息对估计 \(\alpha\) 没有帮助。
判别方法：因子分解定理。
\[p(\mathbf r|\alpha)=g(T(\mathbf r),\alpha)h(\mathbf r)\]
若能写成这种形式，则 \(T(\mathbf r)\) 是充分统计量。
有效估计量
定义：在所有无偏估计量中，方差最小的估计量称为有效估计量。
若 \(\hat{\alpha}\) 是无偏估计量，则：
\[E[\hat{\alpha}]=\alpha\]
此时估计量的均方误差等于方差：
\[E[(\hat{\alpha}-\alpha)^2]=\mathrm{Var}(\hat{\alpha})\]
有效估计量要求：
\[\mathrm{Var}(\hat{\alpha})\]
在所有无偏估计量中最小。
课件中的判断标准：若无偏估计量达到克拉美-罗界限，则它是有效估计量。
\[\mathrm{Var}(\hat{\alpha})=CRLB\]
理解：
- 无偏只要求平均值等于真值。
- 有效还要求估计值尽可能集中在真值附近。
- 因此，有效估计量是“最好的无偏估计量”。
性质：
- 达到克拉美-罗界限的无偏估计量是有效估计量。
- 无偏有效估计量如果存在，一定是最大似然估计量。
- 反过来，最大似然估计量不一定是有效估计量。
最小均方误差限
概念：最小均方误差限描述任何估计量在均方误差意义下所能达到的理论下界。
对于非随机参数估计，若估计量无偏，则：
\[MSE=E[(\hat{\alpha}-\alpha)^2]=\mathrm{Var}(\hat{\alpha})\]
因此，非随机参数无偏估计时，最小均方误差限就是克拉美-罗界限。
\[E[(\hat{\alpha}-\alpha)^2]\ge CRLB\]
克拉美-罗界限：
\[\mathrm{Var}(\hat{\alpha})\ge \frac{1}{I(\alpha)}\]
其中 \(I(\alpha)\) 为 Fisher 信息量：
\[I(\alpha)=E\left[\left(\frac{\partial}{\partial\alpha}\ln p(\mathbf r|\alpha)\right)^2\right]\]
等价形式：
\[I(\alpha)=-E\left[\frac{\partial^2}{\partial\alpha^2}\ln p(\mathbf r|\alpha)\right]\]
因此：
\[\mathrm{Var}(\hat{\alpha})\ge\frac{1}{E\left[\left(\frac{\partial}{\partial\alpha}\ln p(\mathbf r|\alpha)\right)^2\right]}\]
或：
\[\mathrm{Var}(\hat{\alpha})\ge-\frac{1}{E\left[\frac{\partial^2}{\partial\alpha^2}\ln p(\mathbf r|\alpha)\right]}\]
对于随机参数估计，也存在类似的最小均方误差限：
\[E[(\hat{\alpha}(\mathbf r)-\alpha)^2]\ge\frac{1}{E\left[\left(\frac{\partial}{\partial\alpha}\ln p(\mathbf r,\alpha)\right)^2\right]}\]
等价形式：
\[E[(\hat{\alpha}(\mathbf r)-\alpha)^2]\ge-\frac{1}{E\left[\frac{\partial^2}{\partial\alpha^2}\ln p(\mathbf r,\alpha)\right]}\]
理解：
- 最小均方误差限不是某个具体估计量，而是理论下界。
- 如果某个估计量达到该下界，则说明它在该准则下已经达到最优。
- 对非随机参数无偏估计，最小均方误差限就是 CRLB。
- 对随机参数估计，需要使用联合概率密度 \(p(\mathbf r,\alpha)\)。
常用估计方法
常用估计方法主要包括：
- 线性最小均方误差估计 LMMSE
- 最小二乘估计 LS
二者的区别：
- LMMSE 依赖二阶统计量，如均值、方差、协方差。
- LS 不一定需要概率模型，主要通过最小化残差平方和来估计参数。
- LMMSE 是统计意义下的最优线性估计。
- LS 是几何意义下的最优拟合。
线性最小均方误差估计（LMMSE）
条件：待估计量 \(\alpha\) 与观测量 \(\mathbf r\) 的二阶统计量已知。
假设估计量限制为观测量的线性函数：
\[\hat{\alpha}=\mathbf w^T\mathbf r\]
更一般地，若允许常数项：
\[\hat{\alpha}=c+\mathbf w^T\mathbf r\]
优化目标：
\[\min_{\mathbf w,c}E[(\alpha-\hat{\alpha})^2]\]
即：
\[\min_{\mathbf w,c}E[(\alpha-c-\mathbf w^T\mathbf r)^2]\]
若 \(\alpha\) 和 \(\mathbf r\) 均值已知：
\[m_\alpha=E[\alpha]\]
\[\mathbf m_r=E[\mathbf r]\]
协方差矩阵：
\[\mathbf R_{rr}=E[(\mathbf r-\mathbf m_r)(\mathbf r-\mathbf m_r)^T]\]
互协方差向量：
\[\mathbf r_{\alpha r}=E[(\alpha-m_\alpha)(\mathbf r-\mathbf m_r)]\]
LMMSE 估计量为：
\[\hat{\alpha}_{LMMSE}=m_\alpha+\mathbf r_{\alpha r}\mathbf R_{rr}^{-1}(\mathbf r-\mathbf m_r)\]
若均值为零，即：
\[m_\alpha=0,\qquad \mathbf m_r=\mathbf 0\]
则：
\[\hat{\alpha}_{LMMSE}=\mathbf w^T\mathbf r\]
其中：
\[\mathbf w=\mathbf R_{rr}^{-1}\mathbf r_{r\alpha}\]
或写成：
\[\mathbf w=\mathbf R^{-1}\mathbf g\]
其中：
- \(\mathbf R\) 是观测向量的自相关矩阵。
- \(\mathbf g\) 是观测向量与待估计量之间的互相关向量。
正交性原理：
\[E[(\alpha-\hat{\alpha})\mathbf r]=\mathbf 0\]
含义：最优线性估计误差与所有观测量正交。
特点：
- 只要求二阶统计量，不要求完整概率密度函数。
- 估计量限制在线性形式内。
- 若变量联合高斯，则 LMMSE 与 MMSE 相同。
- 若变量不是联合高斯，LMMSE 只是最优线性估计，不一定是所有估计量中的最优估计。
最小二乘法估计
条件：观测模型可以写成线性形式：
\[\mathbf r=\mathbf H\boldsymbol{\theta}+\mathbf n\]
其中：
- \(\mathbf r\) 是观测向量。
- \(\mathbf H\) 是已知观测矩阵。
- \(\boldsymbol{\theta}\) 是待估计参数向量。
- \(\mathbf n\) 是误差或噪声。
残差：
\[\mathbf e=\mathbf r-\mathbf H\boldsymbol{\theta}\]
最小二乘准则：
\[J(\boldsymbol{\theta})=\|\mathbf r-\mathbf H\boldsymbol{\theta}\|^2\]
即：
\[J(\boldsymbol{\theta})=(\mathbf r-\mathbf H\boldsymbol{\theta})^T(\mathbf r-\mathbf H\boldsymbol{\theta})\]
优化目标：
\[\hat{\boldsymbol{\theta}}_{LS}=\arg\min_{\boldsymbol{\theta}}\|\mathbf r-\mathbf H\boldsymbol{\theta}\|^2\]
令梯度为零：
\[\frac{\partial J}{\partial \boldsymbol{\theta}}=\mathbf 0\]
得到正规方程：
\[\mathbf H^T\mathbf H\hat{\boldsymbol{\theta}}=\mathbf H^T\mathbf r\]
若 \(\mathbf H^T\mathbf H\) 可逆，则：
\[\hat{\boldsymbol{\theta}}_{LS}=(\mathbf H^T\mathbf H)^{-1}\mathbf H^T\mathbf r\]
特点：
- 不需要知道噪声分布。
- 只需要建立观测方程。
- 对高斯白噪声，最小二乘估计等价于最大似然估计。
- 对野点非常敏感，因为平方误差会放大大残差样本的影响。
最小二乘中的野点处理
野点：与主要数据趋势明显不一致、残差异常大的观测点。
设第 \(i\) 个残差为：
\[e_i=r_i-\mathbf h_i^T\hat{\boldsymbol{\theta}}\]
普通最小二乘最小化：
\[\sum_{i=1}^{N}e_i^2\]
由于残差被平方，若某个 \(|e_i|\) 很大，它会对目标函数产生过大影响，从而把估计结果“拉偏”。因此可以先拟合，再按残差剔除野点
步骤：
- 用全部数据做一次 LS 估计：
\[\hat{\boldsymbol{\theta}}^{(0)}=(\mathbf H^T\mathbf H)^{-1}\mathbf H^T\mathbf r\]
- 计算残差：
\[e_i=r_i-\mathbf h_i^T\hat{\boldsymbol{\theta}}^{(0)}\]
- 计算残差标准差：
\[\sigma_e=\sqrt{\frac{1}{N}\sum_{i=1}^{N}e_i^2}\]
- 剔除满足下式的样本：
\[|e_i|>k\sigma_e\]
常用：
\[k=2 \sim 3\]
- 用剩余样本重新做 LS 估计。
特点：
- 简单直观。
- 适合野点较少、初始 LS 没有被严重拉偏的情况。
- 缺点是初始拟合若已经被野点严重影响，残差判断可能不可靠。