假设检验理论
单次测量假设检验
MAP准则
条件:已知先验概率 \(P_0=P(H_0), P_1=P(H_1)\),已知似然函数 \(p_0(r),p_1(r)\),错误代价相同。
似然比:
\[\lambda(r)=\dfrac{p_1(r)}{p_0(r)}\]
判决规则:
\[\lambda(r)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
门限:
\[\lambda_0=\dfrac{P_0}{P_1}\]
性能:
\[P_F=\int_{\lambda(r)>\lambda_0}p_0(r)\,dr\]
\[P_D=\int_{\lambda(r)>\lambda_0}p_1(r)\,dr\]
\[P_M=1-P_D\]
特殊情况:若 \(P_0=P_1\),则 \(\lambda_0=1\),MAP 退化为最大似然准则。
Bayes准则
条件:已知先验概率 \(P_0,P_1\),已知似然函数 \(p_0(r),p_1(r)\),已知代价矩阵 \(C_{ij}\)。
似然比:
\[\lambda(r)=\dfrac{p_1(r)}{p_0(r)}\]
判决规则:
\[\lambda(r)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
门限:
\[\lambda_0=\dfrac{P_0(C_{10}-C_{00})}{P_1(C_{01}-C_{11})}\]
平均风险:
\[C=P_0[C_{00}(1-P_F)+C_{10}P_F]+P_1[C_{01}P_M+C_{11}(1-P_M)]\]
优化目标:
\[\min C\]
性能:
\[P_F=\int_{\lambda(r)>\lambda_0}p_0(r)\,dr\]
\[P_D=\int_{\lambda(r)>\lambda_0}p_1(r)\,dr\]
\[P_M=1-P_D\]
特殊情况:若 \(C_{00}=C_{11}=0,\ C_{10}=C_{01}=1\),Bayes 准则退化为最小错误概率准则,此时 \(\lambda_0=\dfrac{P_0}{P_1}\)。
min-max准则
条件:已知代价矩阵 \(C_{ij}\),已知似然函数 \(p_0(r),p_1(r)\),先验概率未知。
似然比:
\[\lambda(r)=\dfrac{p_1(r)}{p_0(r)}\]
判决规则:
\[\lambda(r)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
极小极大方程:
\[C(0,x^*)=C(1,x^*)\]
即:
\[C_{01}P_M+C_{11}(1-P_M)=C_{00}(1-P_F)+C_{10}P_F\]
门限:
\[\lambda_0=\dfrac{x^*(C_{10}-C_{00})}{(1-x^*)(C_{01}-C_{11})}\]
优化目标:
\[\min_x\max_\xi C(\xi,x)\]
性能:
\[P_F=\int_{\lambda(r)>\lambda_0}p_0(r)\,dr\]
\[P_D=\int_{\lambda(r)>\lambda_0}p_1(r)\,dr\]
\[P_M=1-P_D\]
特殊情况:若 \(C_{00}=C_{11}=0,\ C_{10}=C_{01}=1\),则极小极大方程化为 \(P_F=P_M\)。
NP准则
条件:先验概率未知,代价矩阵未知或不使用,给定虚警概率 \(P_F=\alpha\)。
似然比:
\[\lambda(r)=\dfrac{p_1(r)}{p_0(r)}\]
判决规则:
\[\lambda(r)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
门限由虚警概率确定:
\[P_F=\int_{\lambda(r)>\lambda_0}p_0(r)\,dr=\alpha\]
优化目标:
\[\max P_D,\quad s.t.\ P_F=\alpha\]
等价目标:
\[\min P_M,\quad s.t.\ P_F=\alpha\]
性能:
\[P_D=\int_{\lambda(r)>\lambda_0}p_1(r)\,dr\]
\[P_M=1-P_D\]
特点:固定虚警概率,使检测概率最大。
多次测量假设检验
多次测量MAP准则
条件:已知先验概率 \(P_0,P_1\),已知联合似然函数 \(p_0(\mathbf r),p_1(\mathbf r)\),错误代价相同。
观测向量:
\[\mathbf r=(r_1,r_2,\cdots,r_N)^T\]
似然比:
\[\lambda(\mathbf r)=\dfrac{p_1(\mathbf r)}{p_0(\mathbf r)}\]
若条件独立:
\[\lambda(\mathbf r)=\prod_{n=1}^N\dfrac{p_1(r_n)}{p_0(r_n)}\]
对数似然比:
\[\ln\lambda(\mathbf r)=\sum_{n=1}^N\ln\dfrac{p_1(r_n)}{p_0(r_n)}\]
判决规则:
\[\lambda(\mathbf r)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
门限:
\[\lambda_0=\dfrac{P_0}{P_1}\]
对数形式:
\[\ln\lambda(\mathbf r)\mathop{\gtrless}_{H_0}^{H_1}\ln\dfrac{P_0}{P_1}\]
性能:
\[P_F=\int_{\lambda(\mathbf r)>\lambda_0}p_0(\mathbf r)\,d\mathbf r\]
\[P_D=\int_{\lambda(\mathbf r)>\lambda_0}p_1(\mathbf r)\,d\mathbf r\]
\[P_M=1-P_D\]
多次测量Bayes准则
条件:已知先验概率 \(P_0,P_1\),已知联合似然函数 \(p_0(\mathbf r),p_1(\mathbf r)\),已知代价矩阵 \(C_{ij}\)。
似然比:
\[\lambda(\mathbf r)=\dfrac{p_1(\mathbf r)}{p_0(\mathbf r)}\]
若条件独立:
\[\lambda(\mathbf r)=\prod_{n=1}^N\dfrac{p_1(r_n)}{p_0(r_n)}\]
判决规则:
\[\lambda(\mathbf r)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
门限:
\[\lambda_0=\dfrac{P_0(C_{10}-C_{00})}{P_1(C_{01}-C_{11})}\]
对数形式:
\[\ln\lambda(\mathbf r)\mathop{\gtrless}_{H_0}^{H_1}\ln\dfrac{P_0(C_{10}-C_{00})}{P_1(C_{01}-C_{11})}\]
平均风险:
\[C=P_0[C_{00}(1-P_F)+C_{10}P_F]+P_1[C_{01}P_M+C_{11}(1-P_M)]\]
优化目标:
\[\min C\]
性能:
\[P_F=\int_{\lambda(\mathbf r)>\lambda_0}p_0(\mathbf r)\,d\mathbf r\]
\[P_D=\int_{\lambda(\mathbf r)>\lambda_0}p_1(\mathbf r)\,d\mathbf r\]
\[P_M=1-P_D\]
多次测量min-max准则
条件:已知代价矩阵 \(C_{ij}\),已知联合似然函数 \(p_0(\mathbf r),p_1(\mathbf r)\),先验概率未知。
似然比:
\[\lambda(\mathbf r)=\dfrac{p_1(\mathbf r)}{p_0(\mathbf r)}\]
若条件独立:
\[\lambda(\mathbf r)=\prod_{n=1}^N\dfrac{p_1(r_n)}{p_0(r_n)}\]
判决规则:
\[\lambda(\mathbf r)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
极小极大方程:
\[C(0,x^*)=C(1,x^*)\]
即:
\[C_{01}P_M+C_{11}(1-P_M)=C_{00}(1-P_F)+C_{10}P_F\]
门限:
\[\lambda_0=\dfrac{x^*(C_{10}-C_{00})}{(1-x^*)(C_{01}-C_{11})}\]
对数形式:
\[\ln\lambda(\mathbf r)\mathop{\gtrless}_{H_0}^{H_1}\ln\dfrac{x^*(C_{10}-C_{00})}{(1-x^*)(C_{01}-C_{11})}\]
优化目标:
\[\min_x\max_\xi C(\xi,x)\]
性能:
\[P_F=\int_{\lambda(\mathbf r)>\lambda_0}p_0(\mathbf r)\,d\mathbf r\]
\[P_D=\int_{\lambda(\mathbf r)>\lambda_0}p_1(\mathbf r)\,d\mathbf r\]
\[P_M=1-P_D\]
特殊情况:若 \(C_{00}=C_{11}=0,\ C_{10}=C_{01}=1\),则 \(P_F=P_M\)。
多次测量NP准则
条件:先验概率未知,代价矩阵未知或不使用,已知联合似然函数 \(p_0(\mathbf r),p_1(\mathbf r)\),给定虚警概率 \(P_F=\alpha\)。
似然比:
\[\lambda(\mathbf r)=\dfrac{p_1(\mathbf r)}{p_0(\mathbf r)}\]
若条件独立:
\[\lambda(\mathbf r)=\prod_{n=1}^N\dfrac{p_1(r_n)}{p_0(r_n)}\]
对数似然比:
\[\ln\lambda(\mathbf r)=\sum_{n=1}^N\ln\dfrac{p_1(r_n)}{p_0(r_n)}\]
判决规则:
\[\lambda(\mathbf r)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
对数形式:
\[\ln\lambda(\mathbf r)\mathop{\gtrless}_{H_0}^{H_1}\ln\lambda_0\]
门限由虚警概率确定:
\[P_F=\int_{\lambda(\mathbf r)>\lambda_0}p_0(\mathbf r)\,d\mathbf r=\alpha\]
优化目标:
\[\max P_D,\quad s.t.\ P_F=\alpha\]
等价目标:
\[\min P_M,\quad s.t.\ P_F=\alpha\]
性能:
\[P_D=\int_{\lambda(\mathbf r)>\lambda_0}p_1(\mathbf r)\,d\mathbf r\]
\[P_M=1-P_D\]
特点:多次测量时,固定 \(P_F=\alpha\),最大化 \(P_D\);形式上只是把单次似然比换成联合似然比。
多元假设检验
还是Bayes,认为\(C\)和\(\xi\)已知。\(C_{ij}\):\(H_j\)真,判\(H_i\)代价。
规则:取\(\mathrm{argmin}_j\,C_j=\sum_{i=1}^M C_{ji}P(H_i|r)\)
复合假设检验
条件:表征假设的参数未知或随机。
一般形式:
\[H_0:r\sim p(r|H_0,\theta_0)\]
\[H_1:r\sim p(r|H_1,\theta_1)\]
其中 \(\theta_0,\theta_1\) 可能是随机变量,也可能是未知非随机常量。
随机参数已知分布时:
条件:\(\theta_0,\theta_1\) 为随机变量,且 \(p(\theta_0|H_0),p(\theta_1|H_1)\) 已知。
课件方法:代入未知参量的概率分布作平均。
\[p_0(r)=\int p(r|H_0,\theta_0)p(\theta_0|H_0)d\theta_0\]
\[p_1(r)=\int p(r|H_1,\theta_1)p(\theta_1|H_1)d\theta_1\]
似然比:
\[\lambda(r)=\dfrac{p_1(r)}{p_0(r)}\]
判决规则:
\[\lambda(r)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
门限:
\(\lambda_0\) 由 MAP、Bayes、min-max 或 NP 准则确定。
性能:
\[P_F=\int_{\lambda(r)>\lambda_0}p_0(r)dr\]
\[P_D=\int_{\lambda(r)>\lambda_0}p_1(r)dr\]
\[P_M=1-P_D\]
一致最大势检验
条件:\(\theta\) 为未知非随机常量,采用 NP 准则。
优化目标:
\[\max P_D(\theta),\quad s.t.\ P_F=\alpha\]
一般情况下,得到的检测器会与未知参数 \(\theta\) 有关,因此无法实现。
若最佳检测器结构与未知参数无关,则一致最大势检验存在。
似然比:
\[\lambda(r;\theta)=\dfrac{p(r|H_1,\theta)}{p(r|H_0)}\]
判决规则:
\[\lambda(r;\theta)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
若可化简为与 \(\theta\) 无关的统计量:
\[T(r)\mathop{\gtrless}_{H_0}^{H_1}\gamma\]
门限:
\[P_F=P(T(r)>\gamma|H_0)=\alpha\]
性能:
\[P_D(\theta)=P(T(r)>\gamma|H_1,\theta)\]
\[P_M(\theta)=1-P_D(\theta)\]
特点:若检测器结构与未知参数无关,则该检测器是可实现的最佳检验。
广义似然比检验
条件:假设中带有未知参数,且一致最大势检验不存在或难以构造。
课件方法:先用最大似然估计得到未知参数,再进行似然比检验。
最大似然估计:
\[\hat{\theta}_0=\arg\max_{\theta_0}p(r|H_0,\theta_0)\]
\[\hat{\theta}_1=\arg\max_{\theta_1}p(r|H_1,\theta_1)\]
广义似然比:
\[\lambda_G(r)=\dfrac{\max_{\theta_1}p(r|H_1,\theta_1)}{\max_{\theta_0}p(r|H_0,\theta_0)}\]
等价写法:
\[\lambda_G(r)=\dfrac{p(r|H_1,\hat{\theta}_1)}{p(r|H_0,\hat{\theta}_0)}\]
判决规则:
\[\lambda_G(r)\mathop{\gtrless}_{H_0}^{H_1}\lambda_0\]
门限:
通常由 NP 约束确定。
\[P_F=\int_{\lambda_G(r)>\lambda_0}p_0(r)dr=\alpha\]
性能:
\[P_D=\int_{\lambda_G(r)>\lambda_0}p_1(r)dr\]
\[P_M=1-P_D\]
特点:把“估计得到的参数”当作真实参数,再代入似然比检验。
序贯检测
条件:观测按顺序逐次获得;每次观测后都进行一次检验;若信息不足,则继续观测。
二元假设:
\[H_0:r_k\sim p_0(r_k)\]
\[H_1:r_k\sim p_1(r_k)\]
第 \(K\) 次观测后的观测序列:
\[\mathbf r_K=(r_1,r_2,\cdots,r_K)\]
序贯似然比:
\[\lambda_K=\frac{p_1(\mathbf r_K)}{p_0(\mathbf r_K)}\]
若各次观测条件独立同分布:
\[\lambda_K=\prod_{k=1}^{K}\frac{p_1(r_k)}{p_0(r_k)}\]
对数似然比:
\[\ln\lambda_K=\sum_{k=1}^{K}\ln\frac{p_1(r_k)}{p_0(r_k)}\]
给定性能指标:
\[P_F=\alpha\]
\[P_M=\beta\]
\[P_D=1-P_M=1-\beta\]
双门限:
\[A=\frac{1-\beta}{\alpha}\]
\[B=\frac{\beta}{1-\alpha}\]
判决规则:
若
\[\lambda_K\ge A\]
则判
\[H_1\]
若
\[\lambda_K\le B\]
则判
\[H_0\]
若
\[B<\lambda_K<A\]
则继续观测。
对数形式:
上门限:
\[a=\ln A=\ln\frac{1-\beta}{\alpha}\]
下门限:
\[b=\ln B=\ln\frac{\beta}{1-\alpha}\]
判决规则:
若
\[\ln\lambda_K\ge a\]
则判
\[H_1\]
若
\[\ln\lambda_K\le b\]
则判
\[H_0\]
若
\[b<\ln\lambda_K<a\]
则继续观测。
性能关系:
\[P_F=P(H_1;H_0)=\alpha\]
\[P_M=P(H_0;H_1)=\beta\]
\[P_D=P(H_1;H_1)=1-\beta\]
特点:
- 固定样本数检测:先取固定 \(N\) 次观测,再判决。
- 序贯检测:每来一个样本就判断一次,样本数 \(K\) 是随机变量。
- 核心是双阈值:上阈值判 \(H_1\),下阈值判 \(H_0\),中间区域继续观测。
- 在达到相同性能指标 \(P_F,P_M\) 时,序贯检测通常需要更少的平均观测次数。