0%

从统计估计的角度理解信号线性融合

引入

常见的许多滤波如Kalman滤波等,其中本质上最后一步都是将两个测量同一个信号的不同传感器的输出信号合成为一个信号,这种最为常见的“线性融合”的滤波在数学上简单地表示为

其中即为两个待融合的信号,这里姑且称为滤波器增益,直观上上看是对两个信号做线性插值(Lerp)。传统的频域分析认为而如果,即滤波器输出与上一个输出融合,这个滤波器就是一个IIR低通滤波器。而如果系统的动力学模型已知,则可以用Kalman滤波器计算出滤最优波器增益完成融合(具体原理在如何理解Kalman滤波已经提及)。而这里下面讨论的是只知道传感器测量值以及概率分布的情况,通过最大似然估计和最大后验估计这两种统计参数估计方法两种方法给出解释

原理

对于滤波器而言其核心的原理在于滤波的准则,Kalman滤波器的准则是选择使得后验误差最小化的滤波增益,经典滤波器的准则是保留特定频带的信号而消除其他频带上的信号。同样地只知道传感器测量值以及概率分布的情况估计真实信号的滤波器也会有其准则,采用最大似然估计方法的准则称为最大似然估计,采用最大后验估计的准则称为最大后验准则。这两种方法的下面只做了最简单的两个测量值融合的分析,实际上也很容易推导至更多测量值融合以及多维联合正态分布的情况。
这里需要说明的是,后面的分析基于下面几个假设:首先待估计的真实值为,从两个测量源得到的测量值分别为,两个测量值均为独立并且存在高斯噪声,即

最大似然估计

既然已知噪声分布也即知道了两个测量值的概率分布情况,即,已知及其概率分布,一个最优解思路应该是找出使得出现当前测量值的概率最大,即找到使得概率最大化。即为这里指的似然(likelihood),这种估计方法即称为最大似然估计
为了方便计算,将上面的概率取对数得到似然函数L,并代入正态分布函数可得

显然似然函数是一个关于的二次函数并且有最大值,对其求导数并令其等于0可得到极值点

这个形式正是符合最开始提到的线性融合,令滤波器增益得到的结果。从正态分布的性质来看即代表了两个信号不确定的程度,而即代表了两者相对不确定程度。即在上述最大似然准则下的融合中,不确定程度大的在最终输出信号占的比重较小,因为这个信号远离真实值的可能性相对较大,不确定程度小的在最终输出信号占的比重较大,因为这个信号靠近真实值的可能性相对较大。
可以证明两个信号加权相加输出的结果仍然符合正态分布,即正态分布的理论方差为

,则为两个信号的平均且输出的方差最大,等于信号本身分布的方差的1/2。这也解释了我们常用的减小独立同分布测量误差的有效方法是求测量值的平均,相当于减小了测量结果的不确定程度。而对于两个不同分布的信号即,由

可得上述的输出信号方差小于两者,即对于不同已知分布的测量信号通过这种加权求和能够有效地提高了测量的信噪比

最大后验概率估计

这种估计方法类似上述提到的最大似然估计的过程,同样是使得概率最大化,但是是使得后验概率即出现待估计参数的概率最大化,这个概率可以由贝叶斯公式得到

从结果上来讲,这样估计要求最大化的概率就变成了,多了后面一项,也就是参数值的先验概率。如果是均匀分布即出现每个的概率相同的话那么最大后验估计与最大先验估计是等效的。这里通常我们也会假设参数符合正态分布即,于是上面提到的似然函数为

同样这个似然函数也是关于的二次函数并且有最大值,对其求导数并令其等于0可得到极值点

对比最大似然估计的结果,其分母一项多加了一项,虽然是线性插值但是两者系数之和不为1,也就是估计出的信号偏向于小于原始测量信号。事实上,在机器学习中这种方法被称作正则化,即加入对于参数的约束,在滤波这里体现为测量的先验为应尽可能在零附近。
实际上最大后验估计的“线性融合”可以视为在最大似然估计的基础上,增加一个人为虚构的“测量值”,只不过这个“测量值”不是来自实际传感器而是来自于我们的先验经验(上面的结果假设的均值为0,因此看上去结果中少了一项)