重点关注： 知道如何使用普通最小二乘法（OLS）估计未知参数。
如中所述上一个帖子通常需要估计接收机未知的参数。例如，如果在通信系统中遇到衰落信道，则需要估计信道响应并抵消接收期间的衰落影响。
假设和模型选择：
对于任何估计算法，都必须做出某些假设。主要假设之一是选择合适的模型进行估算。所选模型应产生最小的统计偏差，因此应提供“良好拟合”。通常使用度量来确定“拟合优度”。使用“似然比检验”、“Chi-Square检验”和“Akaike信息准则”等检验来衡量假设统计模型的优度，并对模型假设的有效性作出决定。
为了简单起见，我们只考虑多项式模型。
观测数据和最小二乘估计：
假设进行了一项实验，并观察到下表中的以下数据点。变量
是实验的输入是获得的输出。输入变量通常被称为“回归量”、“自变量”、“操纵变量”等。同样，回归分析术语、输出变量或观测变量被称为”观测变量”、”解释变量“、”回归和“、”响应变量“等。
实验的目的是将实验拟合到具有适当参数的模型中。一旦我们知道了模型，我们就不再需要进行实验来确定任何给定任意输入的输出。我们需要做的就是使用模型并生成所需的输出。
估算算法的一般概述：
我们只有很少的数据点，在我们的案例中是四个。为了说明这一概念，我们将选择线性模型进行参数估计。高阶模型当然会提供更好的性能。记得！！！多项式阶数越多，待估计参数的数量越多，因此计算复杂度也就越高。有必要在所需性能和模型订单之间取得平衡。
我们假设数据点遵循线性趋势。因此，选择线性模型作为估计问题。
现在，估计问题简化为寻找参数和。我们可以将观测变量和输入变量之间的关系写成
下一步是基于最小二乘误差准则求解上述联立方程。根据标准和应该产生最小总平方误差注意带下划线的单词。
让我们为上述联立方程组定义术语“误差”。一个数据点的误差（模型参数的函数）是观测数据和估计模型数据之间的差异。
所有平方误差之和如下所示
下一步是求解和这使得总平方误差最小。
我们如何找到它？运用微积分来发现这一点。分别取的偏导数关于和并将其设置为零。
求解上述联立方程得到以下解
因此，模型变成
使用矩阵求解：
联立方程组可以通过矩阵运算求解。在估计算法的DSP实现中，在矩阵域中工作通常很方便（尤其是当数据点数量增加时）。线性代数广泛用于在DSP处理器上实现估计算法。
上述数据点集可以用矩阵表示法表示为
定义，
联立方程组缩小为
假设上述方程的解必须满足最小总平方误差$latex S（\alpha）$，
上述等式仅表示估计参数是的值其中error函数达到最小值。
上述联立方程是一个非常简单的例子。对于一般情况，
通常，上述联立方程可能没有唯一的解。当且仅当矩阵的所有列都存在时，才存在唯一解决方案线性无关。此外，矩阵列线性独立仅意味着它们彼此正交。因此，矩阵是正交矩阵。
对于正交矩阵，转置和逆是等价的。那就是，
在这种正交性条件下，
求解方法如下：，
上述解决方案涉及矩阵的逆运算直接计算矩阵求逆既麻烦又低效，尤其是在DSP中实现时，更不用说定点处理器的有限字长效应了。如果矩阵无论多大，都有一个非常低条件数（即条件良好），如果是正定的，然后我们可以使用Cholesky分解来求解方程。
这将引导我们进入下一个主题：“Cholesky分解”
评价这篇文章:(6平均票数：3（共5个）
相关帖子
作者的书籍
