为什么GLM没有错误项，为什么残差不应该是i.i.d？

Question

我在帖子上读了几十篇关于这个主题的文章，但我无法理解。从我收集的信息来看，GLMS不像线性模型（LM）那样在其公式中包含错误项。我想知道为什么（或者如果它们是奇数项，为什么LM会包括这个错误项）？我觉得这是由于正态分布的可加性，这使得LM可以通过关注Y的平均值并添加一个以0为中心的正态分布变量（误差项）来对Y的分布进行建模，该变量的方差适合$\sum_i X_i$以及Y的方差。但是，链接函数不是应该将非正态分布变量转换为正态分布的变量，从而可以使用误差项吗？

注意：如果你能在你的答案中提供连续分布的例子，而不仅仅是离散分布的例子的话，那就太棒了，因为我很难理解离散分布的这个问题。

谢谢

Answer 1

GLM在每个预测组合中指定一个条件分布。

当条件分布为正态且方差为常数时，平均值的误差将为i.i.d.正态，而残差（通常）将近似为正态。

除了这种特殊情况外，这些条件分布的价差并不相同，而且通常甚至没有相同的形状因此，当您减去条件“总体”（过程）的集合时，只要平均值不同，就会得到错误项有不同的分布.

对于第一个连续示例，考虑伽马GLM。每个条件分布的形状相同，但价差不同。如果减去平均值，则每个值的支持度都不同，因此“错误”也不同。

请参阅此处的显示：https://stats.stackexchange.com/a/224253/805

将具有特定伽马分布误差（形状=1）的加性模型与具有响应的GLM进行对比的是条件伽马分布。

对于逆高斯函数，情况更糟——形状随着平均值的变化而变化。

然而，最好的简单示例可能是泊松GLM（我知道您不喜欢使用离散示例，但作为基本情况，它仍然是理想的，您并不是唯一可能对此有所帮助的人）。具有不同平均值的每个泊松的分布和形状是不同的。当你减去平均数时，你就得到了不同的发行版，具有不同的支持。如果根据价差的不同进行缩放，它们仍然具有不同的支撑和不同的形状。

你的帖子似乎假设链接功能被用作数据转换这个前提是错误的。即使你这样使用它，它也不会产生一般的常态，甚至不会产生近似的常态。对于自然链接GLM，线性化变换不同于方差稳定变换，而方差稳定变换又不同于对称化变换；事实上，这些转变变得越来越弱。

Answer 2

可以说，回归关系到预期响应的建模。如果我们关注建模的这一方面，“误差”与其说是模型固有的东西，不如说是计算估计不确定性的一种方法。你似乎已经意识到OLS的经典假设——误差与拟合值无关——在许多情况下是无法实现的。

例如，在二进制响应中，无论进行何种转换，定义为观测值减去预测值的“误差”的分布都将总是取决于预测值。对于美元$（真概率）接近0.5，你会发现误差是对称的，而美元$接近1将具有负偏斜误差，并且美元$与0相反，无论大小（正态、对数、logistic等）

事实上，如果你遵循通过逆方差加权处理异方差的方法，你会导出Newton-Raphson方法，将似然方程作为一种矩估计方法来求解，从而强化了这实际上是关于建模期望的想法。

在OLS框架中，您可以等效地编写两个模型：

$$E[Y|X]=\alpha+\beta X$$

或

$$Y=α+βX+ε$$

两者都没有真正揭示出谨慎的估计程序，也没有提出任何不同的方法，除非我们规定了关于$\epsilon美元$.

Answer 3

GLM不应该泛化$y=X\beta+\varepsilon$.它们概括了等效项$^{\匕首}$概念$\mathbb E\left[Y\vert X=X\right]=X\beta$。在这方面没有我们可以进行假设的错误项。

这个概括来自于注意到前面的方程等价于$g\左（\mathbb E\左[Y\vert X=X\右]\右）=X\β$什么时候$克$是识别功能。

因此，GLM不包含错误项，或者至少通常不是用错误项编写的，因为这与它们推广线性模型的方式不同。他们从一种不包含误差项的线性模型开始，对线性模型进行了推广。

当然，我们可以用期望值加上期望值与观测值之间的偏差来编写模型，但这样就失去了与合理分布的联系。使用Gamma分布时，预期值可以高于或低于观察值。因此，残差是正负值的一些奇怪的混合分布，忽略了条件Gamma分布。

那么你如何估计模型参数呢？在线性模型中，我们可能会选择使用OLS，它是在发现高斯最大似然估计之前开发的，不需要条件高斯分布（尽管与最大似然估算的等效性很好）。在广义线性模型中，我们是否采用平方损失最小化？这是一个选项，但我们想知道估计器有什么性质。在什么条件下（如果有的话），该估计量是无偏的？在什么条件下，如果有的话，这个估计是一致的？我们在这样的条件下运营吗？该估计器的效率如何？该估计值的稳健性如何？我们如何为回归系数或测试回归系数编写置信区间。

但这里有一个伽马分布。因此，如果我们真的相信伽玛可能性，$^{\ddagger}$，我们通过最大似然估计得到了一个明显的估计。我们知道很多关于极大似然估计的定理，以及它们的性质有多大。我们有关于如何计算参数置信区间的定理。我们有关于如何测试嵌套模型的定理。

因此，选项是：

1. 将GLM简化为一种格式，该格式明确使用具有恶劣分布的残差，不会导致具有已知、理想属性的明显估计策略，也没有明确的方法计算置信区间或测试嵌套模型。

2. 使用不使用残差的格式，从而得到我们从经典线性回归（高斯假设的OLS，相当于最大似然估计）中知道并喜爱的常见类型的点估计、区间估计和假设检验。

我认为统计学领域选择了第二种方法，而不是根据残差计算GLM理论，这是可以理解的。

$^{\匕首}$在通常的假设下是等价的，例如高斯-马尔科夫（尽管即使是高斯-马尔可夫也比要求的更严格）

$^｛\dagger｝$对于伽玛射线来说，这可能是一个令人怀疑的假设。然而，考虑一个逻辑回归，其中结果是二元的。条件分布是伯努利.

Answer 4

GLM公司(一般的1.adj.使…化线性模型)包括许多不同类型的模型。它更像是一个家庭，而不是一个单一的模型。值得注意的是，典型的线性模型是GLM的特例。GLM由来自指数族（这当然可能是正常的）和链接功能。让我们来看GLM的另一个特例，即逻辑回归在这种情况下，假设响应是有条件的二项式链接是logit（即成功几率的日志）。现在认识到二项式残差的方差取决于平均值。因此，存在异方差和非正态性。所以，可以肯定的是，至少有一种形式的GLM并没有这些功能（实际上，还有很多）。

---

编辑回复：
链接函数当然不会将非正态分布转化为正态分布响应，也不是“假定”的。再次，考虑二项式情况是有建设性的。想象一个二元结果（例如癌症/非癌症）回归到二元暴露（例如氡/非）。logit转换了$0$（没有癌症）是$-\英寸$，logit转换为$1$（癌症）是$\infty（美元）$。它们不是正态分布的。a的方差伯努利是：$${\rm变量}（X）=p（1-p）$$哪里美元$是“成功”的概率（即平均值）。