鉴于我们提倡科学的简约性,如果这些不重要的路径不会导致模型拟合度明显变差,我们是否应该删除它们?
在我们删除不显著的路径之后,其他路径反过来变得不显著,我们是否继续删除路径,直到所有路径都具有统计显著性(当然,如果它们不会导致模型拟合度变差的话)?
如果不是,那么我们如何决定删除哪条路径?
\endgroup
最佳答案
3
我不认为这是个好做法,因为在查看数据/模型结果后,你会“获得”额外的模型自由度。因此,在这种数据驱动的不显著影响的修剪之后,你的拟合度(卡方)可能看起来“太好了”。
\endgroup
|
SEM 分析实际上只是一系列或多或少相关的回归模型,因此这里的一般问题实际上只是“一旦运行了回归模型,删除不重要的变量并重新运行它是否是个好主意?”大多数统计学家的普遍共识是,这不是一个好主意,因为运行同一模型的不同版本会破坏重要性检验的逻辑,从而增加您仅因偶然而获得重要结果的可能性。在极端情况下,这可能成为(无意的)“p hacking”的一种形式。是每个人都引用的必备 xkcd 漫画,以解释为什么反复运行同一模型会导致此问题。
最好的方法通常是使用理论和背景知识来指定一个单一模型(在这种情况下,作为 SEM 的一部分的单一模型集),该模型反映了您对变量应如何关联的假设。然后运行该模型并报告结果,无论结果是什么。不显著的结果仍然是结果(有时它们是非常有趣的结果!)并且应该报告。如果您删除不显著的变量并重新运行模型,您不仅隐藏了这些结果,而且还隐藏了您运行的分析比您呈现的分析更多这一事实。
\endgroup
1
-
1\begingroup
这是一个很好的答案。如果您事先指定多个模型(可能基于不同的假设或理论)并进行比较,那么拟合多个模型可能是合理的。但在这种情况下,您不会想比较三四个以上精心挑选的模型。绝对同意根据先前模型中术语的重要性拟合多个模型是有问题的。
\endgroup
–
|
回答
遗憾的是,这实际上是一种非常常见的做法,但正如 Graham 和 Christian 都指出的那样,这是站不住脚的。结构方程模型背后的理念是先拟合一个模型,然后尝试“推翻它”,看看它是否符合你的主张。如果这个基础破裂了,那么在没有预先假设这些关系的情况下,试图事后对各个部分进行分类和粘合,就近乎不科学(来自 Hayduk,2014,第 4 页,关于修改指数的类似问题):
当模型失效时,研究人员会定期检查修正指数,看看引入特定模型系数是否会改善模型拟合度。如果释放一个显著改善模型拟合度的系数,也会导致统计上显著的系数估计。因此,扫描修正指数以寻找能够显著改善模型拟合度的系数就构成了钓鱼式调查。选择性地纳入数据提示的系数会增加对系数钓鱼和模型钓鱼的关注。
报道失败的模型很有好处。它告诉世界其他地方不要冒险,或者可能会让其他人质疑为什么这个模型一开始就失败了。当一个领域被总是有效的模型所主导时,我们就面临着虚假信心的风险。正如他们所说,社会科学需要厌倦总是获胜(Haeffel,2022 年)
参考
- Haeffel, GJ (2022)。心理学需要厌倦胜利。皇家学会开放科学,9,220099。https
- Hayduk, LA (2014)。不尊重证据的耻辱:对结构方程模型测试尊重不足的个人后果。BMC 医学研究方法学,14(1),124。https
\endgroup
|
|