\begingroup

我最近拟合了一个回归模型 (ARIMAX)，其中有些变量 (3) 具有统计显著性，有些则不显著 (1)。我删除了统计上不显著的变量并重新拟合模型，现在所有变量都具有统计显著性（即新模型有 3 个变量，旧模型有 4 个变量）。

然而，这个新模型（其中所有变量都具有统计显著性）的表现比旧模型（其中并非所有变量都具有统计显著性）更差。也就是说，新模型与旧模型相比，预测误差更严重。

这是统计学中的常见做法吗？如果所有变量都具有统计显著性，则选择性能较差的模型更可取，还是即使并非所有变量都具有统计显著性，也选择性能较好的模型更好。

我知道过度拟合和交叉验证等概念。我使用除过去 6 个月的数据之外的所有可用数据训练了这两个模型……并让这两个模型预测过去 6 个月的可用数据，并将预测值与实际值进行比较……我仍然使用旧模型（即并非所有变量都具有统计显著性的模型）获得更好的结果。

即使并非所有变量都具有统计意义，是否可以采用性能更好的模型？

\endgroup


最佳答案
1

\begingroup

回归模型中每个变量都需要具有统计显著性吗？

正如我解释的那样，答案是“不”。

如果所有变量都具有统计意义，那么选择性能较差的模型是否更可取，还是即使并非所有变量都具有统计意义，也选择性能较好的模型更好。

模型中所有变量的统计显著性并不是选择模型的良好标准。通常，您应该在收集数据之前确定模型的用途，并决定如何确定一个模型是否优于另一个模型。

引用我的另一个答案…

如果你只对预测[结果]感兴趣，那么统计假设检验实际上并不是你的主要关注点。相反，你应该通过对未见数据的验证/测试程序从外部验证你的模型。

相反，如果您有兴趣研究哪些因素 [导致结果的变异性]，那么就没有必要删除无法拒绝原假设的变量 […] 假设您在模型中包含一个变量，因为您认为（根据过去的经验或专家意见）该变量在 [结果] 中发挥了重要作用。变量无法拒绝原假设并不意味着您的模型不好，这只意味着您的样本没有检测到该变量的影响。这完全没问题。

\endgroup

5

  • 1
    \begingroup
    谢谢！总结一下：如果您的目标是预测，那么最重要的是确保模型能够通过交叉验证进行良好的预测？
    \endgroup


    – 

  • 2
    \begingroup
    当我看到模型中的“不显著”（如果有的话，这是一个废话术语）变量时，我对分析师更加有信心，因为我知道他们不会进行双重浸入，也不会通过忽略模型不确定性而创建过窄的置信区间和过小的 p 值。
    \endgroup


    – 

  • \begingroup
    嗯，虽然我大部分都同意，但我认为答案忽略了很多过滤方法通过查看 pvalue 来删除变量人们这样做……并不是说它很好……
    \endgroup


    – 

  • 1
    \begingroup
    @Ggjj11 您提到的过滤方法并不是很好。我的目的是向 OP 指出更合理的方法，远离糟糕的方法——而不是向 OP 介绍好方法和坏方法。
    \endgroup


    – 

  • 1
    \begingroup
    @user439249 如果您的目标是预测，那么模型在未见数据上的表现就是确定模型是否优于其他模型的方法。交叉验证是实现此目的的一种方法，但最终您将需要一些模型未见的额外数据，以便明确说明模型是否可以预测该现象。
    \endgroup


    –