机器学习中的假设检验

假设检验的过程是通过对样本进行一些统计检验来得出有关总体总体或数据的推论或结论。通过T检验针对不同的机器学习模型得出相同的推论, 我将在本教程中进行讨论。

为了得出一些推论, 我们必须做出一些假设, 得出假设检验中使用的两个术语。

• 零假设：它是关于没有异常模式或根据所做出的假设而相信的假设。
• 替代假设：与原假设相反, 它表明观察是真实效果的结果。

P值

也可以说是零假设或机器学习算法中的证据或显着性水平。这是预测指标对目标的重要性。

通常, 我们将显着性水平选择为5％, 但这在某些情况下也是讨论的主题。如果你对数据功能有很强的先验知识, 则可以决定重要性级别。

相反, 如果在机器学习模型中针对自变量的p值小于0.05, 则考虑该变量, 这意味着目标存在异质行为, 这是有用的, 并且可以通过机器学习算法进行学习。

假设检验涉及的步骤如下：

• 假设一个零假设, 通常在机器学习算法中, 我们认为目标变量和自变量之间没有异常。
• 收集样品
• 计算测试统计
• 决定接受还是拒绝原假设

计算测试或T统计

为了计算T统计量, 我们创建了一个场景。

假设有一家运输集装箱制造公司声称每个集装箱的重量不小于1000千克, 不大于1000千克。好吧, 这样的说法看起来很阴暗, 因此我们继续收集数据并创建样本。

收集了30个容器的样本后, 我们发现该容器的平均重量为990 kg, 标准偏差为12.5 kg。

因此, 计算测试统计信息：

T =(平均-索赔)/(标准差/样本数量^(1/2))

放入所有数字后即为-4.3818。

现在, 我们为0.05的显着性和自由度计算t值。

注意：自由度=样本大小-1

在T表中, 该值为-1.699。

比较之后, 我们可以看到生成的统计信息少于所需显着性水平的统计信息。因此, 我们可以拒绝提出的要求。

你可以使用scipy库的stats类的stats.t.ppf()函数来计算t值。

失误

由于假设的检验是针对数据样本而不是整个人口样本进行的, 这是由于缺乏数据方面的资源。由于对样本数据进行了推断, 因此假设检验会导致错误, 该错误可分为两部分：

• 类型I错误：在此错误中, 我们拒绝原假设为true的情况。
• 类型II错误：在此错误中, 我们接受原假设为假的情况。

其他方法

目前存在两种不同的方法来对两个模型进行假设检验, 例如在我们可用的功能上创建两个模型。一种模型包含所有功能, 而另一种则更少。因此, 我们可以测试各个功能的重要性。但是, 功能相互依赖性会影响这种简单的方法。

在回归问题中, 我们通常遵循P值规则, 将违反显着性水平的特征删除, 从而迭代改进模型。

每种算法都有不同的方法来测试关于不同特征的假设。

如果你想了解有关贝叶斯推理基础的更多信息, 请在R课程中学习srcmini的贝叶斯数据分析基础。