机器学习-学习器评估比较-二项检验

统计假设检验可以用来对学习器的性能进行比较。基于假设检验结果可以推断出，若在测试集上观察到学习器A的效果比B号，
那么A的泛化性能是否在统计意义上优于B，以及这个结论的把握有多大。
假设检验中的“假设”是对泛化错误率分布的某种判断或者猜想，例如。
在现实任务中我们不知道学习器的泛化错误率，只能获知其测试错误率。泛化错误率与测试错误率并不一定相同，
但从感觉上来说，两者相近的概率较大，相差很远的概率很小。因此可以根据测试错误率推出泛化错误率的分布。
泛化错误率为学习器在一个样本上错误的概率；测试错误率则是对于某个学习器决策错误的样本与样本的总数比值。
及对于个测试样本中恰好有等于测试错误的数量。假定测试样本是从总体样本中独立采样得来的，
那么泛化错误率为的学习器讲个岩本误分类，其余样本全部正确分类的概率是
由此可估算出其恰好将个样本错误分类的概率为

当测试错误率一定的时候这是一个关于的一元函数，若要使即在泛化错误率为的情况下测试错误率为的概率最大
对偏导，当偏导数为0的时候取局部的极值
令有