统计学:从数据到结论,ISBN:9787503749964,作者:吴喜之 @豆瓣
假设检验
证明一件事情比较难,证伪一件事情比较容易
科学研究的一个基本方法就是假设检验:
- 提出一个可以被推翻的假设;
- 如果还没有发现不符合该假设的实例,则该假设成为猜想;
- 如果该猜想能够从理论上推导证明,则该猜想也成为定理/定律
统计学中的假设检验方法也是一样,只不过关注点是统计量之间关系的假设
注意:假设不能被推翻,也仅仅是假设。因为无法证明其能覆盖所有的情况。对于统计学领域尤其如此
6.1 假设检验的过程和逻辑
比如检查商品的份量是否充足:进行抽样后检验。单个商品的称量结果有多有少,
如何判断总体的份量是否足够?仅用样本的平价重量进行评价是不科学的!
提出假设
- 首先提出假设,比如总体的平价质量充足(u>=u0),称为零假设(null hypothesis),记为
H0
- 同时提出备选假设(alternative hypothesis),总体的平价质量不充足(u<u0),记为
H1
- 命题:
H0:u>=u0 <=> H1:u<u0
。其中<=>
相当于“versus” - 通常,选择更接近实际情况的假设作为备选假设,相反的作为零假设。检验的目地就是判断H1是否显著。所以假设检验也成为“显著性检验(significant test)”
判断逻辑
- 被检验的统计量成为“检验统计量(test statistic)”
- 根据 H0(注意,不是H1) 得到检验统计量的分布
- 看看该统计量的数据实现值(realization)是否为小概率事件
- 如果是小概率事件,则拒绝零假设(检验显著)
该逻辑中,H0和H1的地位不对称:按照H0推导分布,只要不符合就可以推翻H0
判断结果
上面的逻辑并不严谨:
小概率事件也有可能真实发生!
所以统计结论也有可能犯错误。两种错误情况:
第一类错误(type I error): 按照H0假设,样本数据为小概率事件,于是拒绝H0。但总体的真实情况是符合H0
第二类错误(type II error):按照H0假设,样本数据的概率很大,于是接受H0。但总体的真实情况是不符合H0
势(power)和临界值(critical value) (TODO)
6.2 对于正态总体均值的检验
- 单个总体单个样本:单边检验
- 两个总体两个样本:双边检验
- 一个总体一对样本(如事件发生前后的对照):单边、双边相结合
6.3 对于比例的检验
(略)
6.4 从一个例子说明“接受零假设”的说法不妥
结论:不能说“接受零假设”,更严谨的说法是“不拒绝零假设”