参数估计

打开本页,如果没有显示公式,请刷新页面。

1. 统计量

以下为《机器学习数学基础》第6章6.1节的补充资料。

在《机器学习数学基础》第6章6.1.2节,分别演示了样本平均值样本方差的表达式,并对这两个统计量的结果进行了推导。特别是样本方差的计算方法。

下面摘录参考文献[1]对样本方差的另外一种证明方法。

设总体 的样本 ,其样本平均值为:

总体方差 的估计,即样本方差:

对于确定的 ,因为 ,所以从 的独立性得到:

于是得到:

即样本方差 是总体方差的无偏估计(参阅《机器学习数学基础》第6章6.2.3节)。

定义 的估计:

  1. 如果 ,则称 的无偏估计
  2. 如果当样本量 依概率收敛到 ,称 的相合估计
  3. 如果当样本量 以概率 收敛到 ,称 的强相合估计

且:

  • 样本均值是总体均值的强相合无偏估计
  • 样本方差是总体方差的强相合无偏估计
  • 样本标准差是总体标准差的强相合无偏估计

相关证明请参阅《机器学习数学基础》第6章6.2.3节

2. 矩估计

是总体 的样本,对于 ,称

的矩估计(moment estimator)。

定义 的分布函数含有参数 是总体 的样本,如果能得到:

其中 ,则称由

定义的 的矩估计,称 的矩估计,其中 的矩估计。

矩估计没有充分利用总体分布的信息,故一般不如最大似然估计好。在机器学习中,也不使用这种估计方法。

3. 点估计

点估计的渐进性质

定理 的估计,实值函数 在点 连续,则:

  1. 如果 的相合估计,则 的相合估计;
  2. 如果 的强相合估计,则 的强相合估计;
  3. 如果 ,则 依概率趋近 。设 ,则:

定理证明,见参考文献[1]的56页,此处从略。

4. 区间估计

以下是《机器学习数学基础》第6章6.4节的相关补充资料。

单个正态总体的区间估计

(1) 已知 时, 的置信区间

,对正数 ,有唯一的 使得

为标准正态分布 分位数

定义 枢轴量

定理 如果 是总体 的样本, 已知,则 的置信水平为 的(双侧)置信区间是:

置信区间的长度是:

(2) 未知 时, 的置信区间

用样本标准差 替代 ,则枢轴量:

是服从 个自由度的 t分布,记作:

概率密度函数:

t分布的概率函数是偶函数

对于 ,有唯一的 使得

分布的上 分位数。

根据t分布的对称性(偶函数):

所以:

得:

定理 如果 是总体 的样本, 未知,则 的置信水平为 的(双侧)置信区间是:

证明

对(4.1)式的枢轴量,对于置信水平 ,由 和(4.2)式得:

由于:

故得到(4.3)结论。

证毕。

(3) 方差 的置信区间

定义数轴变量

概率密度是:

其中 是使得 的积分等于 的常数。称 服从 个自由度的 分布,记作:

,对于 ,有唯一的 使得:

分布的上 分位数。于是有 (如下图)。

由(4.4)式,可以直接计算:

于是得到如下定理

定理 是正态总体 的样本, 未知,则 的置信水平为 的置信区间为:

两个正态总体的区间估计

(1) 均值差 的置信区间

设总体 和总体 独立, 的样本, 的样本,它们相互独立。

则:

从而:

于是得到:

(1.1)已知 时,对置信水平 ,利用(4.6)式构造出 的置信区间是:

(1.2)已知 ,但不知道 的具体值时,利用 ,可以验证:

的无偏估计: ,用 代替(4.6)式中的 ,得到新的枢轴量及其分布:

利用(4.7)式可以构造 的置信水平为 的置信区间:

其中

(2) 方差比 的置信区间

设总体 和总体 独立, 的样本, 的样本,它们相互独立。可得枢轴量:

的概率密度是:

其中 是使 的积分等于 的常数。 服从自由度为 分布,记作: 。对正数 ,有唯一的 使得:

这是称 分布的上 分位数。

利用枢轴量(4.8)式可得 的置信水平为 的置信区间是:

证明

证毕。

非正态总体和比例 p 的置信区间

(1) 正态逼近法

若总体不是正态分布,但有较大的样本量,通常要求 ,则 近似服从标准正态分布,即可得:

于是:

  • 已知标准差 时,在置信水平 下,总体均值 的近似置信区间仍然是:
  • 未知时,对较大的 的强相合估计,所以 近似服从 分布,此时均值 的置信水平为 的近似置信区间是:

(2) 比例 p 的置信区间

是两点分布 的样本, 的最大似然估计。对置信水平 ,当 较大(至少: ), 的近似置信区间是:

其中

证明

参考文献

[1]. 数理统计. 何书元. 北京:高等教育出版社. 2012.1,第1版

作者: 老齐
链接: http://math.itdiffer.com/estimator.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""