【数据分析七：parameter estimation】参数估计

一、定义

参数(parameter)

        参数 是用来描述总体数据特征的度量

统计量(statistic)

        统计量 是用来描述样本数据特征的度量

        由试验计算得出，不依赖于任何其他未知的量（特别是不能依赖于总体分布中所包含的未知参数）

参数估计(parameter estimation)

        是统计推断的基本问题之一：用样本统计量估计总体的参数

                ·参数未知的真实

                ·统计量已知的估计

二、估计类别

点估计(point estimate)

        点估计是用样本统计量的某个取值直接作为总体参数𝜃的估计值

                用样本均值x直接作为总体均值μ的估计值

                用样本方差直接作为总体方差的估计值

        点估计的常用方法

                矩估计

                最小二乘估计

                极大似然估计

                最大后验概率

                贝叶斯估计

矩估计

原理：大数定律(大量试验中的事件出现频率=它的概率)

 

这些内容在我以前的博客中都有，大家可以翻翻目录，点击即可

概率论与数理统计总复习_概率论与数理统计复习-CSDN博客文章浏览阅读1.5k次，点赞33次，收藏23次。中科大使用的教辅《概率论和数理统计》，带大家复习一遍概统的经典难点公式_概率论与数理统计复习https://blog.csdn.net/2301_79853895/article/details/144971069?fromshare=blogdetail&sharetype=blogdetail&sharerId=144971069&sharerefer=PC&sharesource=2301_79853895&sharefrom=from_link

极大似然估计、最大后验概率估计(MAP)，贝叶斯估计

贝叶斯公式：

极大似然估计(MLE)

MLE目标：用似然函数取到最大值时的参数值作为估计值

对数似然函数

MLE的目标是：求参数𝜃，使得似然函数最大

MAP的目标是：求参数𝜃，使得似然函数最大

不仅需要似然函数出现的概率大，也需要参数𝜃的先验概率大

一个例题：

大家可自行计算，答案为：

这三种方法如何理解使用：

举例：

        假设小江遇到一个计算机难题，碰巧小江有个朋友在大学计算机系当教授，于是他打算找该教授的学生帮忙，那么他该如何寻求帮助呢？

MLE：由以往的考试成绩（对应已有数据）排序（A,B,C….）,选出成绩最好的学生A（对应模型中的参数）来解决自己的问题

MAP：仍然选择最好的学生，但是除了考试成绩，他还从老师处得知A，B两人考试中有作弊嫌疑（对应先验），结合该知识，小江选择学生C来解决自己的问题

贝叶斯估计：此时小江不再寻求单个人的帮助，他会要求每个学生都给出一个答案，并结合考试成绩和老师的提醒给每个学生一个权重（参数的分布），对所有答案加权平均得到最后的解答。

误差分析

点估计的优良性

---

下一节，我们讲述假设检验