极大似然估计详解程序员

      一 概念

      极大似然估计(Maximum Likelihood Estimate, MLE)是一种统计方法,又称为最大概率估计或者最大似然估计,

它用来求一个样本集的相关概率密度函数的参数,是利用已知采样估计未知参数的方法。

    二  解释

      给定一个概率分布D,假定其概率密度函数(连续分布)或概率质量函数(离散分布)为f_D,以及一个分布参数/theta,我们可以从这个分布中抽出一个具有n个值的采样X_1, X_2,/ldots, X_n,通过利用f_D,我们就能计算出其概率:

/mathbb{P}(x_1,x_2,/dots,x_n) = f_D(x_1,/dots,x_n /mid /theta)

但是,我们可能不知道/theta的值,尽管我们知道这些采样数据来自于分布D。那么我们如何才能估计出/theta呢?一个自然的想法是从这个分布中抽出一个具有n个值的采样X_1, X_2, ..., X_n,然后用这些采样数据来估计/theta.

一旦我们获得X_1, X_2,/ldots, X_n,我们就能从中找到一个关于/theta的估计。最大似然估计会寻找关于/theta的最可能的值(即,在所有可能的/theta取值中,寻找一个值使这个采样的“可能性”最大化)。这种方法正好同一些其他的估计方法不同,如/theta非偏估计,非偏估计未必会输出一个最可能的值,而是会输出一个既不高估也不低估的/theta值。

要在数学上实现最大似然估计法,我们首先要定义似然函数:

/mbox{lik}(/theta) = f_D(x_1,/dots,x_n /mid /theta)

并且在/theta的所有取值上,使这个函数最大化(一阶导数)。这个使可能性最大的/widehat{/theta}值即被称为/theta最大似然估计

    简单说最大似然,指什么参数使得结果像样本那个样子。

   三  举例

      10次抛硬币的结果是:正正反正正正反反正正, 求每次抛硬币结果为正的概率p

       似然函数: P=pp(1-p)ppp(1-p)(1-p)pp

                             =p^7 * (1-p)^3   , 0<=p <=1

        MLE的目标函数就是  max(P),得到p=0.7

原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/tech/aiops/7417.html

(0)
上一篇 2021年7月17日 08:59
下一篇 2021年7月17日 08:59

相关推荐

发表回复

登录后才能评论