一 概念
极大似然估计(Maximum Likelihood Estimate, MLE)是一种统计方法,又称为最大概率估计或者最大似然估计,
它用来求一个样本集的相关概率密度函数的参数,是利用已知采样估计未知参数的方法。
二 解释
给定一个概率分布,假定其概率密度函数(连续分布)或概率质量函数(离散分布)为,以及一个分布参数,我们可以从这个分布中抽出一个具有个值的采样,通过利用,我们就能计算出其概率:
但是,我们可能不知道的值,尽管我们知道这些采样数据来自于分布。那么我们如何才能估计出呢?一个自然的想法是从这个分布中抽出一个具有个值的采样,然后用这些采样数据来估计.
一旦我们获得,我们就能从中找到一个关于的估计。最大似然估计会寻找关于的最可能的值(即,在所有可能的取值中,寻找一个值使这个采样的“可能性”最大化)。这种方法正好同一些其他的估计方法不同,如的非偏估计,非偏估计未必会输出一个最可能的值,而是会输出一个既不高估也不低估的值。
要在数学上实现最大似然估计法,我们首先要定义似然函数:
并且在的所有取值上,使这个函数最大化(一阶导数)。这个使可能性最大的值即被称为的最大似然估计。
简单说最大似然,指什么参数使得结果像样本那个样子。
三 举例
10次抛硬币的结果是:正正反正正正反反正正, 求每次抛硬币结果为正的概率p
似然函数: P=pp(1-p)ppp(1-p)(1-p)pp
=p^7 * (1-p)^3 , 0<=p <=1
MLE的目标函数就是 max(P),得到p=0.7
原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/tech/aiops/7417.html