模式识别与机器学习第一讲（下）

雷锋网 AI科技评论按，本文作者Frankenstein，首发于知乎专栏闲敲棋子落灯花，雷锋网(公众号：雷锋网) AI科技评论获其授权转载。

本文接模式识别与机器学习第一讲（上）。关键词：随机变量、条件概率、边际概率、sum rule、product rule、贝叶斯公式、先验概率、后验概率、独立、概率质量函数、概率密度函数、累计分布函数、多元分布、换元、期望、条件期望、方差、协方差。

1.2 Probability Theory

动机：模式识别里的一个关键概念是不确定性。不确定性的来源有两个：测量的噪声以及数据集大小有限。概率论提供了一种量化和操作不确定性的工具，是模式识别的根基之一。当我们同时运用概率论和决策论，我们可以基于给定信息做出最优预测，无论信息是否完整、明确。

如没有特别强调，以下均表示随机变量。严格地说一个随机变量是一个从样本空间（sample space, 潜在结果的集合）到可测空间（measurable space）的可测函数（measurable function）。这涉及到测度论的知识，远远超出了本书对读者数学知识的假设。鉴于我们这里不追求严格的定义，可以认为一个随机变量是一个可以从一个集合中取不同值的变量。

条件概率：表示已知的情况下，发生的概率，被称为给定,的条件概率。我们可以把这一定义拓展到给定多于一个条件的情况下如。

sum rule: , 这里的常被称为边际概率（marginal probability），因为它可经由取便其它变量（如）的所有可能值时，计算与它们的联合分布的概率的总和来得到。

product rule:

symmetry property:

基于product rule和symmetry property，我们可以得到大名鼎鼎的贝叶斯定理/公式（Bayes' theorem）：。由sum rule, product rule和symmetry property可得。。因此上式中可被看做使左边取所有可能值的条件概率之和为1 的归一化常数。

sum rule，product rule以及symmetry property像条件概率一样可以被拓展到多于两个随机变量的情况。

贝叶斯定理的一个重要解释涉及先验概率（prior probability）和后验概率（posterior probability）。通俗地讲，先验概率是我们一无所知的情况下根据经验、常规情况计算的，后验概率是在我们得到了新的信息情况下对先验概率进行的修正，更加准确。我们可以考虑为的先验概率而为知道后的后验概率。

独立：为两个随机变量，如果，我们称独立于且独立于或者彼此独立。注意这种情况下。我们还会经常见到两两独立（pairwise independence，一个随机变量的集合中任取两个随机变量都彼此独立）和彼此独立（mutually independence，对于一个随机变量的集合，它们一起的联合分布概率等于它们各自的分布概率之积: ）。

1.2.1 Probability densities

随机变量有离散型和连续性两种。离散型随机变量定义在事件的离散集合上（如筛子的点数，硬币的正反等等），连续型随机变量定义在事件的连续集合上（如区间）。就像离散型随机变量与概率质量函数（probability mass function）相关联一样，连续型随机变量与概率密度函数（probability density function）相关联。

a. 概率密度函数具有以下特点：

• ;
  

• ;
  

• 在的概率为。

b. 换元/变量选择

给定的概率密度函数，令，则有。一个相关的结果是概率密度函数的最大值取决于变量的选择。

c. 累积分布函数（cumulative distribution function）

的概率为,被称为累积分布函数。。

d.多元分布

考虑多个连续型随机变量的联合分布。假设我们有个连续型随机变量，我们可以用一个向量把它们“封装”起来：使得。如此得到的概率密度函数仍然要满足 a 部分的特点。我们同样也可以考虑离散型随机变量和连续型随机变量的联合分布。

1.2.2 期望（expectation）和协方差（covariance）

期望：函数在概率分布下的平均值被称为的期望，用表示。

• 对于离散型随机变量，；

• 对于连续型随机变量，。

给定概率分布采集到的个数据点: ，我们可以近似计算的值为。由大数定理可知，随着，这一近似逼近。

当我们考虑多变量函数的期望时，我们可以在右下角加一个下标表示关于哪个随机变量取期望，如表示关于的期望。

条件期望（conditional expectation）：在条件概率分布下的平均值被称为的条件期望，用表示。

• 对于离散型随机变量，；

• 对于连续型随机变量，。

方差（variance）：的方差为。可以认为方差衡量了在附近的变化性。

协方差（covariance）：对于任意两个随机变量，它们之间的协方差定义为,它反映了一起变化的程度。

• 一个随机变量与其本身之间的协方差等于其方差。

• 当彼此独立时，。

• 当为两个随机变量的向量时，设含有个元素，含有个元素，此时实际上是一个的矩阵，并且矩阵中第行的第个元素代表了和之间的协方差。

• 对于任意一个随机变量的向量，。

1.2.3 Bayesian probabilities

这一节可以用一个问题来概括：什么是概率？之前知乎上也有类似的讨论：概率（Probability）的本质是什么？ – 知乎

• 庞加莱说，“概率仅仅是我们无知程度的度量，据定义，我们不晓得其定律的现象，都是偶然现象”。

• 不少数学家说，概率是定义在-代数上，值域为[0, 1]的测度。

• 频率论者（frequentist古典统计学者）说，概率是随机、可重复事件的出现频率。

• 贝叶斯论者（Bayesian）说，概率提供了一种对不确定性的量化。

其它参考内容：

DS-GA 1003关于L1, L2正则化的slides：https://davidrosenberg.github.io/mlcourse/Lectures/2b.L1L2-regularization.pdf

雷锋网版权文章，未经授权禁止转载。详情见。