跳到内容
← 全部问题

为什么在寻找 MLE 时使用对数似然而不是原始似然函数?

我们使用对数似然,因为自然对数是严格递增(单调)函数,所以最大化对数似然会产生与最大化原始似然完全相同的参数值。此外,对数将独立概率的乘积转换为求和,这使得求导变得容易得多。

适用条件

  • 似然函数 L(θ)L(\theta) 严格为正。
  • 对数的底数大于 1(例如自然对数)。

理解与推导

  1. 识别似然函数 L(θ∣x1,…,xn)L(\theta \mid x_1, \dots, x_n),它是单个概率项的乘积。
  2. 取似然的自然对数以获得对数似然 ℓ(θ∣x1,…,xn)=log⁡L(θ∣x1,…,xn)\ell(\theta \mid x_1, \dots, x_n) = \log L(\theta \mid x_1, \dots, x_n)。
  3. 应用对数性质 log⁡(ab)=log⁡(a)+log⁡(b)\log(ab) = \log(a) + \log(b) 将乘积转换为求和:∑i=1nlog⁡f(xi∣θ)\sum_{i=1}^n \log f(x_i \mid \theta)。
  4. 认识到因为对数是单调的,使 ℓ(θ)\ell(\theta) 最大化的 θ\theta 值也使 L(θ)L(\theta) 最大化。
  5. 计算求和的导数,这在数学上比计算乘积的导数更简单。

例子

讲师写下 ℓ(Θ∣x1,...,xn)=log⁡L(Θ∣x1,...,xn)\ell(\Theta | x_1, ..., x_n) = \log L(\Theta | x_1, ..., x_n) 和 log⁡(ab)=log⁡(a)+log⁡(b)\log(ab) = \log(a) + \log(b)。她解释说:“使用对数要容易得多,因为记住,如果我们取乘积的对数,那只是对数的和。”

容易误解的地方

  • 认为最大化对数似然会给出与最大化似然不同的参数值。
  • 假设对数可以应用于零或负的似然值而不考虑定义域限制。

观看对应讲解

相关概念

继续追问

答案依据视频资料生成并经过独立核验。若有疑问,请核对原视频或联系原作者。