机器学习系列之EM算法

EM算法

算法思路

EM算法用于求解包含隐变量的混合模型的极大似然估计问题

通过迭代的的方式不断优化参数，直到收敛

算法步骤

• ”E“步：求
• ”M“步：
• 不断重复上述两步

算法推导

下面推导EM算法的核心公式

第一种方法

利用 推导过程 记

下面固定 ，寻找 的最大值

可以发现当 即

时， 取最大值为

下面优化 以此不断迭代

第二种方法

当且仅当

即 时，等号成立，此时 取最大值

后面步骤与第一种方法相同

收敛性证明

我们希望证明 因为 记 由算法“M”步可知 又因为 所以 得证

直觉上的理解

因为对数似然时 的上界， 为先验分布，当其满足一定条件时， 等于对数似然，这时再找到使 最大的 ， 在这个 的条件下对数似然依旧大于 ，也就大于原来的对数似然。