机器学习系列之EM算法 EM算法 算法思路 EM算法用于求解包含隐变量的混合模型的极大似然估计问题 通过迭代的的方式不断优化参数,直到收敛 算法步骤 ”E“步:求 ”M“步: 不断重复上述两步 算法推导 下面推导EM算法的核心公式 第一种方法 利用 推导过程 记 下面固定 ,寻找 的最大值 可以发现当 即 时, 取最大值为 下面优化 以此不断迭代 第二种方法 2022-09-04
机器学习系列之线性回归 线性回归 符号定义: 线性回归模型: 最小二乘法 概率视角 我们想求条件概率分布 可以假设 但真实数据总是存在噪声的,我们假设噪声遵循高斯分布 所以 得到我们的条件概率模型 下面用极大似然来估计模型参数 可以看到得到的优化目标与最小二乘一致,后面就不在进行求解了。 2022-09-03
神经网络反向传播算法推导 神经网络的反向传播算法 前置知识 Logistic回归算法 目标:将给定的数据进行分类 输入:,输出: 模型: 模型的训练:通过极大化对数似然函数: 即最小化: 更新参数: 神经网络的前向传播 输入层为$X^{m} 第一层权重矩阵 W1{3}第二层权重矩阵W2{1}$ 前向传播: 注:忽略偏置单元 反向传播算法 标量形式推导 2022-09-01
理解 Denoising Diffusion Probability Model Denoising Diffusion Probability Model diffusion process 扩散过程符合马尔可夫假设 其中 可以发现一个有用的性质 reverse process 由贝叶斯法则,得 令 因为 所以 建立模型, parameter estimate maximum likelihood 下面直接将对数似然 2022-08-19