近似推断和变分推断(变分推断实例)
近似推断和变分推断(变分推断实例),本文通过数据整理汇集了近似推断和变分推断(变分推断实例)相关信息，下面一起看看。
之前讨论了近似近似算法的蒙特卡罗模拟。除了蒙特卡罗模拟，还有一种近似的近似算法叫做变分推理。关于变分推理，我们应该明确以下三点：
什么是变量推理？
它是一种近似某种概率分布的算法。
1.理解最大似然下界和KL散度(衡量两个分布差异的指标)的变分推理算法
2.在有隐变量和未知参数的图模型上使用变分推理，即求P(x，z|)，其中x为可观测随机变量，z为未知随机变量。
3.使用Loopy信任传播算法来传递信息。
近似推理的中心目标是估计后验概率分布P(z|x)，其中z包含隐变量。
如何理解这个目标？
回到2，我们要最大化当前观测的概率，从而估计此时模型参数的值，确定我们的模型。并且在这个给定的参数条件下(未知)当前观测的概率为p(x，z|)，即得到使这个概率值最大化的参数值。参数包括两部分，一部分是隐随机变量Z，另一部分是模型参数。
为了达到这个目的，p(x，z|)最大化等价于ln(p(x，z|))最大化，相当于其期望最大化。期望值为sum_z(p(z|x，old)lnp(x，z|))。在前面提到的EM算法中，z和z分别是固定的。
为什么在这个过程中需要近似近似？
因为p(z|x，old)的概率可能维数很高，或者表达式很复杂，直接用表达式求解的方法很难计算出来，所以我们需要找到一种算法来合理地逼近它。
第一种近似方法是随机模拟，即蒙特卡罗抽样算法。通过生成满足目标分布的样本来近似该分布。
第二种方法，也就是本文的主角，是确定性近似，即变分法。不执行采样。我们提出一个假设分布q(z)，希望越接近p(z|x)越好。我们已知的条件是一个联合分布p(x，z)。
如何衡量我们的假设分布和目标分布的差异？我们希望差异尽可能小。
使用KL散度，
求q(z)使KL散度最小
但直接求其最小值显然是不可行的，因为其中包含了我们无法处理的p(z|x)项。因此，我们转向最大化目标分布的下限，其尽可能小地接近KL散度值，因为我们可以将对数目标分布p(x)转换成该下限和KL散度的和：
P(z|x)的下界
关系lnP(x)=L(q) KL(q||p)成立。通过改变q(z)来提高这个L(q)相当于最小化KL发散。所以用已知的联合分布p(x，z)代替求解p(z|x)。
那么如何找到此时最大化下界L的q(x)？
利用物理学中的平均场理论，均匀场理论是一个近似的框架。将之前隐藏的随机变量Z和未知参数这两个待估计的参数统一记为Z，假设我们有M个样本，就意味着我们观测到了M组新Z的值(旧Z和一起被观测了M次)。
重新假设分布我们的假设可以分解成这M个组的联合分布如下，即，这些组是相互独立的，并且满足这样一个性质。当假设分布Q满足以下形式时，L最大：
假设分布
然后将这个q(z)带入上面P(z|x)的下界L(q)中，然后不断调整假设分布Q，寻找下界L的最大值，对于这个优化问题，需要注意的是，Q分布的每次调整都要使Q满足上面给出的联合独立性假设，同时作用于所有M组观测值。
这一步的优化过程称为自由形式(即变分)优化优化。具体来说，代入后，L简化为：
简化了L(q)的结果，其中ln p _ (x，ZJ)=expectation _ ij [ln p (x，z)]
这种形式启发我们定义了一种新的假设分布p_(x，zj)，意思是对除一个观测样本J外的所有样本求联合分布的期望，然后取对数。
这个p_分布只是简化后Q的一部分。将q简化为上面的公式，第一项与p_ just假设组合形成-KL(qj || p_(x，zj))，即对于每个观测样本J，我们需要最大化的后验概率的下界L可以转化为一个与这个J相关的KL值和一个常数之和。可以最小化这个KL值，该KL值测量假设分布qj和其对应的新假设分布p_之间的差异。当这个KL最小化到0时，这是我们需要的理想状态，对于这个样本j，p(z|x)的下界增加。
对这样的样本J进行积分，就是根据假设分布qj找到最优的新假设分布p_，使qj=p_，并更新qj。m个样本被顺序处理，并且q=qj连续乘法。利用该规则不断固定其他Z坐标来更新当前坐标对应的Z值，类似于吉布斯采样过程，但吉布斯采样是从条件概率出发不断采样，而CAVI算法是以如下形式不断更新：LNQJ=LNP _ (x，ZJ)=期望值_ IJ [LNP (x，z)]。
这样，变分推理VI的所有过程就完成了。需要注意的是，最终的优化只能提高下界，而不能提高真实的后验分布，但我们使假设的Q分布尽可能接近真实分布。
这个网站是个人知识管理的网络存储空间。所有内容均由用户发布，不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息，谨防诈骗。如发现有害或侵权内容，请一键举报。
更多近似推断和变分推断(变分推断实例)相关信息请关注本站，本文仅仅做为展示！
