Semi-Supervised Mean Fields
可以# Semi-Supervised Mean Fields
Fei Wang, Shijun Wang, Changshui Zhang, Ole Winther
Intro
我们把semi-supervised learning等价为求解homogeneous Ising model问题。
Ising Model
通常给一个Ising model分配一个energy值
$$\tilde E(S) = - \sum{i,j} \tilde J{ij} S_i S_j - \sum_i \tilde \theta_i S_i$$
其中$$Si$$是第i个spin的数值，$$\tilde J{ij}$$是interaction energy，$$\tilde \theta_i$$是第i个spin的energy。canonical partition function就是
$$Z = \int dS_1 \int dS_2 ... \int d S_N e^{-\beta \tilde E(S)}$$
其中$$\beta = (kT)^{-1}$$，$$k$$是Boltzmann constant，而$$T$$是temperature。我们进一步定义energy function为
$$E(S) = - \sum{i,j} J{ij} S_i S_j - \sum_i \theta_i S_i$$
其中$$J{ij} = \beta \tilde J{ij}, \theta_i = \beta \tilde \theta_i$$。
整个spin system的概率分布为
$$P(S) = \frac{1}{Z} e^{\sum{i,j} J{ij} S_i S_j + \sum_i \theta_i S_i}$$
因此$$S_i$$ 的marginal distribution是
$$P(Si) = \int \prod{j \ne i} d S_j P(S)$$
Mean Field Thoery
mean field theory是集中于一个node/spin，然后假设当前spin和其neighboring spins的interaction 受影响最大的因素是由它的neighboring spints组成的mean field决定的。最开始的时候，mean field是用来估计这样的interacting spin system在热能平衡状态下的行为。这里我们用来估计Ising model在平衡状态下的行为。更具体地说，spin $$S_i$$的mean state是
$$\langle S_i \rangle = \int d S_i p(S_i)$$
但是在很情况下，$$P(S)$$的具体形式是得不到的。为了解决这个问题，使用$$Q(S)$$来估计$$P(S)$$，其中$$Q(S)$$是属于一系列比较容易得到的分布。$$Q(S)$$有了之后，下面就基于它，最小化KL divergence。
$$KL(Q||P) = \sumS Q(S) \ln \frac{Q(S)}{P(S)}\ = \sum_S Q(S) \ln Q(S) - \sum_S Q(S) \ln P(S)\ = \sum_S Q(S) \ln Q(S) - \sum_S Q(S) \ln \frac{1}{Z} e^{\sum{i,j} J_{ij} S_i S_j + \sum_i \theta_i S_i}\ = \sum_S Q(S) \ln Q(S) + \ln Z \sum_S Q(S) + \sum_S Q(S) E(S)$$
且 $$\sum_S Q(S) = 1$$，可以有
$$KL(Q||P) = \ln Z + V(Q) - S(Q)$$
其中$$V(Q) = \sum_S Q(S) E(S)$$ 是variational energy，$$S(Q) = - \sum_S Q(S) \ln Q(S)$$ 是定义在分布$$Q$$上的entropy。
而mean field approximation可以这么得到：首先将distribution family $$M$$ 估计为product distributions
$$Q(S) = \prod_j Q_j (S_j)$$
对于Ising model，$$Q_j$$的最一般化的形式是
$$Q_j (S_j; m_j) = \frac{1 + S_j m_j}{2}$$
其中$$m_j = \langle S_j \rangle_Q$$，而$$\langle \cdot \rangle_Q$$表示mean over distribution $$Q$$。因此$$Q$$的 variational entropy是（因为$$S_i = 1/-1$$）
$$ S(Q) = - \sum_S Q(S) \ln Q(S)\ = - \sum_i (\frac{1+m_i}{2} \ln \frac{1+m_i}{2} + \frac{1-m_i}{2} \ln \frac{1-m_i}{2})
$$
而variational energy是
$$ V(Q) = \sumS Q(S) E(S)\ = \langle E(S) \rangle_Q （根据定义）\ = - \sum{i,j} J_{ij} m_i m_j - \sum_i \theta_i m_i
$$(?)
因此，最终目的是为了最小化$$F(Q) = V(Q) - S(Q)$$。它的导数为
$$
\frac{\partial F(Q)}{\partial mi} = - \sum_j J{ij} m_j - \theta_i + \frac{1}{2} \ln \frac{1+m_i}{1-m_i}
$$ 而将导数设置为0时，可以得到mean field equations
$$
mi = tanh(\sum_j J{ij}m_j + \theta_i)
$$