Realistic Evaluation of Semi-Supervised Learning Algorithms

Realistic Evaluation of Semi-Supervised Learning Algorithms

Avital Oliver, etc.

Related

semi-supervised learning (SSL) 通常是这么进行评估的： 1. 讲一个supervised learning的数据中的大部分label扔掉 2. 将有数据的部分进行训练，剩余的作为auxiliary unlabeled 3. 一些模型就在有label的部分进行训练，然后在unlabeled数据进行预测和评估

• 和Transfer Learning区别：当数据不够的时候一个标准做法就是transfer model。很有效，但是很少有人把它当作baseline。
• class distribution不匹配：使用不同的数据源进行augment，比如用Tiny ImageNet来augmentcifar10。这类似domain adaptation中的一些特征。我们研究了labeled和unlabeled data中不同class distribution的情况。
• labeled和unlabeled数据量有差别
• validation set过小带来的偏差

Semi-Supervised Learning

$$(x,y) \in \mathcal{D}$$ from unknown distribution $$p(x,y)$$

produce a prediction function $$f_\theta(x)$$ on unseen data point $$x$$

SSL中，我们还额外知道unlabele^d input datapoints $$x \in \mathcal{D}_{UL}$$

大方向上是使用$$D{UL}$$来对$$f\theta(x)$$进行augment。比如通过提供数据manifold的shape形式，提供decision boundary更好的形式。

大致有这么几类模型

1. consistency regularization：将$$D_{UL}$$中的data point进行替换不应该改变其预测结果。
2. entropy－based：核心想法是让模型的预测更加有信心（low entropy）。
3. pseudo-labelling：对unlabeled数据用启发式的方法加上label。