Imbalanced Deep Learning by Minority Class Incremental Rectification

Qi Dong, etc.

Intro

目前的问题有可能是算法带来的inductive bias。

在cost-sensitive问题上，最近有一些进展，比如Focal Loss。不需要expert。

这里我们提出了incremental minority class discrimination learning，通过构造一个Class Rectification Loss (CRL) regularization。

cross entropy是说

$$ p(y{i,j}=a{i,j} | xi ) = \frac{\exp{(W_j^T x{i,j})}}{\sumk \exp{(W_k^T x{i,j})}}

然后会吧把所有mini-batch的求个平均，然后再在所有class之间求平均。这里一个问题就是假设所有的instance和所有的class都一样重要。

但是因为class是highly imbalanced，所以得到的solution会是suboptimal。

但这里我是这么认为：不论balanced还是imbalanced，只要是可分的，那么最终converge的结果应该都一样；只不过converge的速度会受到影响。

这个策略是从decision boundary的另外一边借用一部分majority class samples。