Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach

Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach

Timnit Gebru, Judy Hoffman, Li Fei-fei

Intro

提出了一个finer-grained的目标，在识别图像的时候，除了能够识别是否为鸟类，更优的是识别哪一类鸟。

对于已知的category，提出multi-task adaptation network，使用multi-task adaptation objective，能够在category级别进行学习。

Multi-Task Domain Adaptation for Fine-Grained Recognition

不同task之间会分享一些类似的特征，比如不同品种的狗，有一些看上去都很蓬松。在general object classification的情景下，会用到一个分类树（比如WordNet）来将类别和标签在不同级别上进行分组。这些信息会被用来提供regularization和额外的supervision。

CNN Architecture for Multi-Task Domain Transfer

图二介绍了整个框架。有一个source images是都已经标记所有的class；target images一共有$$NT$$张image，其中$$N{TL}$$是标记了的image。semi-supervised setting是$$N_{TL} < N_T$$。

除了class label $$y$$，还有attribute level（特征级别）的标记$$y_a$$，比如动物的毛长短、颜色。multi-task loss有三部分组成，fine-grained也就是attribute level的softmax classification loss，attribute consistency loss，和semi-supervised adaptation loss。

Classification Loss

在attribute level和fine-grained level都进行softmax，即为两类classifier，最终的multi-task softmax loss是二者的加权和。

Attribute Consistency Loss

先前的假设是fine-grained class和attribute相互之间独立。为了增强二者之间的联系，增加一个attribute consistency loss。

从attribute classifier $$a_n$$能够直接得到predicted attribute，同时fine-grained class classifier也可以推断出attribute，通过一些变化之后用KL divergence计算二者之间的差异。

Augmenting Existing Adaptation Algorithms with Attribute Loss

最后是针对network adaptation的限制。沿用了Deep Domain Confusion: Maximizing for Domain Invariance中的domain confusion和softlabel losses。其中softlabel在attribute level和fine-grained level都使用。

Appendix

核心算法基本都在图二中的描述，数据上增加一个source data和fine-grained label；计算loss的时候除了平时一直使用的基于attribute label和fine-grained label的softmax loss，还加入了unsupervised/semi-supervised adaptive loss，和attribute consistency loss。