Axiomatic Attribution for Deep Networks
Axiomatic Attribution for Deep Networks
Mukund Sundararajan, Ankur Taly, Qiqi Yan
Abstract
研究input feature对于deep network预测的贡献度。我们确定了两个基本的公理/axioms: sensitivity 和 implementation invariance，这两个公理对于attribution method都应该遵守。我们也展示了大部分attribution method其实并不遵守这两个公理，也就成为了他们的weakness。我们用这两个公理来指导设计了一个新的attribution method，叫Integrated Gradients。它并不需要对原来的network进行修改，而只需要对标准的gradient operator进行简单的call即可。我们把它在很多模型上进行了测试，展示了他可以用于network debugging，从network中挖取规则，也可以让用户更好的和模型进行交互。