Fairness Behind a Veil of Ignorance: A Welfare Analysis for Automated Decision Making
Fairness Behind a Veil of Ignorance: A Welfare Analysis for Automated Decision Making
Hoda Heidari, etc
ETH
Intro
Proposed Family of Measures
假设benefit function $$b: y \times y \to \mathbb{R}$$，其中$$y$$是ground truth，而$$\hat y$$是训练的模型assigned给它的。它用来衡量每一个个人assigned outcome和真实的outcome之间的signed discrepancy。
下面benefit function例子满足上述性质 $$b(y,\hat y) = \hat y - y, b(y, \hat y) = \log (1 + e^{\hat y - y}), b(y, \hat y) = \hat y / y$$。为了保证fairness constraints的convexity，通过这个工作，我们会关注的benefit function是针对于 $$\hat y$$ positive和affine。
Proposition 1: 对于任意的$$y,\hat y \in {0, 1}$$，设$$\bar b{y,\hat y} \in \mathbb{R}$$是任意的常数，用来表示一个人真实label是$$y$$，而预测是$$\hat y$$的时候收到的benefit。那么就存在一个线性的benefit function符合$$b(y, \hat y) = \bar y{y,\hat y}$$，其形式是$$c_y \hat y+d_y$$。
而且根据前面定义，默认$$\hat y$$越高带来的收益也越高，那么就有$$\bar b{1,0} \le \bar b{0,0} \le \bar b{1,1} \le \bar b{0,1}$$。给定一个算法模型，我们就能够计算所有个体一起的benefit profile/vector $$b=(b_1, ..., b_n)$$,其中$$b_i$$代表的是第i个个体的benefit。一个benefit profile $$b$$ Pareto-dominates $$b'$$，记作$$b \ge b'$$，是对于任意的i，$$b_i \ge b_i'$$。
然后加上utility function $$u: \mathbb{R} \to \mathbb{R}$$，其中$$u(b)$$表示从benefit $$b$$中能得到的效益。这里我们就使用Constant Relative Risk Aversion (CRRA) utility function。也就是$$u(b) = b^\alpha$$，且选择risk parameter $$0 < \alpha < 1$$：因为一开始得到的算法benefit越高，那么随着benefit的增加，其得到的added utility越少。理论上不同的个体的risk parameter应该不一样，但这里为了简洁，我们就使用同一个数值。
我们提出的measures是这样实现决策模型的fairness：通过一个随机选择的risk-averse个体接受到的expected utility来作为服从该模型的结果。
measure就这么表示
$$\mathcal{U}P(h) = \mathbb{E}{(x_i,y_i)\sim P} [\mathcal{u}(b(y_i, h(x_i)))]$$
而expectation是
$$\mathcal{U}D(h) = \frac{1}{n} \sum{i=1}^n \mathcal{u}(b(y_i, h(x_i)))$$
为了-证fairness，我们提出在最小化loss的同时，也要满足$$\mathcal{U}_D(h) \ge \tau$$。比如说，当任务是linear regression，且$$b(y, \hat y) = \hat y - y + 1$$，而risk aversion的程度是$$\alpha$$，那么优化目标就是
$$ \min\theta \sum{i=1}^n (\theta^T xi - y_i)^2\ s.t. \sum{i=1}^n(\theta^T x_i-y_i+1)^\alpha \ge \tau n
$$
和cardinal welfare关系
我们提出的measure是cardinal social welfare function的子集。cardinal welfare function $$\mathcal{W}$$和benefit vector$$b, b'$$ 满足的几个性质
- monotonicity 单调性: 如果$$b>b'$$，那么$$\mathcal{W}(b) > \mathcal{W}(b')$$
- symmetry 对称性: $$\mathcal{W}(b1, ..., b_n) = \mathcal{W}(b{(1)}, ..., b_{(n)})$$，也就是说$$\mathcal{W}$$并不依赖于个体身份（？），而是其benefit水平
- independence of unconcerned agents: $$\mathcal{W}$$会独立于benefit水平一致的个体。设$$(b|^ia)$$表示对benefit vector$$b$$的第i项替换为$$a$$。这条性质就是说对于benefit vector $$b, b'$$和项$$a,c$$，$$(b|^ia) \ge (b'|^ia)$$ 等价于 $$(b|^ic) \ge (b'|^ic)$$
- independence of common scale: 对于任意实数 $$c > 0$$, $$(b) \ge (b')$$ 等价于 $$(cb) \ge (cb')$$，scaling不会影响相对大小关系
- Pigou-Dalton transfer principle: 从一个high-benefit个体到low-benefit个体转移，social welfare要增加。也就是$$1 \le i \le j \le n$$ 并且 $$0 < \delta < \frac{b{(j)} - b{(i)}}{2}$$，那么$$\mathcal{W}(b{(1)}, ..., b{(i)}+\delta, ..., b{(j)}-\delta, ..., b{(n)}) > \mathcal{W}(b)$$
和不等式关系
Speicher 2018最近提出使用income inequality indices来衡量个体水平的unfairness。他们提出的index，generalized entropy，符合四个重要的定理：symmetry，population invariance，0－normalization，和Pigou-Dalton transfer principle。我们提出的measure除了0－normalization都符合。不过考虑到我们的目标，后面两种条件不那么重要。
再考虑另外一个指标，Atkinson's index；在某些条件下，我们提出的fairness结果和它一致。
Experiments
探究了我们提出的measure和accuracy之间的关系，以及目前定义的group discrimination和individual fairness。
$$\tau$$更高，$$\alpha$$更小，模型会更加的equal，但同时accuracy会降低。