Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments
Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments
Alexandra Chouldechova
Intro
在criminal justice system中，risk assessment（犯罪评估）正在变得越来越重要。
Assessing Fairness
Background
$$S=S(x)$$表示是基于变量$$X=x\in \mathbb{R}^p$$的risk score。同时也把$$S$$叫做score或者instrument。假设R是protected attribute，且是X中的一维变量，有两个不同的数值（两组）$$R \in {b, w}$$。$$Y \in {0, 1}$$是outcome。$$s_{HR}$$是threshold。
下面开始讨论几种fairness成立的条件。
Def 1 (Calibration). A score $$S=S(x)$$ is well calibrated if it reflects the same likelihood of recidivism irrespective of the individual's group membership. For all value $$s$$, $$P(Y=1|S=s, R=b) = P(Y=1|S=s, R=w)$$.
Def 2 (Predictive parity). A score $$S=S(x)$$ satisfies predictive parity at a threshold $$s{HR}$$ if the likelihood of recidivism among high-risk offenders is same regardless of the group membership. $$P(Y=1|S>s{HR}, R=b) = P(Y=1|S>s_{HR}, R=w)$$.
Def 3 (Error rate balance). 基于某一个threshold的score符合error rate balance，当FP和FN在不同group之间都相同。 $$P(S>s{HR} | Y=0, R=b) = P(S>s{HR} | Y=0, R=w)$$ and $$P(S \le s{HR} | Y=0, R=b) = P(S \le s{HR} | Y=0, R=w)$$.
与equalized odds和equal opportunity紧密联系。
Def 4 (Statistical parity). 基于某一个threshold的score符合error rate balance，当每一个group中属于high risk的概率一样。 $$P(S>s{HR}|R=b) = P(S>s{HR}|R=w)$$.
statistical parity也叫做equal acceptance rates/group fairness。但因为实用性不高，所以后面不做讨论。
Predictive parity, FPRs, and FNRs
我们一个主要结论：当不同group的prevalence (base rate $$P(Y=1|R=r)$$) 不一样的时候，predictive parity和error rate balance不相容。
图1是几个不同的fairness条件，根据COMPAS RPI来的。
每个$$s$$数值的calibration prob差不多，因此可以认为大致符合calibration条件。
当$$s>4$$的时候，大致符合predictive parity条件。
但是不满足error rate balance条件。
证明：
$$\text{FPR} = \frac{p}{1-p} \frac{1-\text{PPV}}{\text{PPV}} (1-\text{FNR})$$
注
$$\text{FPR} = \frac{\text{FP}}{\text{FP}+\text{TN}} = \frac{P(Y=0, \hat Y=1)}{P(Y=0, \hat Y=1) + P(Y=0, \hat Y=0)} = \frac{P(Y=0, \hat Y=1)}{P(Y=0)} = P(\hat Y=1 | Y=0)$$
$$\text{FNR} = \frac{\text{FN}}{\text{FN}+\text{TP}} = \frac{P(Y=1, \hat Y=0)}{P(Y=1, \hat Y=0) + P(Y=1, \hat Y=1)} = \frac{P(Y=1, \hat Y=0)}{P(Y=1)} = P(\hat Y=0 | Y=1)$$
$$\text{TPR} = 1 - \text{FNR} = P(\hat Y=1 | Y=1 )$$
$$\frac{p}{1-p} \frac{1-\text{PPV}}{\text{PPV}} = \frac{P(Y=1)}{P(Y=0)} \frac{P(Y=0|\hat Y=1)}{P(Y=1|\hat Y=1)} = \frac{P(Y=1)}{P(Y=0)} \frac{P(Y=0,\hat Y=1)}{P(Y=1,\hat Y=1)} = \frac{P(\hat Y=1 | Y=0)}{P(\hat Y=1 | Y = 1)} = \frac{\text{FPR}}{\text{TPR}}$$ (this should hold for each group separately)
由此可证。
从这个式子，我们可以看到，如果一个instrument/score满足predictive party，也就是不同group的PPV都一样，但是prevalence不一样，那么不同的group对应的FPR和FNR就不一样。
既然无法同时满足所有的fairness条件，那么就很有必要了解一下无法满足某些fairness条件会带来的影响。下面会在hypothetical risk-based sentencing framework下进行讨论。
Assessing Impact
这里penalty辉表示两种情况的outcome：pretrial和postconvinction，二者不做区分。
我们的分析主要关注于这个变量
$$\Delta = \Delta(y_1, y_2) = \mathbb{E}(T|R=r, Y=y_1) - \mathbb{E}(T|R=w,Y=y_2)$$
这表示在整个判刑的过程中，不同group的被告的期待值之差。$$\Delta$$被用来作为衡量不同影响的方法。
Prop 3.1. The expected difference in penalty under the MinMax policy is given by $$\Delta = \mathbb{E}(T|R=b,Y=y1) - \mathbb{E}(T|R=w,Y=y_2) = (t{max}-t_{min})\bigg( P(\hat Y=1 | R=b,Y=y_1) - P(\hat Y=1 | R=w, Y=y_2) \bigg)$$
证明：
注： $$\mathbb{E} [T|R=b, Y=y] = t{max} P(\hat Y=1 | R=b, Y=y) + t{min} P(\hat Y=0|R=b, Y=y) = (t{max} - t{min}) P(\hat Y=1|R=b, Y=y)$$
由此可以得到两个collaries。
Corollary 3.1. (Nonrecidivists) 在非惯犯的个体中，使用MinMax policy的average penalty的差异是 $$\Delta = (t{max} - t{min})(\text{FPR}_b - \text{FPR}_w)$$.
即设 $$P(Y=1) = 0, P(Y=0) = 1$$.
$$\Delta = (t{max}-t{min})\bigg( P(\hat Y=1 | R=b,Y=0) - P(\hat Y=1 | R=w, Y=0) \bigg) = (t{max}-t{min})\bigg( \text{FPR}_b - \text{FPR}_w \bigg)$$
Corollary 3.2. (Recidivists) 在惯犯的个体中，使用MinMax policy的average penalty的差异是 $$\Delta = (t{max} - t{min})(\text{FNR}_b - \text{FNR}_w)$$
即设 $$P(Y=1) = 1, P(Y=0) = 0$$.
$$\Delta = (t{max}-t{min})\bigg( P(\hat Y=1 | R=b,Y=1) - P(\hat Y=1 | R=w, Y=1) \bigg) = \(t{max}-t{min})\bigg( 1 - P(\hat Y=0 | R=b,Y=1) - 1 + P(\hat Y=0 | R=w, Y=1) \bigg) = (t{max}-t{min})\bigg( \text{FNR}_w - \text{FNR}_b \bigg)$$
当使用RPI满足predictive parity的时候，recidivism prevalence在不同的group也不一样；通常是higher recidivism prevalence的group，其FPR高，而FNR低。从前面两个corollaries中，我们会发现这会给在higher prevalence group中的被告带来更高的penalties，不论是惯犯还是非惯犯。
Conditioning on other covariates
Connections to measures of differences in distribution
不同的肤色对应的score分布会不一致，有一个工作报告了Cohen's d为0.34，而对应的nonoverlap是13.5%。一个自然的问题是，在判决的过程中的不一致程度，$$\Delta$$，和这类distributional difference相关。答案是肯定的。
nonoverlap percentage是假设两个分布都是normal之后计算的，因此和Cohen's d是有一一对应的关系。但是图三可以发现并不是normal distribution。一个更合理的计算percentage nonoverlap是Gaussian case percentage nonoverlap等价于total variation distance。可以有如下的bound
Prop 3.2. (Percentage overlap bound). Under the MinMax policy, $$\Delta(y1, y_2) \le (t{max}-t{min}) d{TV}(f{b, y_1}, f{w,y_2})$$
这个比较容易理解。当不同group有不同的score distribution，最坏情况的nonoverlap是小于$$s{HR}$$的score完全大于$$s{HR}$$。
Empirical Results
$$t{min}$$和$$t{max}$$是根据被告的charge degree估算的。
除了使用MinMax policy，Interpolation policy使用的是二者之间的linear approximation。
Discussion
提出了很有意思的一个观点。很多数据是被reoffense。有很多暴力犯罪和经济犯罪被清除了。如果这样的话，那么数据本身就带有误导性。理解这样的数据误差对我们研究也很重要。