TuringBox: An Experimental Platform for the Evaluation of AI Systems
TuringBox: An Experimental Platform for the Evaluation of AI Systems
Ziv Epstein, etc.
Intro
介绍一个TuringBox，一个能够学习AI系统行为的平台。 有两个作用 1. contributor提供模型 2. examiner进行检测
Towards a Black-Box Science
13年悉尼发现一个在线广告系统有歧视：给定黑人小孩的名字更有可能返回arrest相关的广告。这引发了关于AI系统的假设驱动相关研究。
后续还有很多关于性别、种族、地域的一些bias发现。
我们提出将AI系统作为一个black-box，将它们的输出作为behavior。然后提出使用experimentation和casual inference来理解这些行为，而不用知道潜在的AI系统。我们认为这中框架方式是理解算法行为和模型可信度的第一步。有三个关键组成 1. 在一个控制环境中的AI系统 2. 系统的刺激因子 3. 行为的衡量方式
System Overview
图灵机盒子。两边分别是examiners和contributors。为了鼓励contributor贡献自己算法，TuringBox会将上传的算法自动的和其他算法进行比较。每次的上传，contributors都会得到reputation point（根据算法性能）。
另一方面，examiners，会去探究算法的输出。并且对于算法是不可知的，仅仅知道算法的输入和输出。 可以有两种形式进行探究 1. examiner选择算法，并提供结构化的输入，来比较舒畅 2. examiner提供任务，让contributor对此进行研究 examiers也会根据研究的质量得到reputation point。
Workshop
从两个角度进行样例说明。
- 用户会检查并且衡量一些付费的CV系统的bias（针对于身体类型的bias）。
- NLP模型在词库和数据集上的bias。目前大家都只是将自己NLP系统中的bias摘除，但很少有针对什么模型会带来什么样的bias的问题。