2019-12-16 10:11

不要让你的AI计划处于危险之中 测试你的AI注入的应用程序

导读2018年3月,优步(Uber)的一辆自动驾驶汽车首次死亡:它没有认出过马路上的行人。ProPublica发现COMPAS(一种基于机器学习的计算机软件系统,协助美国12个法院的法官)存在有害的偏见。这是对黑人和白人的歧视,向法官暗示,黑人比白人犯下另一种罪行的可能性要高出一倍,并建议在审判前延长他们的拘留期。我可以继续举出更多人工智能如何变得有害的例子。 企业将人工智能技术注入到企业应用中,构建

2018年3月,优步(Uber)的一辆自动驾驶汽车首次死亡:它没有认出过马路上的行人。ProPublica发现COMPAS(一种基于机器学习的计算机软件系统,协助美国12个法院的法官)存在有害的偏见。这是对黑人和白人的歧视,向法官暗示,黑人比白人犯下另一种罪行的可能性要高出一倍,并建议在审判前延长他们的拘留期。我可以继续举出更多人工智能如何变得有害的例子。

企业将人工智能技术注入到企业应用中,构建新的基于人工智能的数字体验,以实现业务转型,并加快数字转型计划。但人工智能的所有这些优点都有可能终结,尤其是如果我们继续看到这样的例子,即提供低质量、未经测试的人工智能,或者没有为企业和消费者进行充分测试的人工智能。人工智能注入的应用程序是由“自动软件”(我们多年来一直在构建的具有确定性的软件)和自主软件(或具有学习能力的不确定性软件)混合而成的应用程序。充满人工智能的应用程序可以看、听、说、感觉、执行、自动化、决策等等。

随着人工智能变得更加自主,这些系统没有得到足够测试的风险急剧增加。在人类进入这个循环之前,人们有希望通过做出正确的决定或采取正确的行动来减少他们的bug,但是一旦他们脱离了这个循环,我们就会被这个未经测试的、潜在有害的软件控制。

由于注入人工智能的应用程序是自动和自主软件的混合,因此测试AIIA涉及的测试不仅仅是所有部件及其交互的总和。好消息是测试人员、开发人员和数据科学家知道如何测试80%的aiiasb,并且可以使用正在学习这样做的传统测试工具和测试服务公司;坏消息是,AIIAs有一些我们不知道如何测试的领域:在最近的一份报告中,我将其称为“测试未知”,而“测试未知”的一个例子发生在AI生成新体验的时候。要测试ai生成的体验,我们不能像对确定性自动软件那样预先定义测试用例。感兴趣吗?