如何制造我们可以信任的机器人

自动驾驶汽车、个人助理、清洁机器人、智能家居——这些只是自动系统的一些例子。

由于许多这样的系统已经在使用或正在开发中,一个关键问题涉及到信任。我的中心论点是,拥有值得信赖的、运行良好的系统是不够的。为了实现信任,自主系统的设计还需要考虑其他需求,包括解释决策的能力,以及在出现问题时拥有追索权的能力。

当做好工作是不够的时候

在过去的几年里,自主系统的部署取得了巨大的进步。这些本质上是软件系统,它们做出决定并根据这些决定采取行动,并产生现实世界的结果。例如,自动驾驶汽车和机器人等物理系统,以及个人助理等纯软件应用。

然而,仅仅设计出功能良好的自主系统是不够的。我们还需要考虑人们需要哪些附加功能来信任这些系统。

例如,考虑一个私人助理。假设个人助理功能良好。即使它无法解释自己的决定,你会相信它吗?

要使一个系统值得信任,我们需要确定信任的关键先决条件。然后,我们需要确保系统被设计成包含这些特性。

是什么让我们信任?

理想情况下,我们会用实验来回答这个问题。我们可以问人们是否愿意相信一个自主的系统。我们可以探索这是如何取决于各种因素的。例如,对系统行为提供担保重要吗?提供解释重要吗?

假设系统做出的决策对正确决策至关重要,例如自动驾驶汽车避免事故。在多大程度上,我们会更加谨慎地相信一个做出如此关键决定的系统?

这些实验还没有进行。因此,下面讨论的先决条件实际上是有根据的猜测。

请解释

首先,一个系统应该能够解释它为什么做出某些决定。如果系统的行为可能不明显,但仍然是正确的,那么解释就尤为重要。

例如,想象一下通过向救援人员分配任务和位置来协调救灾行动的软件。这样的系统可能会建议对单个救援人员进行奇怪的任务分配,但是从整个救援操作的角度来看是正确的。如果没有解释,这样的任务分配不太可能可信。

提供解释可以使人们理解系统,并支持对不可预测的系统和意外决策的信任。这些解释需要易于理解和理解,也许可以使用自然语言。它们可以是交互式的,以对话的形式。

如果出了问题

信任的第二个先决条件是追索权。这意味着,如果你受到自治系统的不利影响,你可以获得补偿。这是一个必要的先决条件,因为它允许我们相信一个不是100%完美的系统。在实践中,没有一个系统是完美的。

追偿机制可以是合法的,也可以是一种保险形式,也许可以仿效新西兰的事故赔偿办法。

然而,依靠法律机制也存在问题。至少一些自主系统将由大型跨国公司制造。一种法律机制可能演变成“大卫与歌利亚”(David vs . Goliath)的局面,因为它涉及个人或资源有限的组织将跨国公司告上法庭。

更广泛地说,信任还需要监管和治理的社会结构。例如,应该制定哪些(内部)国家法律来规范自治系统的开发和部署?自动驾驶汽车上路之前,需要什么认证?

有人认为,认证和信任需要验证。具体来说,这意味着使用数学技术为自治系统的决策提供保障。例如,当一辆车知道另一辆车就在前方时,保证它永远不会加速。

将人类价值

对于某些领域,系统的决策过程应该考虑相关的人的价值。这些可能包括隐私、人类自主和安全。

想象一个照顾老年痴呆症患者的系统。那位老人想去散步。然而,出于安全考虑,他们不应该被允许独自离开房间。系统应该允许他们离开吗?阻止他们离开?通知人吗?

决定如何做出最佳反应可能需要考虑相关的潜在人类价值观。也许在这种情况下,安全压倒了自治,但通知人类的照顾者或亲属是可能的。尽管选择通知谁可能受到隐私的限制。

使自主智能

这些先决条件——解释、资源和人类价值——是建立可靠的自主系统所必需的。它们需要被视为设计过程的一部分。这将允许将适当的功能设计到系统中。

解决这些先决条件需要跨学科合作。例如,开发合适的解释机制不仅需要计算机科学,还需要人类心理学。同样,开发能够考虑人类价值的软件需要哲学和社会学。治理和认证的问题涉及法律和伦理。

最后,还有更广泛的问题。首先,我们愿意将哪些决定交给软件?其次,社会应如何准备和应对自动化系统部署所带来的众多后果。

例如,考虑到对就业的影响,社会是否应该引入某种形式的全民基本收入?

进一步探索

这篇文章最初发表在The Conversation上。阅读原文。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。