科学家正在对AI系统进行测试

科学家正在对AI系统进行测试。研究人员开发了一种方法，可以一瞥当前AI系统中观察到的各种“智能”光谱，特别是通过一种新技术分析这些AI系统，从而实现自动化分析和量化。人工智能(AI)和机器学习算法(如深度学习)已成为我们日常生活中不可或缺的组成部分：它们支持数字语音助理或翻译服务，改善医疗诊断，是未来技术(如自动驾驶)不可或缺的一部分。基于不断增加的数据量和强大的新型计算机体系结构，学习算法似乎达到了人类的能力，有时甚至超越了人类的能力。问题：到目前为止，用户通常都不知道AI系统究竟是如何得出结论的。因此，人工智能的决策行为是否真正“智能”，或者程序是否只是平均成功，往往还不清楚。

来自TU Berlin，Fraunhofer Heinrich Hertz Institute HHI和新加坡科技与设计大学(SUTD)的研究人员已经解决了这个问题，并提供了对当前AI系统中观察到的各种“智能”频谱的一瞥，特别是用小说分析这些AI系统允许自动化分析和量化的技术。

这项新技术最重要的先决条件是TU Berlin和Fraunhofer HHI早期开发的方法，即所谓的分层相关传播(LRP)算法，该算法允许根据AI系统做出决策的输入变量进行可视化。扩展LRP，新颖的频谱相关性分析(SpRAy)可以识别和量化广泛的学习决策行为。以这种方式，现在即使在非常大的数据集中也可以检测到不期望的决策。

据柏林工业大学机器学习教授Klaus-RobertMüller博士称，这种所谓的“可解释人工智能”已成为人工智能实际应用的最重要步骤之一。“特别是在医疗诊断或安全关键系统中，不应使用采用片状甚至作弊问题解决策略的AI系统。”

通过使用他们新开发的算法，研究人员终于能够将任何现有的AI系统进行测试并获得有关它们的定量信息：从幼稚的问题解决行为开始，到欺骗策略到高度精细的“智能”战略解决方案。观察到了。

Fraunhofer HHI的组长Wojciech Samek博士说：“我们对广泛的学习问题解决策略感到非常惊讶。即使是现代人工智能系统也并非总能找到一个从人类角度看起来有意义的解决方案，但有时会使用被称为“聪明的汉斯战略”。“

聪明的汉斯是一匹可以算数的马，在20世纪初被认为是一种科学感受。正如后来发现的那样，汉斯并没有掌握数学，但在大约90%的案例中，他能够从提问者的反应中得出正确的答案。

Klaus-RobertMüller和Wojciech Samek周围的团队也在各种AI系统中发现了类似的“聪明汉斯”策略。例如，几年前赢得多个国际图像分类竞赛的人工智能系统采用了一种从人类的角度来看可以被认为是天真的策略。它主要根据背景对图像进行分类。当图片中有大量的水时，图像被分配到“船”类别。如果有铁轨，其他图像被归类为“火车”。还通过其版权水印为其他图片分配了正确的类别。因此，人工智能系统无法解决真正的任务，即检测船舶或火车的概念 - 即使它确实对大多数图像进行了正确分类。

研究人员还能够在一些最先进的人工智能算法中找到这些类型的错误解决问题的策略，即所谓的深度神经网络 - 迄今为止被认为对这种失误免疫的算法。这些网络的分类决定部分基于在准备图像期间创建的工件，并且与实际图像内容无关。

“这种人工智能系统在实践中没有用。它们在医疗诊断或安全关键领域的使用甚至会带来巨大的危险，”Klaus-RobertMüller说。“可以想象，目前使用的大约一半AI系统隐含或明确地依赖于这种'聪明汉斯'战略。现在是系统检查这一点的时候了，这样就可以开发安全的AI系统。”

通过他们的新技术，研究人员还确定了意外学习“智能”策略的人工智能系统。例子包括学会玩Atari游戏Breakout和Pinball的系统。“在这里，人工智能清楚地理解了游戏的概念，并找到了一种以有针对性和低风险的方式收集大量积分的智能方式。系统有时甚至以真正的玩家不会干预的方式进行干预，”Wojciech Samek说。

“除了理解AI策略之外，我们的工作为迭代数据集设计建立了可解释AI的可用性，即用于移除数据集中的人工制品，这会导致AI学习有缺陷的策略，以及帮助确定哪些未标记的示例需要注释和SUTD助理教授Alexander Binder表示，人工智能系统的故障可以减少。

“我们的自动化技术是开源的，可供所有科学家使用。我们认为我们的工作是使AI系统在未来更加强大，可解释和安全的重要的第一步，并且必须遵循更多。这是一般必不可少的先决条件。使用AI，“Klaus-RobertMüller说。