深度神经网络是一种人工智能（AI），可模仿人类大脑处理信息，但了解这些网络如何“思考”一直是一个挑战。据外媒报道，日本九州大学（Kyushu University）的研究人员开发出新方法，以了解深度神经网络如何解释信息并将其分类。

图片来源：期刊《IEEE Transactions on Neural Networks and Learning Systems》

相关研究论文发表在期刊《IEEE Transactions on Neural Networks and Learning Systems》。新研究方法解决了确保人工智能系统准确、稳健并能满足安全使用标准的重要需求。

深度神经网络通过多层处理信息，类似于人类一步步解决难题。第一层称为输入层，用于输入原始数据。后续层称为隐藏层，用于分析信息。早期的隐藏层专注于基本特征，例如检测边缘或纹理（如检查单个拼图块）。

更深的隐藏层结合这些特征来识别更复杂的模式，例如识别猫或狗（类似于连接拼图块以揭示更大的图景）。

“然而，这些隐藏层就像一个上锁的黑匣子：我们可以看到输入和输出，但里面发生的事情并不清楚，”九州大学信息科学与电气工程学院副教授Danilo Vasconcellos Vargas表示。“当人工智能犯错时，这种缺乏透明度的问题就会变得非常严重，有时错误是由一个像素的微小变化引发的。人工智能可能看起来很聪明，但了解它如何做出决定是确保其值得信赖的关键。”

目前，可视化AI如何组织信息的方法依赖于将高维数据简化为2D或3D表示。这些方法让研究人员可以观察AI如何对数据点进行分类——例如，将猫的图像与其他猫的图像分组，同时将它们与狗分开。然而，这种简化带来了严重的局限性。

“当我们将高维信息简化为更少的维度时，就像将3D对象展平为2D一样——我们会丢失重要的细节并且无法看到整个画面。此外，这种可视化数据分组方式的方法使得难以在不同的神经网络或数据类之间进行比较，”Vargas解释道。

在这项研究中，研究人员开发了一种新方法，称为k*分布（k* distribution）方法，可以更清晰地可视化和评估深度神经网络将相关项目归类在一起的效果。

该模型的工作原理是为每个输入的数据点分配一个“k*值”，该值表示到最近的不相关数据点的距离。高k*值表示数据点分离良好（例如，一只猫远离任何狗），而低k*值表示可能重叠（例如，一只狗比其他猫更靠近一只猫）。当查看一个类别中的所有数据点（例如猫）时，这种方法会产生k*值的分布，从而提供数据组织方式的详细图片。

“我们的方法保留了高维空间，因此不会丢失任何信息。这是第一个也是唯一一个能够准确了解每个数据点周围‘局部邻域’的模型，”Vargas强调道。

研究人员利用新方法发现，深度神经网络将数据分类为聚类、破碎或重叠排列。在聚类排列中，相似的项目（例如猫）紧密地分组在一起，而不相关的项目（例如狗）则明显分开，这意味着人工智能能够很好地对数据进行分类。

然而，破碎排列表明相似的物品分散在广阔的空间中，而当不相关的物品位于同一空间时，就会出现重叠分布，这两种排列方式都更容易导致分类错误。

Vargas将其与仓库系统进行了比较：“在一个组织良好的仓库中，相似的物品存放在一起，使检索变得简单而高效。如果物品混在一起，它们会变得更难找到，从而增加了选择错误物品的风险。”

人工智能越来越多地应用于自动驾驶汽车和医疗诊断等关键系统，在这些系统中，准确性和可靠性至关重要。k*分布方法可帮助研究人员甚至立法者评估人工智能如何组织和分类信息，从而找出潜在的弱点或错误。

这不仅支持将人工智能安全地融入日常生活所需的合法化进程，而且还提供了有关人工智能如何“思考”的宝贵见解。通过确定错误的根本原因，研究人员可以改进人工智能系统，使其不仅准确而且强大——能够处理模糊或不完整的数据并适应意外情况。

“我们的最终目标是创建即使面临现实世界场景的挑战也能保持精确性和可靠性的人工智能系统，”Vargas总结道。