在没有黑匣子的情况下，神经网络“解开”了计算机视觉

深度神经网络松散地模仿真实的大脑，有层层相互连接的“神经元”，它们对输入数据中的特征做出反应。

对于图像识别，输入数据由第一层处理，它将该信息作为输入传递给下一层，依此类推，直到最终确定输入图像中的内容。

然而，有一个被广泛承认的问题是，即使是构建这些模型的工程师也很难理解输入和输出之间发生了什么:黑盒问题。当涉及到网络故障排除或理解它们是否值得信任和公平时，这是一个问题。

杜克大学计算机科学专家辛西娅·鲁丁教授说:“我们可以输入一张医学图像，然后观察另一端的结果——‘这是一张恶性病变的图片’——但很难知道中间发生了什么。”

大多数揭示计算机视觉系统工作原理的方法都集中在导致图像被识别的关键特征或像素上。然而，这并没有揭示神经网络的推理。

Rudin和她的同事们开发了一种解决黑匣子问题的替代方法。他们没有试图在事后的基础上理解网络的推理，而是通过在过程中表达对概念的“理解”来训练网络展示其工作。例如，如果给定一个图书馆的图像，这种方法可以确定网络的各层是否依赖于“书籍”的表示来识别它。

这揭示了网络在多大程度上需要不同的概念来帮助理解一幅图像。鲁丁说:“它解开了不同概念在网络层中是如何表现的。”

这种调整包括用一个新部分替换神经网络的一个标准部分，这个新部分约束单个神经元对一个对人类有意义的特定概念做出反应，例如一个物体或一个描述符。一次只有一个神经元控制关于一个概念的信息，这使得理解网络中隐藏的过程要容易得多。

研究人员在一个神经网络上测试了他们的方法，该神经网络接受了数百万张标记图像的训练，以识别各种室内和室外场景，然后用它来识别新图像，同时观察网络层在处理数据时利用了哪些概念。当信息在连续的层中传递时，网络依赖于每个概念日益复杂的表示。

他们发现，这种调整可以像原始网络一样准确地识别图像中的物体和场景，同时获得对其推理过程的实质性理解。

该模块可以添加到任何用于图像识别的神经网络中。在一项实验中，他们将其纳入一个训练有素的神经网络，从照片中检测皮肤癌，并发现该网络在没有任何训练标签指导的情况下召唤出了“不规则边界”的概念。

“我们的方法揭示了数据集的一个缺点，”Rudin说，他考虑到，如果他们在数据中包含这些信息，可能会更清楚模型是否执行得如此准确。

“这个例子只是说明了为什么我们不应该盲目相信‘黑盒子’模型，因为不知道它们内部发生了什么，尤其是对于棘手的医疗诊断。”