ICML2021 | 可解释性：对神经网络中层特征复杂度的解释与拆分

作者 | 任洁

编辑 | 王晔

随着深度神经网络的应用日益广泛，可解释性也逐渐受到更多学者的关注。目前对神经网络的可解释性研究主要分为两个方面，一方面是语义层面的解释，另一方面是数学层面对网络表达能力推导。

• 在语义层面，最直接的方法是可视化神经网络的中层特征，同时很多研究也致力于估计输入样本中不同单元对于神经网络输出的重要性（attribution/importance/saliency）。

• 在数学推导的层面，很多研究尝试从各个角度推导出神经网络表达能力的边界。然而，这两类解释性研究往往各自为战，语义层面的解释往往缺乏坚实的理论支撑，数学层面的推导又难以对接到人的认知，让人真正地理解神经网络。

在本文中，作者从特征复杂度的角度出发，尝试将语义解释与神经网络的表达能力相结合。神经网络的中层特征往往是混杂的，包含非常丰富的信息，其中，一些特征是简单的，另一些特征则是非常复杂的，需要经过复杂变换才能学习到。受这一点启发，本文内容：

1.定义了神经网络中层特征的复杂度；
2.在语义层面，实现了对简单特征、复杂特征的拆分及可视化，发现简单特征往往表示物体的主体形状，而复杂特征则是一些细节、噪声信息；
3.在表达能力层面，本文用可靠性、有效性，及过拟合程度评测了神经网络特征，量化了特征表达能力与特征复杂度、训练样本数等因素之间的联系；
4.基于上述结论，本文利用拆分出的特征向量进一步提升了神经网络的性能，并解释了经典学习算法的效果。

论文标题：“Interpreting and Disentangling Feature Components of Various Complexity from DNNs” in ICML 2021

论文链接：http://proceedings.mlr.press/v139/ren21b.html

作者：

任洁*：上海交通大学博士一年级，师从张拳石副教授。
李明杰*：上海交通大学本科四年级，现在张拳石实验室进行实习研究。
刘泽旭：上海交通大学本科三年级，曾在张拳石实验室进行实习研究。
张拳石：上海交通大学副教授，博士生导师。http://qszhang.com

本研究是在张拳石老师 @Qs.Zhang张拳石 指导下完成的工作。

点击观看论文视频解读：

1

算法简介

将神经网络中层特征解构并可视化出不同复杂度的特征分量：神经网络从输入样本中抽取得到了非常丰富的特征，而这些特征既包含简单的特征分量，也包含复杂的特征分量。简单的特征分量往往经过简单的变换就能得到，例如通过一个较浅的神经网络，而复杂的特征分量则需要较深的神经网络才能拟合。即，给定一个训练好的神经网络f，和输入x，其中层特征f(x)中包含了不同复杂度的特征分量：

其中c(1)(x)表示不同复杂度的特征分量。我们利用学习某个特征分量所需要的最少的非线性变换数来量化这个特征分量的复杂度。例如，单层神经网络（只包含一个非线性层）所能拟合的特征分量c(1)(x)的复杂度阶数定义为1阶，c(1)(x)称为f(x)的一阶复杂度分量。包含连个非线性层的神经网络所能够拟合的特征c(2)(x)称为二阶复杂度分量，以此类推。

为了从f(x)中拆分出不同复杂度的特征分量，我们通过知识蒸馏的方法训练多个不同深度（包含不同多个非线性层）的拆分网络，浅层的神经网络只能学习到简单特征，而深层网络所拟合的特征包含了简单特征和复杂特征。因此，深度为l-1的拆分网络和深度为l的拆分网络所拟合的特征的差值，就是复杂度为l阶的特征分量。

下图展示了不同阶特征分量的可视化结果。可以看出，简单特征往往包含与输入物体形状相关的信息，而复杂的特征分量包含了更多的细节信息和噪声信息。

2

探索实验

基于上述特征复杂度的定义，我们提出了一系列指标，量化分析了不同特征分量的可靠性、有效性和过拟合程度。

1.可靠性：本课题组前期的特征表达一致性理论已经证明，对于同一项任务，不同神经网络往往会建模一些公共信息，这些公共信息被认为是完成这项任务的可靠特征。

原论文链接：https://arxiv.org/abs/1908.01581

本文中，我们从各阶复杂度的特征分量中进一步提取出了可靠的特征子分量，从而量化了不同复杂度特征分量的可靠性。

实验中，我们发现，增加神经网络的训练样本量，能够有效提升特征的可靠性，但不会显著影响特征复杂度的分布，这在一定程度上与人们的直觉是相反的。

2. 有效性：基于Shapley value，我们量化了特征分量是否有效地帮助了神经网络的分类（或其他任务）。我们用每个特征分量对分类任务的损失函数的下降的Shapley value量化特征分量的有效性，发现特征不是越复杂越有效的，相反，当特征复杂度为网络深度的一半时，特征分量的有效性最高。

3. 过拟合程度：与有效性类似，我们利用特征分量对训练损失与测试损失差值的Shapley value，量化特征分量是否是过拟合的。实验发现，当增加训练样本量时，往往能够降低简单特征（低复杂度的特征分量）的过拟合程度，而这一规律对于复杂特征并不适用。

3

拓展应用

基于以上实验发现，我们进一步利用特征复杂度去提升网络性能，并解释了知识蒸馏、网络压缩这两种经典的深度学习算法。

1. 提升网络性能

前文中我们已经发现，当特征分量的复杂度为网络深度一半时，该分量是对任务最有效的。因此，我们将神经网络原始特征f(x)替换为所拆分出的有效特征分量，使神经网络的分类性能最高提升了5%；并且，我们发现中阶复杂度的特征对神经网络性能的提升更加有效。

2. 解释经典算法

本文中，我们解释了网络压缩和知识蒸馏两种算法对神经网络特征复杂度的影响，发现知识蒸馏使神经网络学到了更可靠、更有效的特征，从而在一定程度上提升了网络性能；网络压缩则主要作用于网络中的简单特征，且不会影响特征可靠性，因此能够保证网络性能不受显著破坏。

扫码添加小助手微信（AIyanxishe3），备注ICML2021拉你进群。

赠书福利 

AI科技评论本次联合Springer为大家带来5本周志华教授亲笔签名的《Machine Learning》正版新书。

在AI科技评论8月28日头条文章“周志华《西瓜书》上线英文版！”（注意不是本文，仅限AI科技评论微信公众号端）留言区留言，欢迎大家畅所欲言，谈一谈你对本书的看法和期待。在综合留言质量（留言是敷衍还是走心）和留言点赞最高（注：点赞最高的前5不意味着一定会中奖）的读者中选出5位读者获得赠书。获得赠书的读者请联系 AI 科技评论客服（aitechreview）。

• 留言内容会有筛选，例如“选我上去”、“这书写的很棒（仅仅几个字）”等内容将不会被筛选，亦不会中奖。

• 留言送书活动时间为2021年8月28日 – 2021年9月01日（23:00），活动推送时间内仅允许赠书福利中奖一次。

雷锋网雷锋网(公众号：雷锋网)雷锋网

雷锋网特约稿件，未经授权禁止转载。详情见。