深度电子游戏手机版神经网络的参数网络极端巨大杂乱，也因而让机器得以完结以往不可思议的各类功用。但是，这种杂乱性也成为限制其广泛运用的祸源：神经网络的内部作业机理一向是个谜，就连创立者自己也搞不清它究竟怎样做出决议计划。自深度学习在2010年头全面盛行以来，这个难题一向困扰着人工智能业界。
跟着深度学习在各个范畴及运用中的拓宽，人们对依据神经网络的效果以及学习到的参数组合来解说神经网络技能原理的兴致也越来越高。但是，这些解说办法往往并不靠谱，甚至充溢种种误导性。更要命的是，这一切关于在练习进程中修正深度学习模型内的误差/成见几乎没有任何实践含义。
最近，《天然：机器智能》杂志宣布了一篇经过同行评定的论文，杜克大学的科学家们在其间提出了“概念白化（concept whitening）”技能，期望在不献身功用的前提下引导神经网络学习特定概念。概念白化将可解说性引进深度学习模型，而不再由模型自主在数百万练习得出的参数中寻觅答案。这项技能适用于卷积神经网络，展示出令人鼓舞的效果，亦有望为人工智能的未来开展及研讨产生严峻影响。
深度学习模型的特征与潜在空间
面临质量过硬的练习示例，具有正确架构的深度学习模型应该有才能区别不同类型的输入资料。例如，在核算机视觉使命场景下，经过练习的神经网络可以将图画的像素值转换为相应的类别。（因为概念白化首要适用于图画识别，因而咱们这儿首要评论机器学习使命的这一特定子集。当然，本文触及的许多内容相同适用于整个深度学习范畴。）
在练习期间，深度学习模型的每一层都会将练习图画的特征编码为一组数值，并将其存储在参数傍边。这个进程，即AI模型的潜在空间。一般，多层卷积神经网络中的较低层担任学习基本特征，例如视点和鸿沟。神经网络的较高层则学习检测更杂乱的特征，例如人脸、物体、完好场景等。
图注：神经网络中的各层都会对输入图画中的特定特征进行编码。
在抱负状况下，神经网络的潜在空间应代表与待检测图画类别相关的概念。但咱们并不确认，因为深度学习模型往往倾向于学习最具区别性的特征——即便这些特征与定论并无因果相关。
例如，以下数据会集包括小猫的每一张图画，右下角都恰巧有个徽标。人类可以很快发现，徽标跟小猫没有任何联系。但深度学习模型却很或许挑选取巧道路，即确认右下角有徽标的便是包括小猫的图画。相同的，假如练习会集一切包括绵羊的图画都有草地布景，那么神经网络学会的很或许是检测草地、而非绵羊。
图注：在练习期间，机器学习算法会查找最简单将像素与标签相关起来的拜访办法。
因而，除了深度学习模型在练习与测试数据集上的实践体现之外，更重要的是了解模型究竟学会检测出哪些概念与特征。经典解说技能也正是从这个视点企图解决问题。
神经网络的过后解说
大部分深度学习解说技能都具有过后特性，意味着只能经过查看输出效果及参数值对经过练习的神经网络加以评价。例如，现在一种用于确认神经网络在图画中究竟在调查哪些方针的盛行技能，就测验遮挡住输入图画中的不同部分，并调查这些改动会给深度学习模型的输出形成哪些影响。这项技能有助于创立热图，杰出显现与神经网络相关度最高的各项图画特征。
图注：明显性图示例
其他过后技能还包括敞开及封闭不同人工神经元，查看这些调整怎么影响AI模型的输出。这些办法相同有助于找到相关特征与潜在空间之间的映射联系。
尽管这些办法作用不错，但本质上仍是在以“黑箱”办法看待深度学习模型，无法真实描绘出神经网络的切当状况。
白皮书作者写道，“「解说」办法一般归于功用的摘要核算信息（例如部分迫临、节点激活的整体趋势等），而非对模型核算的实践解说。”
例如，明显性图的问题在于，它们往往无法发现神经网络学习到过错信息的问题。当神经网络的特征涣散在潜在空间中时，解说单一神经元的作用将变得极为困难。
图注：明显性图解说，无法精确标明黑箱AI模型怎么做出终究判别。
杜克大学核算机科学专业学生、概念白化论文榜首作者在采访中标明，“深度神经网络（NN）在图画识别方面十分强壮，但因为极为杂乱，咱们无法了解神经网络躲藏层中的学习进程。这种可解说性缺失，导致神经网络变得不可信且难以实践运用。以往大部分过后解说只是在尽力剖析模型学到了什么，例如各个神经元详细学到了什么概念。但这些办法依然严峻依赖于这样一个假定：这些概念现已被网络所学会（并不一定），并且只会集在一个神经元上（相同并不一定）。”
杜克大学核算机科学教授、概念白化论文联合作者Cynthia Rudin之前曾就信赖黑箱解说技能的危险性宣布正告，并标明此类办法有或许给出过错的神经网络解说。在之前宣布在《天然：机器智能》杂志上的另一篇论文中，Rudin鼓舞运用并开发天然具有可解说性的AI模型。作为博士导师，Rudin领导着杜克大学的猜测剖析试验室（此试验室专心于研讨机器学习的可解说性课题）。
概念白化的方针在于开发神经网络，其潜在空间将与练习进程中学会的概念相匹配。这种办法使深度学习模型真实具有可解说性，一起也极大降低了在输入图画的特征与神经网络输出之间树立联系映射的难度。
Rudin在采访中标明，“咱们的作业直接改动了神经网络处理潜在空间的办法，让联系轴真实与已知概念对应起来。”
将概念融入神经网络
深度学习模型一般会在经过符号的单一数据集上完结练习。概念白化则引进了包括概念示例的第二套数据集。这些概念与AI模型的中心使命有关。例如，假如您的深度学习模型给出“卧室”这一检测效果，则相关概念将包括床、冰箱、灯、窗户及门等。
Chen指出，“代表性样本可以手动挑选，因为它们有望构建咱们对可解说性的界说。机器学习从业者可以经过任何办法搜集这些样本，借此树立起合适自身运用的详细概念数据集。例如，咱们可以要求医生挑选具有代表性的X光片来界说各项医学概念。”
经过概念白化，深度学习模型将阅历两个并行的练习周期。神经网络会调整自身整体参数以标明首要使命中的类，而概念白化技能则调整各层中的特定神经元，使其与概念数据会集包括的类对齐。
这样的效果，便是形成一个羁绊的潜在空间，其间各个概念将在每层中规整散布，神经元的激活也与其各自概念相对应。Chen标明，“这种羁绊使咱们可以对网络怎么一层层学习概念具有更明晰的了解。”
为了评价这项技能的有效性，研讨人员经过深度学习模型（在不同层上刺进概念白化模块）运转一系列验证图画。接下来，他们依据每一层上激活的概念神经元对图画进行分类。在较低的层中，概念白化模块可以捕捉到初级特征，例如色彩及纹路。举例来说，网络可以经过较低层意识到蓝色布景下的白色物体或许与“飞机”概念严密相关，而带有暖色的图画则更或许包括“床”的概念。在较高层中，网络将学习怎么对代表该概念的方针进行分类。
图注：概念白化会在较低层学习初级信息（例如色彩、纹路），在较高层学习高档信息（例如方针、人）。
概念胶葛与对齐的一大优势，是确保神经网络不会犯下过分初级的过错。当图画经过网络运转时，较高层中的概念神经元会纠正较低层中或许产生的钷。例如，在下图傍边，因为密布存在很多蓝色与白色像素，因而神经网络的较低层过错将图画与“飞机”概念相关了起来。但当图画转移到较高层中时，概念神经元开端协助模型将效果导向正确的方向（右图为可视化纠正进程）。
图注：当图画从神经网络的较低层转移至较高层时，概念白化有助于纠正误解和过错。
以往的模型可解说性测验往往着重创立分类器，运用这些分类器经过神经网络潜在空间中的值推理概念。但依据Chen的解说，在不存在羁绊潜在空间的状况下，经过这类办法学习到的概念并不朴实，很或许将概念神经元的猜测分数相关起来。“以往人们尽管测验用监督办法破解神经网络之谜，但他们并没有真实解开谜题自身。另一方面，概念白化则经过白化转换对各联系轴进行相关性分化，借此真实了解模型的概念映射思路。”
将概念白化引进深度学习运用
概念白化是一类可以刺进卷积神经网络的模块，而非批量归一化模块。批量归一化技能诞生于2015年，这是一种盛行技能，可以调整用于神经网络练习的数据散布，借此加速练习速度并防止呈现过度拟合等问题。现在最盛行的卷积神经网络均已在各层中运用批量归一化技能。
除了批量归一化功用之外，概念白化还能让数据沿着代表相关概念的多条轴完结对齐。
概念白化架构的优势在于，它可以轻松被集成至多种现有深度学习模型傍边。经过研讨，科学家们运用概念白化代替批量归一化模块，借此修改了多种经过预练习的盛行深度学习模型，并仅用一轮练习就达到了预期作用。（一个次序，代表深度学习模型经过完好练习集进行练习的整个周期。深度学习模型在从零开端进行练习时，往往需求阅历多个次序。）
Rudin指出，“概念白化有望被广泛运用于医学成像等高度着重可解说性的范畴。”
在试验傍边，研讨人员将概念白化运用于皮肤病变确诊深度学习模型傍边。他们在论文中写道，“概念白化潜在空间上测量出的概念重要性评分可以供给重要的洞见，协助咱们了解哪些概念在皮肤病变确诊中更具含义。”
Chen标明，“为了未来的持续开展，咱们以为或许应该脱离预界说的概念，转而从数据会集发现这些概念——特别是那些尚未被发现的重要概念。以此为基础，咱们可以以羁绊办法在神经网络的潜在空间内清晰标明这些概念，进一步进步模型的可解说性。”
现在研讨的另一个重要方向，是在分层结构中安排概念，由此树立起概念集群以代替互相孤立的个别概念。
深度学习研讨带来的启示
跟着深度学习模型变得越来越巨大、越来越杂乱，业界关于怎么完结神经网络透明性也开端产生显着的定见不合。
一种定见着重调查AI模型的行为，而非徒劳地调查黑箱内部。这种办法也是人们研讨动物甚至人类大脑、规划试验并记载激活办法时采纳的思路。这种理论的支持者们以为，任何对神经网络施加可解说性规划束缚，都必然会导致模型质量下降。假如大脑可以从无到有经过数十亿次迭代进化出智能，神经网络也应该可以经过这种纯进化途径达到相同的作用。
概念白化的呈现辩驳了这一理论，并证明咱们可以在不形成任何功用丢失的前提下，对神经网络施加自上而下的规划束缚。风趣的是，试验标明深度学习模型在引进概念白化模块后的确可以供给可解说性，且中心推理使命的精确性不会产生任何明显下降。
Rudin总结道，“概念白化以及咱们甚至更多其他研讨试验室的效果现已全面证明，构建可解说模型又不危害其功用确有客观可行性。咱们期望这项作业可以改动人们对黑箱模型机制的盲目推重，招引更多参与者安身各自范畴树立起具有可解说性的机器学习模型。”