打开一个黑盒子，黑盒子变成了白盒子，但是白盒子中又出现了更多的黑盒子，探索可解释AI是一条长远的道路。在刚刚过去的2021年，人工智能领域最热门的新兴话题之一，就是「可信AI」。2021年6月，蚂蚁集团在全球人工智能大会上首次公布「可信AI」技术架构体系；7月，京东探索研究院又在世界人工智能大会上发布中国首个《可信人工智能白皮书》，且两家企业都将隐私保护、鲁棒性/稳定性、可解释性、公平性作为「可信AI」的四大基本原则。从工业界到学术界，「可信AI」的身影频频出现。比如，此前 AI 科技评论也曾报道过哥伦比亚大学数据科学研究院主任周以真教授在《ACM通讯》上发表的「可信AI」一文，其中探讨了从「可信计算」到「可信人工智能」的历程与问题，也引发不少关注。在国内，人工智能应用落地的相关议题，已有风起云涌之势。越来越多的科技企业开始注重对人工智能的「约束」，从伦理层面、组织结构层面，如商汤设立伦理委员会。但总的来说，当前人工智能算法的缺陷，主要攻关难度还是在于技术层面，即常说的「鲁棒性/稳健性」与「可解释性」。不久前，1 月 11 日，腾讯也于线上举办的科技向善创新周「透明可解释 AI 论坛」上正式发布了《可解释 AI 发展报告 2022——打开算法黑箱的理念与实践》。这一报告由腾讯研究院、腾讯天衍实验室、腾讯优图、Tencent AI Lab 等机构联合完成，一经发布，再次引发人们对可解释AI的剧烈讨论。可解释人工智能 (XAI) 是一套流程和方法，可使人类用户能够理解和信任机器学习算法所产生的结果和输出。AI 技术的「不可信」逐渐成为AI大规模落地的一大阻碍。在将 AI 模型投入生产时，可解释 AI 对于组织建立信任和信心至关重要。AI可解释性也有助于组织采用负责任的方法进行 AI 开发。近几年，互联网科技大厂对可解释性AI的讨论热度居高不下。值得一提的是，对可解释 AI 的研究也逐渐蔓延到了学术界。随着社会各界对人工智能可信度的不断关注，安全可信的人工智能技术已成为研究领域的热点。可解释性是研究的焦点主要之一，其它焦点还包括人工智能系统稳定性、隐私保护、公平性等。随着AI越来越先进，人们越加关注算法究竟是如何得出结果的，计算过程变成了无法解释的「黑盒子」。这些黑盒子模型在数据的基础上直接创建而来，AI算法是如何得出特定结果的？创建算法的工程师或数据科学家对此也非常困惑。「黑盒子」这一概念最早由西方学者提出，是指从用户的观点来看一个器件或产品时，并不关心其内部构造和原理，而只关心它的功能及如何使用这些功能。其实，不仅是AI系统中经常出现「黑盒子」算法，对这种思路的运用由来已久。中国文化中没有「黑盒子」这个术语，但中华民族传统医学中医的理论是名副其实的「黑盒子」理论。最早没有医学影像等技术，人体就相当于一个不可拆分的黑盒子，而中医从外入手，运用「望闻问切」的方法，间接地探出病因，再对症下药，逐渐调理，使病人的内部实现平衡统一，得以治病。同样是在医学场景的运用，使用人工智能却不同于使用中医，人工智能的使用需要建立在数据之上，这就需要大量的病人诊断资料。但即使有了数据，哪怕是同一种疾病，由于每个人的情况不同，AI也可能做出错误判断。因此，对AI「黑盒子」的破解更为急迫。自动驾驶汽车失控悲剧频频发生；使用AI面部识别技术检测马路上的行人，监测乱穿马路现象，却误将广告牌上的人物图片识别为行人……人工智能的这些负面影响，使人们不得不对其提高警惕。AI 作为一项技术，在给人们带来诸多便利，给社会带来效益的同时，难免成为一把双刃剑。许多科技公司，像谷歌、微软、IBM、京东、蚂蚁集团、美团等纷纷推出相应举措。腾讯刚发布不久的《可解释AI发展报告 2022——打开算法黑箱的理念与实践》，正应验了大厂治理 AI 的迫切性。报告链接：https://docs.qq.com/pdf/DSmVSRHhBeFd0b3Zu报告总共分为五部分，主要内容分别为可解释 AI 的概述、发展趋势、行业实践、对未来发展的看法以及最后总结。- 可解释 AI 的概述部分，主要概述了机器学习模型所面临的可解释性挑战，可解释 AI 的意义，可解释 AI 与透明度、问责制，以及可解释 AI 局部和全局可解释的两个维度。
- 可解释 AI 发展趋势部分，主要解释了AI的透明性和可解释性逐渐成为立法和监管关注的焦点，对政府公共部门使用的 AI 系统提出较高的透明度与可解释性要求，对商业领域的AI系统在可解释性方面避免作“一刀切”要求，行业积极探索可解释AI的技术解决方案。
- 在可解释 AI 的行业实践部分，主要介绍了谷歌模型卡片（Model Cards）机制，IBM 的 AI 事实清单(AI Fact Sheets)机制，微软的数据集数据清单（datasheets for datasets）机制，其他可解释性AI工具以及可解释AI的腾讯实践。
- 在第四部分，主要讲述了对可解释AI未来发展的几点看法，包括立法和监督宜遵循基于风险的分级分类分场景治理思路；探索建立合理适度的、适应不同行业与应用场景的AI可解释性标准；探索可解释的替代性机制，形成对AI算法的有效约束；引导、支持行业加强可解释AI研究与落地，确保科技向善；增强社会公众的算法素养，探索人机协同的智能范式。
作为业内首份AI报告，获得学界和业界专家普遍一致好评。在数据隐私保护一块颇有耕耘的微众银行首席人工智能官杨强评价：「可解释 AI 是一个庞杂的领域，这份报告起了一个非常好的头，在这个基础上需要开展长期的研究。现在的各种算法还无法在效率和可解释性两方面都达到很高的要求，需要根据不同需要进行取舍。而且 AI 的可解释性是一个长期的问题，不会很快有一个通用的可解释框架，可以在一些比较重要的领域先行探索解决方法，指明未来的发展方向。」杨强教授十分关注数据隐私保护的内容，近年来在国内大力推举强调具有「数据可用不可见」特征的联邦学习技术的研究与应用，促进联邦学习框架的开源与研究。去年3月，由微众银行发起制定的国内首个联邦学习标准正式通过 IEEE 认证，构成了国内研究者对数据保护所做的诸多努力中的一环。除了杨强，时任南方科技大学计算机科学与工程系系主任、历史上首位获得神经网络最高奖「IEEE Frank Rosenblatt Award」的华人学者姚新教授也对该报告进行了附议。他谈道：「对 AI 系统落地来说，透明性和可解释性是必不可少的，研究前景非常好；但 AI 的透明性、可解释性和性能之间存在固有的矛盾，一个可能的方向是根据不同的场景、可解释的目的，寻找不同的折中方案，以此促进 AI 技术的落地。」什么是「可信AI」？在去年的一次对话中，姚新教授也曾向 AI 科技评论分享过自己的看法。其中，他提出，检验人工智能是否可信、可落地的一个最直接的方法，就是「研究人员敢不敢用」。比如 AI 制药，如果负责项目的科研人员敢用，那用户对 AI 的信任度也会提高。但事实是如今的许多 AI 产品由于未充分完善，科研人员也是不敢用的。由此可见，尽管各大厂开始重视 AI 的治理与落地安全性，但要从技术层面解决当前人工智能模型可解释性差、不够稳定的缺点，还是需要做好打长久战役的准备。即使AI系统并非完全可解释，我们也可以利用AI系统来提高决策的透明度。对人类决策的解释，也许不能准确反映出影响人类决策的因素或无意识偏见。实际上，即使 AI 系统所做出的决策并不能被完全解释，但相比理解人类如何做出类似决策，我们也可以更好地理解AI系统在整体上是如何做出决策的。而且，AI的最大价值在于可以在复杂情形中发现、识别超出人类理解的模式( pattern )，因此根据定义，这样的AI系统不会以人类可以理解的方式具有完全的可解释性。就像取得驾照，相信汽车可以安全驾驶，并不需要人人都成为专业的汽车工程师一样，当使用AI系统时，解释并不总是必须的。长远来看，政府、社会、企业、行业、科研机构、用户等主体需要共同探索科学合理的可解释AI落地方案及相关的保障与防护机制，推动科技问雪。
只有各界共同正确审视人工智能研究出现的问题，并做出合理的解决方案，才能推动AI技术持久稳定的发展，可解释AI未来发展如何，让我们拭目以待！
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
