Awesome xai

## Awesome XAI [](https://awesome.re) XAI 和可解释的 ML 论文、方法、评论和 resources. 可解释人工智能 (XAI) 是机器学习研究的一个分支，旨在 使各种机器学习技术更容易理解.

Papers¶

Landmarks¶

这些是我们最喜欢的一些论文. 他们有助于了解该领域 和它的关键方面. 我们相信这篇论文值得一读 entirety.

• Explanation in Artificial Intelligence: Insights from the Social Sciences - 本文提供了对社会科学研究的介绍性解释. 作者提供了 4 个主要发现：(1) 解释是约束性的，(2) 解释是有选择的，(3) 概率可能无关紧要，(4) 解释是社会性的. 这些符合解释是-上下文-的一般主题.
• Sanity Checks for Saliency Maps - 任何使用显着图的人的重要读物. 本文提出了两个实验来确定显着图是否有用：（1）模型参数随机化测试比较来自训练和未训练模型的图，（2）数据随机化测试比较来自在原始数据集上训练的模型和在同一数据集上训练的模型的图带有随机标签. 他们发现“一些广泛部署的显着性方法独立于训练模型的数据和模型参数”.

Surveys¶

• Explainable Deep Learning: A Field Guide for the Uninitiated - 对 XAI 的深入描述侧重于深度学习的技术.

Evaluations¶

• Quantifying Explainability of Saliency Methods in Deep Neural Networks - 基于对生成的数据集的实验，分析不同的基于热图的显着性方法如何执行.

XAI Methods¶

• Ada-SISE - 用于解释的自适应语义输入采样.
• ALE - 累积局部效应图.
• ALIME - 基于自动编码器的本地可解释性方法.
• Anchors - 高精度模型无关的解释.
• Auditing - 审计黑盒模型.
• BayLIME - 贝叶斯局部可解释模型不可知论解释.
• Break Down - 分解附加属性的情节.
• CAM - 类激活映射.
• CDT - 贝叶斯决策树集成的自信解释.
• CICE - 居中的 ICE 图.
• CMM - 结合多种模型metalearner.
• Conj Rules - 使用采样和查询从经过训练的神经网络中提取规则.
• CP - 贡献传播.
• DecText - 从训练有素的神经网络中提取决策树.
• DeepLIFT - 用于图像注释的深度标签特定特征学习.
• DTD - 深度泰勒分解.
• ExplainD - 附加分类器中证据的解释.
• FIRM - 特征重要性排名措施.
• Fong, et. al. - 有意义的扰动模型.
• G-REX - 使用遗传算法提取规则.
• Gibbons, et. al. - 使用决策树解释随机森林.
• GoldenEye - 通过随机化探索分类器.
• GPD - 高斯过程决策.
• GPDT - 进化决策树的遗传程序.
• GradCAM - 梯度加权类激活映射.
• GradCAM++ - 广义的基于梯度的视觉解释.
• Hara, et. al. - 使树集成可解释.
• ICE - 个人条件期望图.
• IG - 综合渐变.
• inTrees - 用 inTrees 解释树集合.
• IOFP - 迭代正交特征投影.
• IP - 信息平面可视化.
• KL-LIME - 基于 LIME 的 Kullback-Leibler 预测.
• Krishnan, et. al. - 从训练有素的神经网络中提取决策树.
• Lei, et. al. - 使用生成器和编码器合理化神经预测.
• LIME - 本地可解释的与模型无关的解释.
• LOCO - 保留一个协变量.
• LORE - 基于本地规则的解释.
• Lou, et. al. - 具有成对交互的准确可理解模型.
• LRP - 逐层相关性传播.
• MCR - 模型类依赖.
• MES - 模型解释系统.
• MFI - 非线性算法的特征重要性度量.
• NID - 神经解释图.
• OptiLIME - 优化石灰.
• PALM - 分区感知本地模型.
• PDA - 预测差异分析：可视化深度神经网络决策.
• PDP - 部分依赖图.
• POIMs - 用于理解 SVM 信号检测器的位置低聚物重要性矩阵.
• ProfWeight - 将信息从深层网络传输到更简单的模型.
• Prospector - 交互式部分依赖诊断.
• QII - 定量输入影响.
• REFNE - 从训练有素的神经网络集合中提取符号规则.
• RETAIN - 逆时注意力模型.
• RISE - 用于解释的随机输入采样.
• RxREN - 用于规则提取的逆向工程神经网络.
• SHAP - 解释模型预测的统一方法.
• SIDU - 相似性、差异性和独特性输入扰动.
• Simonynan, et. al - 可视化 CNN 类.
• Singh, et. al - 作为黑盒解释的程序.
• STA - 通过单树近似解释模型.
• Strumbelj, et. al. - 使用博弈论解释个人分类.
• SVM+P - 从支持向量机中提取规则.
• TCAV - 使用概念激活向量进行测试.
• Tolomei, et. al. - 通过可操作的特征调整对树集合进行可解释的预测.
• Tree Metrics - 理解一片树林.
• TreeSHAP - 树合奏的一致特征属性.
• TreeView - 特征空间划分.
• TREPAN - 提取经过训练的网络的树结构表示.
• TSP - 树空间原型.
• VBP - 视觉反向传播.
• VEC - 可变效应特性曲线.
• VIN - 可变交互网络.
• X-TREPAN - 人工神经网络中可理解决策树的适应提取.
• Xu, et. al. - 展示、参加、讲述注意力模型.

Interpretable Models¶

• Decision List - 就像没有分支的决策树.
• Decision Trees - 树提供了解释.
• Explainable Boosting Machine - 基于学习到的特征向量图进行预测的方法.
• k-Nearest Neighbors - 原型聚类方法.
• Linear Regression - 易于绘制和理解的回归.
• Logistic Regression - 易于绘制和理解的分类.
• Naive Bayes - 良好的分类，使用条件概率的估计不佳.
• RuleFit - Sparse linear model as decision rules including feature interactions.

Critiques¶

• Attention is not Explanation - 作者进行了一系列 NLP 实验，这些实验认为注意力并不能提供有意义的解释. 他们还证明不同的注意力可以产生相似的模型输出.
• Attention is not --not-- Explanation - 这是对上述论文的反驳. 作者争辩说，多种解释可能是有效的，并且这种注意力可以产生一个有效的解释，如果不是 - 有效的解释.
• Do Not Trust Additive Explanations - 作者认为加性解释（例如 LIME、SHAP、Break Down）未能将特征相互作用考虑在内，因此不可靠.
• Please Stop Permuting Features An Explanation and Alternatives - 作者证明了为什么置换特征会产生误导，尤其是在特征依赖性很强的情况下. 他们提供了几个先前描述的替代方案.
• Stop Explaining Black Box Machine Learning Models for High States Decisions and Use Interpretable Models Instead - 作者提出了可解释 ML 的许多问题和可解释 ML 的挑战：（1）构建最佳逻辑模型，（2）构建最佳稀疏评分系统，（3）定义可解释性并为特定方法创建方法. 他们还提出了为什么可解释模型可能存在于许多不同领域的论据.
• The (Un)reliability of Saliency Methods - 作者演示了在向输入数据添加常量偏移时显着性方法如何改变归因. 他们认为方法应该满足输入不变性，显着性方法反映了模型对输入转换的敏感性.

Repositories¶

• EthicalML/xai - 专门针对表格数据的 XAI 工具包. 它实现了多种数据和模型评估技术.
• MAIF/shapash - 基于 SHAP 和 LIME 的前端解释器.
• PAIR-code/what-if-tool - 用于 Tensorboard 或 Notebooks 的工具，允许调查模型性能和公平性.
• slundberg/shap - 用于使用 Shapley 加法解释的 Python 模块.

Videos¶

• Debate: Interpretability is necessary for ML - 关于 ML 是否需要可解释性的辩论，Rich Caruana 和 Patrice Simard 支持，Kilian Weinberger 和 Yann LeCun 反对.

Follow¶

他们的观点不一定是我们的观点. ：眨眼：

• The Institute for Ethical AI & Machine Learning - 一家总部位于英国的研究中心，对道德 AI/ML 进行研究，其中经常涉及 XAI.
• Tim Miller - XAI 杰出的研究人员之一.
• Rich Caruana - Explainable Boosting Machines 背后的人.

我们还应该追随谁！？

Contributing¶

Contributions of any kind welcome, just follow the guidelines!

Contributors¶

Thanks goes to these contributors!