imtoken.im|xai

首页
xai

imtoken.im|xai

作者： imtoken.im

2024-03-07 22:05:23

XAI是否靠谱？美国DARPA「可解释人工智能」（XAI计划）的4年回顾与经验总结，附中文版 - 知乎

XAI是否靠谱？美国DARPA「可解释人工智能」（XAI计划）的4年回顾与经验总结，附中文版 - 知乎切换模式写文章登录/注册XAI是否靠谱？美国DARPA「可解释人工智能」（XAI计划）的4年回顾与经验总结，附中文版专知 www.zhuanzhi.ai 专业可信的AI知识分发服务导语：可解释人工智能的概念最早来自于美国DARPA（美国防部高级研究计划局），2017年，为期4年的XAI研究计划启动。现在，随着 XAI 在 2021 年结束，本文总结和反思了 XAI 项目的目标、组织和研究进展。完整中英文版请上专知网站(www.zhuanzhi.ai)查看！作者：David Gunning, Eric Vorm, Jennifer Yunyan Wang, Matt Turek摘要DARPA 于 2015 年制定了可解释人工智能 (XAI) 计划，旨在使最终用户能够更好地理解、信任和有效管理人工智能系统。2017年，为期四年的XAI研究计划开始。现在，随着 XAI 在 2021 年结束，是时候反思什么成功了，什么失败了，以及学到了什么。本文总结了 XAI计划的目标、组织和研究进展。1 XAI计划创建背景机器学习的巨大成功创造了新的人工智能 (AI) 能力的爆炸式增长。持续的进步有望产生能够自行感知、学习、决策和行动的自主系统。这些系统提供了巨大的好处，但它们的有效性将受到机器无法向人类用户解释其决策和行动的限制。这个问题对美国国防部 (DoD) 尤其重要，它面临着需要开发更智能、自主和可靠系统的挑战。可解释的人工智能对于用户理解、适当信任和有效管理新一代人工智能合作伙伴至关重要。可解释性问题在某种程度上是人工智能成功的结果。在人工智能的早期，主要的推理方法是逻辑和符号。这些早期系统通过对（某种程度上）人类可读符号执行某种形式的逻辑形式来进行推理。早期系统可以生成其推理步骤的痕迹，然后可以成为解释的基础。因此，在如何使这些系统可解释方面进行了大量工作（Shortliffe & Buchanan, 1975; Swartout, Paris, & Moore, 1991; Johnson, 1994; Lacave & D´ıez, 2002; Van Lent, Fisher, & Mancuso , 2004)。然而，这些早期的人工智能系统是无效的；事实证明，它们的建造成本太高，而且对于现实世界的复杂性来说太脆弱了。AI 的成功伴随着研究人员开发了新的机器学习技术，这些技术可以使用他们自己的内部表示（例如，支持向量、随机森林、概率模型和神经网络）来构建世界模型。这些新模型更有效，但必然更不透明且难以解释。2015 年是 XAI 需求的转折点。数据分析和机器学习刚刚经历了十年的快速发展（Jordan & Mitchell，2015）。在 2012 年突破性的 ImageNet 演示之后，深度学习革命才刚刚开始（Krizhevsky、Sutskever 和 Hinton，2012 年）。大众媒体对超级智能 (Bostrom, 2014) 和即将到来的 AI 启示录（Apocalypse） (Gibbs, 2017, Cellan-Jones, 2014, Marr, 2018) 充满活力猜测。每个人都想知道如何理解、信任和管理这些神秘的、看似高深莫测的人工智能系统。2015 年还出现了提供可解释性的初步想法。一些研究人员正在探索深度学习技术，例如使用反卷积网络来可视化卷积网络的层级（Zeiler & Fergus，2014）。其他研究人员正在寻求学习更多可解释模型的技术，例如贝叶斯规则列表 (Letham, Rudin, McCormick, & Madigan, 2015)。其他人正在开发与模型无关的技术，可以用机器学习模型（作为黑盒）进行试验，以推断出近似的、可解释的模型，例如 LIME（Ribeiro、Singh 和 Guestrin，2016 年）。还有一些人评估可解释交互的心理和人机交互因素（Kulesza、Burnett、Wong 和 Stumpf，2015 年）。DARPA 花了一年时间调查研究人员，分析可能的研究策略，并制定计划的目标和结构。2016 年 8 月，DARPA 发布 DARPA-BAA-16-53 征集提案。2 XAI计划目标可解释人工智能 (XAI) 的既定目标是创建一套新的或改进的机器学习技术，以产生可解释的模型，当与有效的解释技术相结合时，使最终用户能够理解、适当地信任和有效地管理新一代人工智能系统。XAI 的目标是最终用户，他们依赖于 AI 系统产生的决策或建议，或者它采取的行动，因此需要了解系统的基本原理。例如，从大数据分析系统接收建议的情报分析师需要了解它为什么建议某些活动，需要进行进一步调查。同样，执行自主系统任务的操作员需要了解系统的决策模型，以便在未来的任务中适当地使用它。XAI 的概念是为用户提供解释，使他们能够了解系统的整体优势和劣势；传达对其在未来/不同情况下的表现的理解；并且可能允许用户纠正系统的错误。XAI 计划假设机器学习性能（例如，预测准确性）和可解释性之间存在固有矛盾关系，这一问题与当时的研究结果一致。通常性能最高的方法（例如深度学习）是最难解释的，而最可解释的（例如决策树）是最不准确的。该计划希望创建一系列新的机器学习和解释技术，为未来的从业者提供更广泛的设计选项，涵盖性能-可解释性交易空间。如果应用程序需要更高的性能，XAI 产品组合将包括更可解释、高性能的深度学习技术。如果应用系统需要更多的可解释性，XAI 将包括性能更高、可解释的模型。3 XAI计划结构体系该计划分为三个主要技术领域（technical areas，TAs），如图 1 所示：（1）开发新的 XAI 机器学习和可解释技术以产生有效的解释性；（2）通过总结、延伸和应用可解释心理学理论，来理解可解释心理；(3) 在两个挑战问题领域评估新的 XAI 技术：数据分析和自主性。图1：DARPA的XAI计划结构，包括技术领域(TAs)和评估框架最初的计划时间表包括两个阶段：第一阶段，技术演示（18 个月）；第 2 阶段，比较评估（30 个月）。在第一阶段，开发人员被要求针对他们自己的测试问题展示他们的技术。在第 2 阶段，最初的计划是让开发人员针对政府评估人员定义的两个常见问题之一（图 2）测试他们的技术。在第 2 阶段结束时，预计开发人员将向开源 XAI 工具包贡献原型软件。图2:面临的挑战问题4 XAI计划开发2017年5月，XAI计划开始启动。选择了 11 个研究团队来开发可解释学习器 (TA1)，并选择了一个团队来开发可解释的心理模型。评估由美国海军研究实验室提供。以下总结了这些进展以及该计划结束时这项工作的最终状态。Gunning 和 Aha，2019 年给出了 2018 年底 XAI 发展的中期总结。4.1 XAI可解释的学习方法（XAI Explainable Learner Approaches）该计划预计研究人员将调查训练过程、模型表示，以及重要的解释交互。为模型表示设想了三种通用方法。可解释的模型方法将寻求开发对机器学习专家来说本质上更易于解释和更内省的 ML 模型。深度解释方法将利用深度学习或混合深度学习方法来产生除预测之外的解释。最后，模型归纳技术将从更不透明的黑盒模型创建近似可解释的模型。解释交互被认为是 XAI 的一个关键元素，将用户连接到模型，使他们能够理解决策过程并与之交互。随着研究的进展，11 个 XAI 团队探索了许多机器学习方法，例如易处理的概率模型 (Roy et al. 2021) 和因果模型 (Druce et al. 2021) 以及强化学习算法生成的状态机等解释技术(Koul et al. 2019, Danesh et al. 2021), 贝叶斯教学 (Yang et al. 2021), 视觉显著图 (Petsiuk 2021, Li et al. 2021, Ray et al. 2021, Alipour et al. 2021, Vasu et al. 2021)，以及网络和 GAN 解剖 (Ferguson et al. 2021)。也许最具挑战性和最独特的贡献来自机器学习和解释技术的结合，以进行精心设计的心理实验来评估解释的有效性。随着计划的推进，我们也对用户范围和开发时间线有了更深入的了解（图 3）。图3: XAI用户和开发时间表4.2 解释的心理学模型（Psychological Models of Explanation）该计划需要对解释有扎实的心理学理论支持。选择了一个团队来总结当前的解释的心理学理论，以协助 XAI 开发人员和评估团队。这项工作始于对解释心理学的广泛文献调查以及之前关于 AI 可解释性的工作（IHMC 文献调查的参考资料）。最初，该团队被要求（1）对当前的解释理论进行总结，（2）根据这些理论开发一个解释的计算模型；(3) 根据 XAI 开发人员的评估结果验证计算模型。开发计算模型被证明是一座太极端的桥梁，但该团队确实对该领域有深入的了解并成功地制作了描述性模型。这些描述性模型对于支持有效的评估方法至关重要，这些评估方法涉及精心设计的用户研究，按照美国防部人体研究指南进行。图4说明了 XAI 解释过程的顶级描述模型。图 4：解释心理模型。黄色框说明了基本过程。绿色方框说明了测试标准。白框说明了潜在的结果。4.3 评估最初设想评估基于数据分析和自主性领域内的一组常见问题。然而，很快就很清楚，在广泛的问题领域中探索各种方法会更有价值。为了评估该计划最后一年的表现，由美国海军研究实验室 (NRL) 领导的评估小组开发了一个解释评分系统 (ESS)。基于一组领域专家的建议并使用内容有效性比 (CVR) 进行验证，ESS 提供了一种用于评估 XAI 用户研究设计的定量机制。ESS 评估用户研究的多个要素，包括任务、领域、解释、解释交互、用户、假设、数据收集和分析。XAI 评价指标如图 5所示，包括功能性指标、学习绩效指标和解释有效性指标。仔细设计用户研究以准确评估解释的有效性至关重要。通常，评估 XAI 算法的性能需要多种类型的度量（参见性能、功能、解释有效性）。XAI 用户研究设计可能很棘手，通常在该计划中最有效的团队拥有具有丰富心理学专业知识的人员。图5:XAI算法的评估措施5 XAI计划开发方法XAI计划探讨了许多方法，如表1所示。表1: DARPA XAI计划的技术方法6 XAI结果与经验教训在该计划期间进行了三项主要评估：一项在第 1 阶段，两项在第 2 阶段。为了评估 XAI 技术的有效性，该计划的研究人员设计并执行了用户研究。用户研究仍然是评估解释的黄金标准。在 XAI 研究人员进行的用户研究中，大约有 12,700 名参与者，其中包括大约 1900 名受监督的参与者，其中个人由研究团队指导（例如亲自或在 Zoom 上）和 10800 名无监督的参与者，其中个人自我通过实验进行指导，并且没有受到研究团队（例如 Amazon Mechanical Turk）的积极指导。根据美国国防部 (DoD) 资助的所有人类受试者研究的政策，每个研究方案都由当地机构审查委员会 (IRB) 审查，然后国防部人类研究保护办公室审查方案和当地 IRB 调查结果。在这些用户研究过程中，确定了几个关键要：如前所述，学习表现和可解释性之间似乎存在一种自然的矛盾关系。然而，在整个计划过程中，我们发现了可解释性可以提高性能（Kim et al. 2021, Watkins et al. 2021）。从直观的角度来看，训练系统以产生解释，通过额外的损失函数、训练数据或其他机制来提供额外的监督，以鼓励系统学习更有效的世界表征。虽然这可能并非在所有情况下都是正确的，并且在可解释的技术何时将具有更高性能时仍有大量工作要做，但它提供了希望，未来的 XAI 系统可以在满足用户解释需求的同时比当前系统具有更高的性能。7 2021 年 DARPA 计划之后的世界状况、AI和 XAIXAI 目前没有通用的解决方案。如前所述，不同的用户类型需要不同类型的解释。这与我们与其他人互动时所面临的没有什么不同。例如，考虑一名医生需要向其他医生、患者或医学审查委员会解释诊断。或许未来的 XAI 系统将能够自动校准并向大量用户类型中的特定用户传达解释，但这仍然远远超出了当前的技术水平。与 2015 年相比，今天我们对 AI 的理解更加细致入微、不那么戏剧化，或许也更加准确。我们当然对深度学习的可能性和局限性有了更准确的理解。人工智能的末日已经从迫在眉睫的危险变成了遥远的好奇。同样，XAI 计划对 XAI 产生了更细致入微、不那么戏剧化、或许更准确的理解。该计划无疑起到了促进 XAI 研究（包括计划内部和外部）的作用。结果对 XAI 的使用和用户、XAI 的心理、衡量解释有效性的挑战以及产生新的 XAI ML 和 HCI 技术组合有了更细致的理解。当然还有更多工作要做，特别是随着新的人工智能技术的开发，这些技术将继续需要解释。XAI 将在一段时间内继续作为一个活跃的研究领域。作者认为，XAI 计划通过为开展这项工作奠定了基础，做出了重大贡献。附: “可解释人工智能”（XAI）项目背景资料机器学习的巨大成功产生了大量人工智能（AI）应用项目。照此发展，其持续的进步有望产生能够自我感知、学习、决策和行动的自主系统。然而，这些系统的有效性受到机器当前无法向人类用户解释其决策和行动的限制（如下图）。美国国防部（DoD）面临着需要更智能、自主和共生系统的挑战。如果未来的战士能够理解，适当地信任并有效地管理新一代人工智能机器协作伙伴，那么可解释人工智能，特别是可解释的机器学习，将是必不可少的。XAI项目需求“可解释人工智能”（XAI）项目旨在创建一套机器学习技术：产生更多可解释的模型，同时保持高水平的学习成绩（预测准确性）；使人类用户能够理解，适当地信任并有效地管理新一代人工智能合作伙伴。XAI项目强调区域新的机器学习系统将能够解释它们的基本原理，表征它们的优点和缺点，并传达对它们将来如何表现的理解。实现该目标的策略是开发新的或改进机器学习技术，以产生更多可解释的模型。这些模型将结合最先进的人机界面技术，能够将模型转化为最终用户可理解和有用的解释对话（如下图）。DARPA研究团队的策略是采用各种技术，以生成一系列方法，为未来的开发人员提供一系列涵盖性能与可解释性交易空间的设计方案。XAI项目概念XAI项目是当前DARPA正在推行的AI项目之一，旨在实现“第三波AI系统”，其中机器了解其运行的环境和环境，并随着时间的推移构建底层解释模型，使其能够表征现实世界现象。XAI项目通过解决两个技术领域的挑战问题，专注于多系统的开发：（1）机器学习问题，用于对异构、多媒体数据中感兴趣的事件进行分类；（2）机器学习问题，为自主系统构建决策策略，以执行各种模拟任务。XAI项目挑战问题领域这两个挑战问题领域被选择来代表两个重要的机器学习方法（分类和强化学习）和两个重要的国防部操作问题领域（情报分析和自主系统）的交叉点。XAI项目结构此外，研究人员正在研究解释心理学。XAI研究原型在整个项目过程中经过测试和持续评估。在2018年5月，XAI研究人员展示了他们可解释学习系统的初步实施，并展示了他们的第一阶段评估的初步试点研究结果。随后在2018年11月进行全阶段1系统评估。机器学习的巨大成功导致了AI应用的新浪潮(例如，交通、安全、医疗、金融、国防)，这些应用提供了巨大的好处，但无法向人类用户解释它们的决定和行动。DARPA的可解释人工智能(XAI)项目致力于创建人工智能系统，其学习的模型和决策可以被最终用户理解并适当信任。实现这一目标需要学习更多可解释的模型、设计有效的解释界面和理解有效解释的心理要求的方法。XAI开发团队正在通过创建ML技术和开发原理、策略和人机交互技术来解决前两个挑战，以生成有效的解释。XAI的另一个团队正在通过总结、扩展和应用心理解释理论来解决第三个挑战，以帮助XAI评估人员定义一个合适的评估框架，开发团队将使用这个框架来测试他们的系统。XAI团队于2018年5月完成了第一个为期4年的项目。在一系列正在进行的评估中，开发人员团队正在评估他们的XAM系统的解释在多大程度上改善了用户理解、用户信任和用户任务性能。编辑于 2022-07-04 09:10人工智能人工智能算法赞同 152 条评论分享喜欢收藏申请

xAI（埃隆·马斯克成立的人工智能公司）_百度百科

埃隆·马斯克成立的人工智能公司）_百度百科网页新闻贴吧知道网盘图片视频地图文库资讯采购百科百度首页登录注册进入词条全站搜索帮助首页秒懂百科特色百科知识专题加入百科百科团队权威合作下载百科APP个人中心xAI是一个多义词，请在下列义项上选择浏览（共3个义项）添加义项收藏查看我的收藏0有用+10xAI播报讨论上传视频埃隆·马斯克成立的人工智能公司xAI是埃隆·马斯克成立的人工智能公司，于当地时间2023年7月12日宣布成立。 [1]构建xAI的目标，是要专注于回答更深层次的科学问题，期望未来可以用AI去帮助人们去解决复杂的科学和数学问题并且“理解”宇宙。 [5]2024年1月24日，马斯克xAI团队即将发布首个AI大模型Grok 1.5。 [9]公司名称xAI所属行业人工智能成立时间2023年7月12日公司口号理解宇宙的真实本质目录1发展历程2公司规模发展历程播报编辑2023年4月，根据美国内达华州的备案文件，马斯克在该州新成立了一家名为X.AI的人工智能公司 [2]。当地时间2023年7月12日，马斯克在推特宣布成立人工智能公司xAI，公司目标是理解宇宙的真实本质。xAI定于7月15日在线上举办活动，这一由马斯克领导的团队将在线回答提问。 [1]2023年11月5日，马斯克旗下xAI团队发布其首个AI大模型产品——Grok。据介绍，Grok通过X平台实时了解世界，还能回答被大多数其他AI系统拒绝的辛辣问题。 [6]2023年12月5日，马斯克的人工智能初创公司xAI向美国证监会（SEC）提交的文件显示，该公司寻求通过发行股票融资至多10亿美元，其中已完成交易的部分为1.34亿美元。 [7]当地时间12月7日晚，社交平台X官方账号宣布，马斯克旗下人工智能初创公司xAI的首款人工智能大模型Grok现在开始向美国的Premium+订阅用户推出。用户可在侧边菜单中找到Grok。 [8]2024年1月24日，马斯克xAI团队即将发布首个AI大模型Grok 1.5 ，该模型有望在下个月进行全面改进并发布。 [9]2024年2月22日，马斯克在社交媒体平台“X”上表示，xAI的Grok V1.5将于2周后发布 [10]。公司规模播报编辑根据xAI官网，团队成员曾在DeepMind、OpenAI、谷歌研究院、微软研究院、特斯拉及多伦多大学供职，由现任人工智能安全中心主任丹·亨德里克斯担任顾问。初创团队中有11位核心成员，由埃隆·马斯克领导。这 11 名成员分别是：伊戈尔·巴布什金、Kyle Kosic、Greg Yang、Ross Nordeen、Toby Pohlen、Jimmy Ba、Christian Szegedy、宇怀·吴、戴子航、Manuel Kroiss、张国栋。 [1] [3-4]2023年7月，在Space活动上，12名团队成员依次做了自我介绍。xAI的团队成员背景跟数学、物理和计算机科学有很强的关联，其中好几人是从研究基础数学、物理学开始再逐渐进入到人工智能领域的。 [5]新手上路成长任务编辑入门编辑规则本人编辑我有疑问内容质疑在线客服官方贴吧意见反馈投诉建议举报不良信息未通过词条申诉投诉侵权信息封禁查询与解封©2024 Baidu 使用百度前必读 | 百科协议 | 隐私政策 | 百度百科合作平台 | 京ICP证030173号京公网安备110000020000

XAI：理解与解释的AI技术 - 知乎

XAI：理解与解释的AI技术 - 知乎切换模式写文章登录/注册XAI：理解与解释的AI技术呆马区块链科技一、背景与概述随着机器学习与人工智能的广泛应用，人们对于如何理解和应用这些机器学习模型的需求日益增长。在这样的背景下，解释性AI（XAI）作为一种能够提供解释和理解的AI技术应运而生。XAI的目标是帮助人们更好地理解和应用机器学习模型，从而提高决策的准确性和效率。通过XAI，我们可以获得有关模型假设、预测和输出的详细信息。这些信息有助于我们理解模型在特定数据下的响应方式，从而提高预测的准确性和可靠性。在数据科学和机器学习项目中，XAI已经成为一个重要的工具，帮助团队做出更明智的决策。1.医疗领域：在医疗领域，XAI可以用于解释医疗诊断和机器学习模型的预测结果。医生可以更好地理解诊断的依据和预测的准确性，从而为患者提供更准确的诊断和治疗方案。此外，XAI还可以帮助医生识别出模型可能存在的偏差和问题，进一步提高医疗质量。2. 金融领域：在投资决策中，XAI可以帮助投资者更好地理解投资决策的依据和风险。通过XAI，投资者可以获得关于机器学习模型预测的详细信息，从而做出更明智的投资决策。3. 法律领域：在法律领域，XAI可以用于解释法律判决和机器学习模型的预测结果。通过XAI，律师可以更好地理解判决的依据和预测的准确性，从而为当事人提供更准确的法律建议。结论：XAI的重要性与前景总的来说，解释性AI（XAI）是一种具有广泛应用前景的技术。它不仅可以帮助人们更好地理解和应用机器学习模型，而且还可以提高决策的准确性和效率。在数据科学和机器学习项目、医疗、金融和法律等领域，XAI都有着广泛的应用前景。发布于 2024-01-27 14:56・IP 属地山东Adobe Illustrator赞同添加评论分享喜欢收藏申请

什么是可解释 AI？| IBM

什么是可解释 AI？

订阅 IBM 时事通讯

可解释人工智能 (XAI) 是一组流程和方法，让人类用户可以理解并信任机器学习算法创建的结果和输出。

可解释 AI 用于说明 AI 模型、其预期影响和潜在偏见。它可帮助描述模型的准确性、公平性、透明度以及人工智能驱动型决策的结果。可解释 AI 至关重要，可在组织将 AI 模型投入生产时帮助组织建立信任和信心。AI 可解释性还有助于组织采用负责任的 AI 开发方法。

AI 的先进程度越来越高，人类已经很难去理解和追溯算法是如何得出结果的。整个计算过程变成了通常所说的无法解释的“黑匣”。这些黑匣模型是直接从数据创建的。而且，即使是创建算法的工程师或数据科学家也无法理解或解释这些算法内部到底发生了什么，或者 AI 算法是如何得出特定结果的。

了解启用 AI 的系统如何产生特定输出会带来诸多好处。可解释性可帮助开发人员确保系统按预期运行，满足监管标准可能也需要可解释性，或者如果要允许受决策影响的人质疑或更改结果，那么可解释性也十分重要。¹

如何大规模构建负责任的人工智能

探索指南

为什么可解释 AI 很重要

对于一家组织来说，充分了解 AI 决策过程并实现 AI 的模型监控和问责制，而不是盲目信任 AI，这一点至关重要。可解释 AI 可以帮助人类理解和解释机器学习 (ML) 算法、深度学习和神经网络。

ML 模型通常被认为是无法解释的黑匣。²深度学习中使用的神经网络是人类最难理解的神经网络之一。偏见（通常是基于种族的偏见）、性别、年龄或地点，这些一直是训练 AI 模型的过程中长期面临的风险。此外，因为生产数据与训练数据不同，AI 模型性能可能会出现漂移或降级。因此，企业需要持续监控和管理模型以提升 AI 可解释性，同时衡量使用此类算法所造成的业务影响，这一点至关重要。可解释 AI 还有助于提高最终用户的信任度和模型的可审计性，并促进 AI 的有效使用。它还缓解了生产 AI 带来的合规性、法律、安全和声誉风险。

可解释 AI 是实施负责任 AI 的关键要求之一，借助可解释 AI，现实中的各个组织可以大规模实施 AI 方法，并实现公平性、模型可解释性和问责制。³为了以负责任的方式采用 AI，组织需要基于信任和透明度构建 AI 系统，以将伦理原则嵌入到 AI 应用程序和流程中。

了解关于 AI 伦理的更多信息

可解释 AI 的运作方式

通过可解释 AI 以及可解释的机器学习，组织可以访问 AI 技术的底层决策，并有权做出调整。可解释 AI 可以让最终用户相信 AI 正在制定明智的决策，从而改善产品或服务的用户体验。AI 系统何时会对决策有十足的把握，让您可以信任决策，以及 AI 系统如何纠正出现的错误？⁴

AI 的先进程度越来越高，但仍然需要理解并管控 ML 流程，以确保 AI 模型结果的准确性。我们来看看 AI 和 XAI 之间的区别，用于将 AI 转换为 XAI 的方法和技术，以及阐释和解释 AI 过程之间的区别。

比较 AI 和 XAI

“常规”AI 和可解释 AI 之间究竟有什么区别？XAI 采用了特定的技术和方法，以确保可以跟踪和解释在 ML 过程中所做出的每个决策。另一方面，AI 通常利用 ML 算法得出结果，但 AI 系统的架构师并不完全了解算法是如何得出该结果的。这样就很难检查结果的准确性，同时也会丧失可控性、问责制和可审计性。

可解释 AI 技术

XAI 技术的设置要用到三种主要方法。预测准确性和可跟踪性可满足技术方面的需求，而决策理解可满足人类需求。如果未来的作战人员要理解、适度信任并有效管理新一代人工智能机器合作伙伴，那么可解释 AI，尤其是可解释的机器学习，将至关重要。

预测准确性

准确性是在日常运营中成功使用 AI 的关键因素。通过运行模拟并将 XAI 输出与训练数据集中的结果进行比较，可以确定预测准确性。在这方面，最主流的技术是模型无关的局部解释 (LIME)，它解释了 ML 算法对分类器的预测。

可跟踪性

可跟踪性是实现 XAI 的另一关键技术。可通过多种方法实现可跟踪性，比如通过限制决策的制定方式，以及为 ML 规则和功能设置更小的范围。可跟踪性 XAI 技术的一个例子是 DeepLIFT（深度学习重要特征），该算法将每个神经元的激活与其参考神经元进行比较，并显示每个已激活神经元之间的可跟踪链路，甚至显示它们之间的依赖关系。

决策理解

这是人为因素。许多人对 AI 并不信任，然而，要高效利用 AI，就需要学会信任 AI。通过教导团队使用 AI，可以建立对 AI 的信任，这样他们就能理解 AI 如何决策以及为何做出此等决策。

AI 中的可解释性与可阐释性

可阐释性是观察者对于决策原因的理解程度。这是人类对 AI 输出结果进行预测的成功率，而可解释性则更进一步，着眼于 AI 如何得出结果。

可解释 AI 与负责任 AI 有何关联？

可解释 AI 和负责任 AI 目标相似，但采用的方法不同。以下是可解释 AI 和负责任 AI 之间的主要区别：

可解释 AI 是在计算出结果后审视 AI 结果。

负责任 AI 则是在规划阶段审视 AI，使 AI 算法在计算出结果之前始终以负责任的方式运行。

可解释 AI 和负责任 AI 可以协同工作，从而打造出更出色的 AI。

持续模型评估

借助可解释 AI，企业可以排除故障，提高模型性能，同时帮助利益相关者了解 AI 模型的行为。通过跟踪模型，对模型行为展开调查，深入了解模型部署状态、公平性、质量和漂移，这对于扩展 AI 至关重要。

通过持续模型评估，企业能够比较模型预测结果、量化模型风险并优化模型性能。显示模型行为中的正值和负值以及用于生成解释的数据可加速模型评估。数据和 AI 平台可以生成模型预测的特征归因，并支持团队通过交互式图表和可导出文档直观调查模型行为。

可解释 AI 的优势

充满信任、从容自信地有效运行 AI

建立对生产 AI 的信任。快速将 AI 模型投入生产。确保 AI 模型的可阐释性和可解释性。简化模型评估流程，同时提高模型透明度和可跟踪性。

加快获得 AI 结果

系统化地监控和管理模型以优化业务成果。持续评估和改进模型性能。通过持续评估对模型开发工作进行调整。

降低模型治理的风险和成本

保持 AI 模型的可解释性和透明度。管理监管、合规、风险和其他要求。最大程度减少人工检查的开销和代价高昂的错误。降低意外偏见造成的风险。

可解释 AI 的五个注意事项

要通过可解释 AI 达成理想结果，请考虑以下事项。

公平性和去偏：管理并监督公平性。扫描部署以查找潜在偏见。

减少模型漂移：分析您的模型并根据最合乎逻辑的结果提出建议。当模型偏离预期结果时发出警报。

模型风险管理：量化并降低模型风险。当模型表现不佳时收到警报。了解偏差持续存在时会发生什么。

生命周期自动化：将模型作为集成数据和 AI 服务的一部分进行构建、运行和管理。统一平台上的工具和流程，以监控模型并共享结果。解释机器学习模型的依赖关系。

多云就绪：跨混合云（包括公有云、私有云和本地部署）部署 AI 项目。利用可解释 AI，增强信任感和自信心。

可解释 AI 的用例

医疗：加速诊断、影像分析、资源优化和医疗诊断。提高患者护理决策的透明度和可跟踪性。通过可解释 AI 简化药品审批流程。

金融服务：通过透明的贷款和信贷审批流程改善客户体验。加快信贷风险、财富管理和金融犯罪风险评估。加快解决潜在投诉和问题。增强对定价、产品推荐和投资服务的信心。

刑事司法：优化预测和风险评估流程。使用可解释 AI 进行 DNA 分析、监狱人口分析和犯罪预测，加速解决问题。检测训练数据和算法中的潜在偏见。

可解释人工智能 (一): 概述 - 知乎

可解释人工智能 (一): 概述 - 知乎首发于可解释人工智能切换模式写文章登录/注册可解释人工智能 (一): 概述紫气东来上海交通大学工学硕士1. 什么是可解释人工智能可解释人工智能（Explainable Artificial Intelligence, XAI）是指智能体以一种可解释、可理解、人机互动的方式，与人工智能系统的使用者、受影响者、决策者、开发者等，达成清晰有效的沟通，以取得人类信任，同时满足监管要求。AI VS. XAI简单而言，可解释性可用于两个阶段：模型之前(pre)和模型之后(post)。如下图所示，对于人工智能模型而言，讨论其可解释性需要关注以下几个层面：算法的透明性和简单性（Algorithmic Transparency and Simplicity）表达的可解构性（Decomposability）模型的可担责性（Accountability）算法的适用边界因果分析和推理对黑盒模型的事后解释（Post-hoc Explanation）对模型表达能力的建模与解释人们对于解释的评价与度量指对于特定的可解释性方法的评测。常见的测评角度包括以下几种：可解释性方法的敏感度可解释性方法的对抗攻击鲁棒性可解释性方法的全面性可解释性方法的客观性解释结果的简单易懂性可解释性方法的互洽性可解释性方法的计算效率2. 为什么需要可解释人工智能了解人工智能模型的正确决策机制，是提升人类对人工智能模型信任度的重要方法。而现有人工智能可解释性的研究成果揭示，基于数据驱动的人工智能系统决策机制，离取得人类信任这一终极目标，至少还存在以下3个方面的差距：机器学习决策机制的理论缺陷现在的机器学习方法，通常就是在输入数据和预期结果之间建立关联（Association）, 而由于数据样本普遍存在局限和偏差，这种关联学习不可避免地学到一种虚假关系（Spurious Relationship）。为了发现出真正的因果关系，需要通过主动干预（intervention）实验来拓展观测现象，并运用反事实推理（Counterfactual Reasoning）去伪存真。因果推理的三个认知层次 2. 机器学习的应用缺陷数据样本的局限和偏见，会导致数据驱动的人工智能系统存在偏见；“黑盒“的深度学习网络存在安全性上的潜在风险；从决策机制来看，当前对深度学习的分析还处于不透明的摸索阶段。 3. 人工智能系统未能满足监管要求可解释人工智能的全路径3. 如何研究可解释性可解释性可主要分为以下几个类别：特定模型的可解释性(Model-Specific explainability)严格限定于特定模型算法的可解释性，如决策树模型、贝叶斯网络等。不限模型的可解释性(Model-Agnostic explainability)这种类型的解释适用于任何类型的机器学习模型。通常，后分析方法将在机器学习模型训练之后使用，它不依赖于任何特定算法，并且不了解内部模型结构和权重。模型中心的可解释性(Model-Centric explainability)大多数解释方法都是以模型为中心的，因为这些方法用于解释如何调整特征和目标值，应用各种算法并提取特定的结果集。数据中心的可解释性(Data-Centric explainability)因为数据在模型训练和预测中有重要作用，这类方法主要用于理解数据的意义，常见的方法有：数据剖析(Data Profiling)、监控数据漂移(Monitoring Data-Drifts)和数据对抗(Data-Adversarial)。可解释性技术的分类模型可解释性的研究方法：知识抽取 (Knowledge extraction)探索性数据分析 (Exploratory Data Analysis, EDA)结果可视化 (Result visualization)比较分析 (Comparison analysis)基于影响的方法 (Influence-based)敏感性分析与特征重要性选择 (Sensitivity Analysis and Feature selection importance)分享几个有用的可解释性分析工具：SHAP (Shapley Values)一种基于博弈论的解释性方法，可以衡量输入样本不同维度对预测结果的重要性LIME (Local Interpretable Model Agnostic Explanations)可以对任意机器模型预测给出解释的方法，可以衡量输入样本不同维度对预测结果的重要性AnchorsLRP (Layer-wise Relevance Propagation) ：repo 1 and repo 2Prediction Difference Analysis (PDA)TCAV (Testing with Concept Activation Vectors)4. 可解释人工智能有什么用XAI 的相关要素可解释AI 在各行各业都有广泛的应用前景，在AI决策能够产生重大影响的金融、医疗健康和司法等风险极高的领域，需求尤为强烈。下表显示了部分可解释性AI行业应用中的不同类型解释：行业面向开发者面向监管者面向使用者面向应用用户生物医疗人工智能归纳的信息和数据规律符合伦理和法规要求模型的高可信度模型的高透明度模型表征与医学知识的联系可视化、语义化、关系代理模型输出的合理性可理解的诊断结果金融模型假设是否满足，模型逻辑是否自洽，模型代码是否正常符合预设人工智能风险的可解释性与人工智能建模的可解释性模型算法的决策可解释性、算法的可追溯性、算法对于数据使用的偏见预警、算法的风险可控制性应用服务对象：算法决策依据、算法公平性程序样本来源：隐私权保护、知情权保护电商推荐推荐算法内在的运作机制专业的数字化解释视觉上可解释的推荐模型、可解释产品搜索可解释的序列推荐、跨类别的可解释性推荐隐私权保护、知情权保护基于特征的解释及用户评论城市管理推荐算法内在的运作机制专业的数学化解释模型的合理性和稳定性数据的安全性可解释的位置推荐最有价值的特征的推荐和解释不同地点之间的关系的解释、推荐位置的特征词云安防安防算法内部的运行机制、行为逻辑和决策依据模型的公平性、偏见性和稳定性模型的安全性和可靠性隐私权保护、知情权保护法律咨询咨询算法内部的运行机制模型代码是否正常符合预设可视化的知识图谱检索、推理和决策逻辑基于知识引入的模型可靠性内容的即时性、针对性和准确性参考资料[1] 可解释人工智能导论[M]. 杨强，范力欣，朱军，陈一昕，张拳石，朱松纯等著.[2] Masís S. Interpretable machine learning with Python: Learn to build interpretable high-performance models with hands-on real-world examples[M]. Packt Publishing Ltd, 2021.[3] Molnar C. Interpretable machine learning[M]. Lulu. com, 2020.[4] 可解释机器学习--黑盒模型可解释性理解指南[M]. Molnar C 著, 朱明超译, 2021.[5] Principles and Practice of Explainable Machine Learning飞花两岸照船红，百里榆堤半日风。卧看满天云不动，不知云与我俱东。 ——陈与义《襄邑道中》编辑于 2023-03-05 11:47・IP 属地新加坡人工智能可解释机器学习机器学习赞同 40添加评论分享喜欢收藏申请转载文章被以下专栏收录可解释人工智能对于可解释人工智能的学习心得

如何看待机器（深度）学习可解释方法（XAI）的现状与未来? - 知乎

如何看待机器（深度）学习可解释方法（XAI）的现状与未来? - 知乎首页知乎知学堂发现等你来答切换模式登录/注册人工智能机器学习机器智能深度学习（Deep Learning）可解释机器学习如何看待机器（深度）学习可解释方法（XAI）的现状与未来?题主对现有的可解释方法进行了调研:大体分为局部可解释与全局可解释两大类方法，局部可解释针对具体的输入样本得出类似属性重要性的度量，比如传统的permu…显示全部关注者37被浏览19,226关注问题写回答邀请回答好问题 3添加评论分享3 个回答默认排序曲奇腾讯算法工程师关注最近了解了一些机器学习可解释性的知识，可以参考一下～原文链接：机器学习模型的可解释性 - QIQI的文章 - 知乎 https://zhuanlan.zhihu.com/p/258988892通过模型可解释方法，可以直观地传递关于模型行为的解释，比如为什么这个样本被预测为这个标签，某个特征对预测结果起到了什么样的作用。1.1 可解释的重要性模型改进通过可解释分析，可以指导特征工程。一般我们会根据一些专业知识和经验来做特征，并分析特征重要性，可以挖掘更多有用的特征，尤其是在交互特征方面。当原始特征众多时，可解释性分析将特别重要。科学的目标是获取知识，模型本身应该成为知识的来源，而不是结果或数据。比如在一个文本分类任务中，判断文章是与“基督教”（Christianity）有关还是“无神论教”（Atheism）”，模型准确率，90%多很高。但是用LIME进行可解释分析发现，Posting（邮件标头的一部分）这个词重要性很高，但这个词汇与无神论本身并没有太多的联系，只是因为在无神论文章中出现的频次很高。这意味着尽管模型准确率很高，但所使用的原因是错误的。我们可以借此改进模型，判断是否捕捉到有意义的特征。检测偏见方差和偏差是机器学习中广泛讨论的话题。有偏差的模型经常由有偏见的事实导致，即数据本身很有可能带有偏差。某类特征的偏差可能对我们结果导致不好的影响。模型可信度对使用模型的运维人员来讲，可能只只知道预测结果是什么，是否异常，但是人类的好奇心是天性，想知道模型为什么要给出这样的预测，我为什么要相信模型的结果。解决模型可解释问题有利于用户更加放心地应用和部署在真实场景上。1.2 可解释分类Pre-Model vs. In-Model vs. Post-Modelpre-model的解释独立于模型本身，他们只能应用于数据。比如提供一个对数据更好的理解。这和数据可解释性很接近，包括了数据分析和数据探索。常见的方法从描述统计学到数据可视化，包括PCA，t-SNE，聚类方法等。in-model主要是模型本质可解释。又称为Intrinsic。比如模型本身存在的稀疏性、单调性、因果性，或外在约束，或是模型权重。post-model指已经建立模型之后再去做可解释分析。又称为Post hoc。Model Specific, Model Agnosticmodel specific指方法本身是基于特定模型的。比如线性模型的权重就是model-specific的。model agnostic指方法可以应用于任何模型，同时也是后验的（post hoc）。这种方法是分析输入和输出，而不能分析到模型内部。上述两种分类方法的关联：可解释方法的返回结果Feature summary：一些可解释性方法返回每个特征的一些统计信息，比如每个特征一个重要性衡量。有些方法是用图示来表示的特征统计的，比如partial dependence plots。Model Internals：对一些本质可解释的模型，他们的输出比如线性模型的权重。当然，他们的输出是model-specific的。Data Point：返回一些本身可解释的数据点，比如图片和文本。但是对高维的连续型样本可能没有用。Surrogate intrinsically interpretable model：使用一个替代模型去解释原来的黑盒模型，把问题转化为对替代模型的解释。可解释性的范围全局可解释这个层级的可解释性指的是，模型如何基于整个特征空间和模型结构、参数等作出决策的。什么特征是重要的，特征交互会发生什么。模型的全局可解释性可以帮助理解，针对不同特征，目标变量的分布是什么。局部可解释局部可解释性更加关注单条样本或一组样本。这种情况下我们可以将模型看做是一个黑盒，不再考虑模型的复杂情况。单条样本来看，模型给出的预测值和某些特征可能是线性关系，甚至是单调关系。因此局部可解释性可能相比全局可解释，更加准确点。1.3 可解释的模型最简单的机器学习可解释性就是直接使用可解释模型，比如逻辑回归、线性模型、决策树。可解释的模型主要考虑以下几个性质：线性：特征取值和标签取值是否存在线性关系单调性：特征取值和标签取值是否存在单调性关系交叉：一些模型能自动交叉特征1.4 模型解释方法model-specific 依赖模型比如对DNN的话，主要有以下方法：guided backpropagation, integrated gradients, SmoothGrad saliency maps, Grad-CAM, Concept Activation Vectors。这些方法主要应用于CV领域。还有一类post-hoc的model-specific方法---知识蒸馏，将一个复杂模型化为一个简单模型。比如模型压缩，树的正则化，降维。model-agnostic 独立于模型不取决于模型的机器学习后验（模型已做完训练和预测）的解释方法，这块总结主要摘取自论文《Machine Learning Interpretability: A Survey on Methods and Metrics》[1]。1.5 模型可解释方法SHAPShapley值法是指所得与自己的贡献相等，是一种分配方式。普遍用于经济活动中的利益合理分配等问题。最早由美国洛杉矶加州大学教授罗伊德·夏普利（Lloyd Shapley）提出。shapley值法的提出给合作博弈在理论上的重要突破及其以后的发展带来了重大影响。简单的来说就是使分配问题更加的合理，用于为分配问题提供一种合理的方式。SHAP将Shapley值解释表示为一种可加特征归因方法，SHAP将模型的预测值解释为每个输入特征的归因值之和。与feature importance相比，SHAP value最大的优势是SHAP能反映出每一个样本中的特征的影响力，而且还表现出影响的正负性。一个特征的shapley value是该特征在所有的特征序列中的边际贡献的加权平均值。第i个样本实例的Shapley value的解释：对第i个样本实例来说，其所有特征值对预测目标值的总贡献（也就是预测目标实际值）与预测目标平均值之差。1.5.1 原理f(x)是一个线性模型，x是一个样本，x_j是该样本的一个特征值，\beta_j是该特征的权重：f(x)=\beta_{0}+\beta_{1} x_{1}+\ldots+\beta_{p} x_{p}\phi_j是第 j 个特征对预测值\hat f的贡献，其中E(X_j)是该特征取值的期望\phi_{j}(\hat{f})=\beta_{j} x_{j}-E\left(\beta_{j} X_{j}\right)=\beta_{j} x_{j}-\beta_{j} E\left(X_{j}\right)然后把一个样本所有特征值的贡献进行求和，样本$x $所有特征的贡献之和等于目标预测值减去目标平均预测值\begin{aligned}
\sum_{j=1}^{p} \phi_{j}(\hat{f}) &=\sum_{j=1}^{p}\left(\beta_{j} x_{j}-E\left(\beta_{j} X_{j}\right)\right) \\
&=\left(\beta_{0}+\sum_{j=1}^{p} \beta_{j} x_{j}\right)-\left(\beta_{0}+\sum_{j=1}^{p} E\left(\beta_{j} X_{j}\right)\right) \\
&=\hat{f}(x)-E(\hat{f}(X))
\end{aligned}1.5.2 性质1 效率性特征贡献的累加等于x的预测和预测平均值的差值\sum_{j=1}^{p} \phi_{j}=\hat{f}(x)-E_{X}(\hat{f}(X))2 对称性如果两个特征值j和k的贡献对所有可能的特征序列贡献相同，则他们的贡献应该相同。\begin{array}{lr}
\text { if } & \text { val }\left(S \cup\left\{x_{j}\right\}\right)=\operatorname{val}\left(S \cup\left\{x_{k}\right\}\right) \\
\text { for all } & S \subseteq\left\{x_{1}, \cdots, x_{p}\right\} \backslash\left\{x_{j}, x_{k}\right\} \\
& \text { then } \quad \phi_{j}=\phi_{k}
\end{array}3 虚拟性一个不改变预测值的特征j，无论它添加到哪个特征值序列中，Shapley值都应该为0。\begin{array}{cc}
\text { if } & \operatorname{val}\left(S \cup\left\{x_{j}\right\}\right)=\operatorname{val}(S) \\
\text { for all } & S \subseteq\left\{x_{1}, \cdots, x_{p}\right\} \\
\text { then } & \phi_{j}=0
\end{array}1.6 模型可解释方法LIMELIME全称是Local Interpretable Model-Agnostic Explanations。LIME与模型无关，这意味着它可以应用于任何机器学习模型。该技术试图通过扰动数据样本的输入并理解预测的变化来理解模型。流程：训练模型，模型（记作 ff）可以是LR、NN、Wide and deep、C4.5 Decision tree、Random forest、GBDT等任意模型。训练结束后我们需要解析模型，先选择一个待解析的样本，样本通过模型计算可以得到一个prediction（包含预测的label以及预测为1的probability），这时我们在这个样本的附近选择新的样本并用模型计算出多个prediction，这样样本组合新的样本集。然后使用新的可解析的特征和prediction作为label来训练新的简单模型（例如LR），然后使用简单模型的权重作为这些特征的重要性作为输出。就是选择一个样本以及样本附近的点，然后训练一个简单模型来拟合，虽然简单模型不能在完整数据集上有效，但至少在这个点附近都是有效的，这个简单模型的特征是人类可解析的，而训练出的权重也可以表示特征重要性。1.7 问题项在应用中，存在一些问题可以思考：在异常区间较大，是由多个样本组成的时候，选择哪一个样本去做机器学习解释？比如第一个异常点。目前大多数时间序列特征已经相对抽象，像变异系数、偏度等，用户得知此特征对预测异常有较大帮助之后，是否有真正的帮助？并且，依然存在理解门槛的问题，所以目前的技术，好像比较难真正帮助用户理解模型。LIME和SHAP作为单独的特征可解释性方法，不依赖于模型，其本身置信度如何？模型本身是特征之间的高阶交叉，从单个特征的重要性可能没有办法解释高阶交叉对预测结果的帮助。ReferenceDiogo V. Carvalho, Machine Learning Interpretability: A Survey on Methods and MetricsFriedman, J.H. Greedy function approximation: A gradient boosting machine. Ann. Stat. 2001, 29, 1189–1232.Goldstein, A.; Kapelner, A.; Bleich, J.; Pitkin, E. Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation. J. Comput. Gr. Stat. 2015, 24, 44–65. Apley, D.W. Visualizing the Effects of Predictor Variables in Black Box Supervised Learning Models. arXiv 2016, arXiv:1612.08468.Friedman, J.H.; Popescu, B.E. Predictive learning via rule ensembles. Ann. Appl. Stat. 2008, 2, 916–954.Fisher, A.; Rudin, C.; Dominici, F. Model Class Reliance: Variable Importance Measures for any Machine Learning Model Class, from the “Rashomon” Perspective. arXiv 2018, arXiv:1801.01489.Ribeiro, M.T.; Singh, S.; Guestrin, C. “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, 13–17 August 2016; pp. 1135–1144.Lundberg, S.M.; Lee, S.I. A unified approach to interpreting model predictions. In Advances in Neural Information Processing Systems; MIT Press: Cambridge, MA, USA, 2017; pp. 4765–4774.Staniak, M.; Biecek, P. Explanations of model predictions with live and breakDown packages. arXiv 2018, arXiv:1804.01955.Ribeiro, M.T.; Singh, S.; Guestrin, C. Anchors: High-Precision Model-Agnostic Explanations. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), New Orleans, LA, USA, 2–7 February 2018.Wachter, S.; Mittelstadt, B.; Russell, C. Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR.(2017). Harv. J. Law Technol. 2017, 31, 841Kim, B.; Khanna, R.; Koyejo, O.O. Examples are not enough, learn to criticize! Criticism for interpretability. In Advances in Neural Information Processing Systems; MIT Press: Cambridge, MA, USA, 2016; pp. 2280–2288.Koh, P.W.; Liang, P. Understanding black-box predictions via influence functions. arXiv 2017, arXiv:1703.04730.发布于 2020-10-21 09:36赞同 331 条评论分享收藏喜欢收起Hao WangRatidar CEO 关注Fair recommendation by geometric interpretation and analysis of matrix factorization . 这是我在国际学术会议 RAIIE 2022 上发表的论文。讲的是如何利用可解释机器学习来处理推荐系统问题。如果感兴趣的话，欢迎发邮件到我的邮箱。发布于 2023-03-26 22:15赞同添加评论分享收藏喜欢收起

GitHub - EthicalML/xai: XAI - An eXplainability toolbox for machine learning

Toggle navigation

Product

Actions

Automate any workflow

Packages

Host and manage packages

Security

Find and fix vulnerabilities

Codespaces

Instant dev environments

Copilot

Write better code with AI

Code review

Manage code changes

Issues

Plan and track work

Discussions

Collaborate outside of code

Explore

All features

Documentation

GitHub Skills

Blog

Solutions

For

Enterprise

Teams

Startups

Education

By Solution

CI/CD & Automation

DevOps

DevSecOps

Resources

Learning Pathways

White papers, Ebooks, Webinars

Customer Stories

Partners

Open Source

GitHub Sponsors

Fund open source developers

The ReadME Project

GitHub community articles

Repositories

Topics

Trending

Collections

Pricing

Search or jump to...

Search code, repositories, users, issues, pull requests...

Clear

Search syntax tips

Provide feedback

We read every piece of feedback, and take your input very seriously.

Include my email address so I can be contacted

Cancel

Submit feedback

Saved searches

Use saved searches to filter your results more quickly

Name

Query

To see all available qualifiers, see our documentation.

Cancel

Create saved search

You signed in with another tab or window. Reload to refresh your session.

You signed out in another tab or window. Reload to refresh your session.

You switched accounts on another tab or window. Reload to refresh your session.

Dismiss alert

EthicalML

xai

Public

Notifications

Fork

154

Star

XAI - An eXplainability toolbox for machine learning

ethical.institute/principles.html#commitment-3

License

MIT license

stars

154

forks

Branches

挑战OpenAI，马斯克宣布xAI正式成立：目标是了解宇宙真实本质_10%公司_澎湃新闻-The Paper

enAI，马斯克宣布xAI正式成立：目标是了解宇宙真实本质_10%公司_澎湃新闻-The Paper下载客户端登录无障碍+1挑战OpenAI，马斯克宣布xAI正式成立：目标是了解宇宙真实本质澎湃新闻记者吴遇利2023-07-13 08:46来源：澎湃新闻 ∙ 10%公司 >字号马斯克旗下又一家公司问世。当地时间7月12日，特斯拉CEO埃隆·马斯克在社交媒体推特上宣布了人工智能公司——xAI的正式成立。马斯克推文截图xAI的官网也已上线。官网显示，公司的宗旨是“了解宇宙的真实本质”。7月14日，该公司团队将在推特空间举行发布会，进一步解答网友的问题。据官网介绍，公司由马斯克本人亲自带队，而其他成员则来自DeepMind、OpenAI、谷歌研究院、微软研究院、特斯拉、多伦多大学等，曾参与过DeepMind的AlphaCode和OpenAI的GPT-3.5和GPT-4聊天机器人等项目。由此看来，马斯克可能将xAI定位为与OpenAI、Google和Anthropic等公司同台竞技，他们是ChatGPT、Bard和Claude等知名聊天机器人的推手。除了马斯克之外，该网站还列出了包括Igor Babuschkin、Manuel Kroiss、Yuhuai (Tony) Wu等在内的成员。xAI官网截图据美国消费者新闻与商业频道（CNBC），马斯克于3月份在内华达州成立了xAI。而此前，他已将推特的名称更改为“X Corp”。不过xAI在官方网站中提到，该公司与X Corp是相互独立的，但将与X（Twitter）、特斯拉以及其他公司密切合作。当地时间4月17日，马斯克在接受福克斯新闻（Fox News）采访时表示，将推出一个名为TruthGPT（真相GPT）的人工智能（AI），“我将开发一个我称之为‘TruthGPT’的东西，或一个试图理解宇宙本质、最大程度上寻求真相的人工智能。”他表示，这可能是确保安全的最佳途径，因为一个关心且了解宇宙的AI不太可能毁灭人类，他认为人类是宇宙中有趣的一部分。有意思的是，马斯克对于人工智能风险的担忧一如既往。该公司在官网表示，xAI团队目前由研究员Dan Hendrycks作为顾问，他目前是人工智能安全中心的负责人。该中心是一个非营利组织，旨在“减少与人工智能相关的社会风险”，该中心还表示应将人工智能风险和流行病、核战争等其他大规模风险一并优先考虑。马斯克在公开场合多次对人工智能的安全性发出警告。今年3月，马斯克和一群人工智能领域的专家、高管签署联名信，呼吁暂停开发比OpenAI新推出的GPT-4更强大的系统六个月，理由是新技术对社会的潜在风险。责任编辑：孙扶图片编辑：沈轲校对：刘威澎湃新闻报料：021-962866澎湃新闻，未经授权不得转载+1收藏我要举报#马斯克#特斯拉#xAI#推特查看更多查看更多开始答题扫码下载澎湃新闻客户端Android版iPhone版iPad版关于澎湃加入澎湃联系我们广告合作法律声明隐私政策澎湃矩阵澎湃新闻微博澎湃新闻公众号澎湃新闻抖音号IP SHANGHAISIXTH TONE新闻报料报料热线: 021-962866报料邮箱: news@thepaper.cn沪ICP备14003370号沪公网安备31010602000299号互联网新闻信息服务许可证：31120170006增值电信业务经营许可证：沪B2-2017116© 2014-2024 上海东方报业有限公

什么是可解释的 AI (XAI)？- 瞻博网络

Help us improve your experience.

Let us know what you think.

Do you have time for a two-minute survey?

Yes

Maybe Later

联系销售部门

我的帐户

访问合作伙伴中心

编辑帐户信息

注册新产品

创建帐户

退出

CN | ZH

美洲

巴西 - Português

墨西哥 - Español

美国 - English

亚洲

中国 - 中文

日本 - 日本語

韩国 - 한국어

欧洲

法国 - Français

德国 - Deutsch

以色列 - 英语

意大利 - Italiano

荷兰 - Nederlands

西班牙 - Español

英国 - English

立即试用

CN | ZH

产品和解决方案

我对以下内容感兴趣

IT 网络

服务提供商

云运营商

安全

软件和“软件即服务”(SaaS)

搜索条件

产品

解决方案

行业

服务

IT 网络

详细了解瞻博网络客户端到云端架构的优势。

自动化

数据中心

有线接入

无线接入

SD-WAN

企业 WAN

Enterprise at Home

室内定位

SASE

物联网

服务提供商

了解瞻博网络的体验优先网络如何为服务提供商及其客户提供差异化体验。

IP 传输

电信云

托管服务

自动化

服务提供商安全

云运营商

赋能云运营商创新。

400G

数据中心

云路由

自动化

软件分解

安全

借助 Juniper Connected Security 打造威胁感知型网络。

SASE

新一代防火墙

公共云安全

威胁检测和缓解

SD-WAN

保护数据中心

服务提供商安全

软件和“软件即服务”(SaaS)

了解云交付或本地（部署）产品。

AIOps

云服务

NaaS

自动化

安全

电信云

Juniper Flex 许可

SASE

特色产品

Apstra

自动化

防火墙

Junos OS

Marvis VNA

Mist AI 和云

光学/光学器件

路由器

Session Smart 路由器

SDN 和编排

安全服务

交换机

无线接入

特色解决方案

400G

AIOps

自动化

云城域网

数据中心

Enterprise at Home

IP 传输

SASE

SD-WAN

电信云

有线接入

无线接入

行业

解决方案

教育

能源与公用事业

政府

医疗保健

媒体与娱乐

零售

服务

借助瞻博网络全球服务扩大业务成果。

人工智能驱动型企业

自动化

数据中心

安全

支持

培训

为您推荐

参加我们的每周演示

亲自体验 IT 网络。

业界认可

瞻博网络取得了令人瞩目的成就，引起了业界的广泛关注。

立即试用

探索多种选项和产品，找到适合您的网络解决方案。

为您推荐

云城域网

将云原则应用于城域网，实现可持续的业务增长。

体验 5G

使用我们开放的生态系统方法，发挥您网络的全部功能和潜力。

为您推荐

In the Lab

聆听瞻博网络首席执行官 Rami Rahim 参观实验室时的介绍，了解 400G PTX10008 路由器的强大性能。

云服务产品

瞻博网络 Mist 云提供现代微服务云架构，以满足您的人工智能驱动型企业数字化转型目标。

为您推荐

零信任数据中心

将零信任框架应用于您的数据中心网络安全架构，保护数据和应用。

优惠和试用

了解如何使用 Security Director Cloud 在本地和云端管理安全性。

为您推荐

优惠和试用

探索多种选项，快速找到适合您的网络解决方案。

查看更多产品

所有产品

在一个位置查看所有产品系列。

产品 A - Z

按名称获取产品列表。

为您推荐

全部解决方案

浏览瞻博网络所有解决方案。

优惠和试用

探索多种选项，快速找到适合您的网络解决方案。

为您推荐

所有行业

浏览瞻博网络的所有行业解决方案。

优惠和试用

探索多种选项，快速找到适合您的网络解决方案。

为您推荐

优惠和试用

探索多种选项，快速找到适合您的网络解决方案。

客户

与我们合作

入门

软件下载

文档

培训和认证

社区

支持

我们的客户

成功案例

提升奖

分享您的案例

入门

欢迎访问瞻博网络

创建瞻博网络帐户

激活许可证

通过产品快速入门

联系支持

设计中心

免费培训

软件下载

Junos

EX 系列

SRX 系列

MX 系列

QFX 系列

Junos Space

vSRX 评估

vQFX 评估

ACX 系列

PTX 系列

所有下载

文档

技术文档（技术库）

Day One 书籍

知识库

产品与特性数据 (Pathfinder)

问题报告搜索

培训和认证

通过我们的技术培训和认证计划，培养并转变您的网络技能。

瞻博网络培训

全通培训通行证

直播课程计划

点播课程

免费培训

瞻博网络认证

私人培训

社区

解答您对瞻博网络产品和服务的疑问，与同行分享您的瞻博网络专业知识。

自动化

云

数据中心

Junos OS

管理

路由

SD-WAN

安全

交换

无线

提升奖

表彰使用瞻博网络解决方案改变世界的创新者。

现设奖项

过往奖项

为您推荐

全通培训通行证

一整年内的所有瞻博网络课程。

点播课程

实践操作，基于实验室的自定进度培训。

瞻博网络开放式学习门户

免费培训和优惠认证

更多社区

TechPost

由网络工程师撰写的文章，针对同行所需。

培训和认证

获取瞻博网络学习旅程的相关建议。

为您推荐

立即报名参与 2023 年奖项提名

合作伙伴

尊敬的瞻博网络合作伙伴

查找合作伙伴

查找分销商

查找合作伙伴

战略联盟

解决方案合作伙伴

技术联盟

成为合作伙伴

概述

解决方案经销商角色

NaaS 提供商角色

创建合作伙伴帐户

注册合作伙伴

合作伙伴登录

学习中心

瞻博网络冠军

公司

关于我们

公司概况

多元包容

创新

气候变化与可持续性

领导力

我们的价值观

招贤纳士

文化和职业生涯

当前开放职位

媒体与分析师

分析师关系

投资者关系

新闻中心

为何选择瞻博网络？

业界认可

社区

客户成功案例

联系销售部门

合作关系

支持

瞻博网络支持

自助服务工具

欢迎访问瞻博网络

入门

瞻博网络支持门户

产品许可证密钥

产品授权搜索

更新现有客户

联系支持

下载

ACX 系列

EX 系列

MX 系列

PTX 系列

QFX 系列

SRX 系列

Junos Space

SSG 系列

所有下载

文档

知识库

技术文档（技术库）

问题报告搜索

产品与特性数据 (Pathfinder)

社区

安全情报

报告漏洞

培训

瞻博网络培训

直播课程计划

点播课程

免费培训

所有课程

支付选项

认证

瞻博网络认证

认证系列

认证资源

考试注册

再认证

管理我的认证

活动和演示

活动和理念

信息源（视频和播客）

瞻博网络峰会

所有全球活动

演示、优惠和试用

试用瞻博网络

对话

提升社区

瞻博网络威胁实验室

Twitter：@瞻博网络

信息源

我的帐户

访问合作伙伴中心

编辑帐户信息

注册新产品

创建帐户

退出

联系销售部门

立即试用

美洲

巴西 - Português

墨西哥 - Español

美国 - English

亚洲

中国 - 中文

日本 - 日本語

韩国 - 한국어

欧洲

法国 - Français

德国 - Deutsch

以色列 - 英语

意大利 - Italiano

荷兰 - Nederlands

西班牙 - Español

英国 - English

研究课题

什么是可解释的 AI (XAI)？

可解释的 AI (Explainable AI) 是方便用户理解和信赖由 AI 机器学习 (ML) 算法计算所得结果和输出的一套过程和方法。有关 AI/ML 输出的补充解释或许只面向用户、运维或开发人员，但这些解释旨在解决用户采用、管理和开发系统等方面的各种问题和挑战。这种“可解释性”是 AI 在市场上获得信任和信心的核心，以促进 AI 的广泛采用，并充分发挥 AI 的优势。其他相关的新兴倡议还包括值得信赖的 AI 和负责任的 AI。

可解释的 AI 是如何实现的？

美国国家标准与技术研究院 (NIST) 指出，推动 XAI 的四项原则分别为：

解释：系统需要为所有输出提供补充证据或理由。

意义：系统要为个人用户提供可理解的解释。

解释准确性：解释能正确反映出系统生成输出的过程。

知识限制：系统仅在其设计条件下或者当其输出达到足够的置信水平时运行。

NIST·指出，解释可以是简单的，也可以是复杂的，具体取决于相关消费者。该机构使用以下五个非详尽的可解释性示例类别，来对部分解释类型进行了说明：

用户利益

社会认可度

监管与合规

系统开发

所有者利益

可解释的 AI 的重要性在何？

可解释的 AI 是在自动化系统中培养、获得和保持信任的关键因素。如果没有信任，AI，特别是面向 IT 运营的 AI (AIOps)，将得不到充分接受，致使现代系统的规模和复杂性超过手动操作和传统自动化所能实现的程度。

而当我们建立起信任，“AI 漂洗” (AI washing) — 指企业声称产品或服务由 AI 驱动，但实际上根本没有使用 AI，或只使用了极少 AI — 的做法就会原形毕露，从而帮助从业者和客户对 AI 产品或服务去芜存菁。能否对 AI 建立信任和信心会影响 AI 的接纳范围和速度，进而会决定其效益实现的速度和范围。

如果我们需要任何系统 — 尤其是那些具有现实影响力的系统 — 去寻求答案或作出决策，我们就必须解释系统是如何得出决定、系统将如何影响结果，或是为什么认为行动是必须的。

可解释的 AI 的好处

可解释的 AI 能够带来多方面的好处。这些好处涉及明智决策、降低风险、增加信心和用户接纳度、优化管理、加速系统改进，以及促进 AI 在全球全面发展与应用等。

可解释的 AI 解决了什么问题？

许多 AI 和 ML 模型被认为是不透明的，且其输出无法被解释。能够揭示和解释遵循特定路径的理由或产生输出的过程，对于为 AI 争取信任、帮助 AI 发展和提高 AI 接纳度而言至关重要。

对数据、模型和流程进行解释，能够帮助运维人员和用户深入了解和观察这些系统，以便使用透明、有效的推理进行优化。最重要的是，可解释性能够降低有关漏洞、偏差和风险的沟通的难度，往后还能进一步降低，甚至完全消除。

可解释的 AI 如何提高透明度并建立信任

最初的原始数据要切实有用，就必须能够最终带来行动建议或落实的行动。一开始就要求用户信任一个完全自主的工作流，往往是痴人说梦，所以建议让用户自下而上逐步了解各个支持层。通过逐级深入研究事件，用户界面 (UI) 工作流能够帮助您层层剖析，直至挖掘到原始输入。这有助于提高透明度和建立信任。

建立一个框架，让领域专家得以深入挖掘、释疑，让新手得以搜索、解惑，不仅可以同时帮助初学者和老手提高生产力、积累知识，还能够建立起他们对 AI 的信任。这种参与形式还有助形成一种良性循环，可以进一步训练和打磨 AI/ML 算法，以实现持续的系统改进。

人工智能驱动型用户界面中的数据流

如何使用可解释的 AI 来评估和降低风险

数据网络拥有定义明确的协议和数据结构，意味着 AI 可以得到令人难以置信的发展，而不用担心存在歧视或人类偏见。当处理诸如故障排除和服务保证等中性问题时，可以信赖并负责任地采用 AI 应用。

让供应商回答若干技术和操作基础问题，对于揭露和避免“AI 漂洗”而言极其重要。与任何尽职调查和采购工作一样，答案的详细程度可以提供重要的洞见。回答可能需要辅以技术解释，但我们仍然建议供应商提供详尽回答，以确保供应商的主张是切实可行的。

与任何技术一样，工程和领导团队要制定标准评估拟行采购，并且相关决策要以证据为基础。为了降低风险和帮助完成尽职调查，AI/ML 所有者和用户可以提出如下示例问题：

该解决方案包含哪些算法，这些算法对解决方案又有什么作用？

输入的数据以及数据的清理方式有哪些？

数据源自哪里（是根据租户、帐户还是用户定制的）？

如何通过网络空间设计参数和功能？

如何训练、再训练模型，并保持模型及时更新和相关？

系统本身是否能解释其推理、建议或行动？

如何消除或减少偏见？

解决方案或平台是如何自动改进和演进的？

此外，始终建议进行试点或试验，以验证关于 AI 服务或系统的承诺或声明。

可解释的 AI 在瞻博网络的应用

如何负责任且合乎道德地使用 AI 是一个复杂的课题，但也是组织必须解决的问题。瞻博网络 Mist AI 创新原则指导我们在服务和产品中使用 AI。我们还编写了很多关于 AI/ML 以及我们的 AIOps 方法的文章，包括 AI 数据和初期发展历程、解决问题的方法、界面和智能聊天程序，这些文章有助于检测和纠正网络异常问题，同时使用更先进的工具改进运维。

XAI 可以以多种形式出现。例如，瞻博网络 AIOps 的功能包括在 Wi-Fi 网络中执行自动无线资源管理 (RRM) 和检测问题，例如网络电缆故障。Mist 产品界面提供了部分瞻博网络 XAI 工具，您可以在我们的自助服务之旅中自行演示。在此注册，立即获取。

对于用户和运维人员，请留意基于 Mist AI™ 引擎和 Marvis 虚拟网络助手的产品中的一系列新功能，这些功能将围绕方法、模型、决策和置信水平展示更强的可解释性，从而提高信任度和透明度。

有关可解释的 AI 的常见问题

“可解释的 AI”是什么意思？

可解释的 AI (Explainable AI) 是方便用户理解和信赖由 AI 机器学习 (ML) 算法计算所得结果和输出的一套过程和方法。有关 AI/ML 输出的补充解释或许只面向用户、运维或开发人员，但这些解释旨在解决用户采用、管理和开发系统等方面的各种问题和挑战。

什么是可解释的 AI 模型？

可解释的 AI 模型拥有可提高透明度、促进理解的特性或属性，且具备对 AI 输出提出质疑或质询的能力。

可解释的 AI 的重要性在何？

由于可解释的 AI 能够详细描述 AI 系统输出的基本原理，因此，它能够帮助人们加强、培养和建立部署 AI 系统所必要的理解、管理能力和信任，并增加对其输出和结果的信心。如果没有 XAI 帮助建立信任和信心，人们就不可能广泛部署 AI 或从 AI 技术中受益。

可解释的 AI 的好处有哪些？

可解释的 AI 好处良多。这些好处涉及明智决策、降低风险、增加信心和用户接纳度、优化管理、加速系统改进，以及促进 AI 在全球全面发展与应用等。

可解释的 AI 实际存在吗？

当然存在，但由于可解释的 AI 的定义仍在不断演变，其仍处于萌芽阶段。虽然在拥有大量功能或阶段的复杂或混合 AI/ML 模型上实现 XAI 将面临更大的困难，但 XAI 正积极寻找融入产品和服务的方法，以建立用户信任并促进加快发展。

什么是深度学习中的可解释性？

深度学习有时被视为“黑箱”，这意味着人们很难理解深度学习模型的行为以及其作出决定的方式。提高可解释性旨在为人们提供有关深度学习的解释。目前有针对不同的解释评估方法进行持续研究。

瞻博网络提供哪些可解释的 AI 功能？

XAI 可以以多种形式出现。例如，瞻博网络提供了博客和视频资源，描述了用于多种 AIOps 功能的 ML 算法，包括在 Wi-Fi 网络中执行自动无线资源管理 (RRM) 或故障网络电缆检测（请参见下面的视频资源）。Mist 产品界面提供了部分 XAI 工具，您可以在我们的自助服务之旅中自行演示。在此注册，立即获取。

资源

解决方案

人工智能驱动型运维 (AIOps)

产品

Marvis 虚拟网络助手

Mist AI 和云

视频

RF Networks 中的 AI 和 ML：拥有强化学习功能的动态无线资源管理 (RRM)

利用 Mist AI 决策树检测网络常见故障

自然语言处理对 AIOps 的影响

利用 Mist AI 交互信息，通过 SLE 指标进行预测

探索 Mist AI 仪表板

立即注册，开展 Mist AI 仪表板自助之旅

What is Explainable AI (XAI)? | IBM

What is explainable AI?

Explore IBM's explainable AI solution

Subscribe to AI Topic Updates

What is explainable AI?

Explainable artificial intelligence (XAI) is a set of processes and methods that allows human users to comprehend and trust the results and output created by machine learning algorithms.

Explainable AI is used to describe an AI model, its expected impact and potential biases. It helps characterize model accuracy, fairness, transparency and outcomes in AI-powered decision making. Explainable AI is crucial for an organization in building trust and confidence when putting AI models into production. AI explainability also helps an organization adopt a responsible approach to AI development.

As AI becomes more advanced, humans are challenged to comprehend and retrace how the algorithm came to a result. The whole calculation process is turned into what is commonly referred to as a “black box" that is impossible to interpret. These black box models are created directly from the data. And, not even the engineers or data scientists who create the algorithm can understand or explain what exactly is happening inside them or how the AI algorithm arrived at a specific result.

There are many advantages to understanding how an AI-enabled system has led to a specific output. Explainability can help developers ensure that the system is working as expected, it might be necessary to meet regulatory standards, or it might be important in allowing those affected by a decision to challenge or change that outcome.¹

White paper

Why AI governance is a business imperative for scaling enterprise AI

Learn about barriers to AI adoptions, particularly lack of AI governance and risk management solutions.

Follow

imtoken.im|xai

imtoken.im|xai

XAI是否靠谱？美国DARPA「可解释人工智能」（XAI计划）的4年回顾与经验总结，附中文版 - 知乎

xAI（埃隆·马斯克成立的人工智能公司）_百度百科

XAI：理解与解释的AI技术 - 知乎

什么是可解释 AI？| IBM

可解释人工智能 (一): 概述 - 知乎

如何看待机器（深度）学习可解释方法（XAI）的现状与未来? - 知乎

GitHub - EthicalML/xai: XAI - An eXplainability toolbox for machine learning

挑战OpenAI，马斯克宣布xAI正式成立：目标是了解宇宙真实本质_10%公司_澎湃新闻-The Paper

什么是可解释的 AI (XAI)？- 瞻博网络

What is Explainable AI (XAI)? | IBM

最近的新闻

您可能喜欢的文章

tokenpocket中文版下载|wingying

比特派的官网地址是什么|xmg是什么意思

bitpie如何添加地址信息

bitpie如何买能量卡片

bitpie如何取消多签

bitpie钱包如何删除账号

bitpie账号如何注销掉