Google开源LIT:一种NLP可视化,交互式模型可解释性工具

语言可解释性工具(LIT)是用于NLP模型的可视的交互式模型理解工具。

LIT旨在解决以下问题:

  • 我的模型在什么样的例子上表现不佳?
  • 我的模型为何做出此预测?可以将这种预测归因于对抗行为,还是归因于训练集中的不良先验?
  • 如果更改文本样式,动词时态或代词性别之类的模型,我的模型的行为是否始终如一
Google开源LIT:一种NLP可视化,交互式模型可解释性工具

LIT通过基于浏览器的UI支持各种调试工作流。功能包括:

  • 通过显著图,注意力和对模型预测的丰富可视化进行局部解释
  • 聚合分析,包括自定义指标,切片和装仓以及嵌入空间的可视化。
  • 通过手动编辑或生成器插件反事实生成,以动态创建和评估新示例。
  • 并排模式比较两个或多个模型,或一对示例中的一个模型。
  • 高度可扩展到新的模型类型,包括分类,回归,跨度标注,seq2seq和语言建模。支持多头型号和多种输入功能。
  • 框架无关,并与TensorFlow,PyTorch等兼容。

有关更广泛的概述,请查看论文和 用户指南

开源代码:https://github.com/pair-code/lit

上一篇:

下一篇:


标签