“信任固然好，监控更重要”-德国弗朗霍夫协会的“人工智能监管”研究经验

在德国弗朗霍夫协会2021年第3期会刊中，弗朗霍夫智能分析及信息系统研究所（IAIS）的米夏尔·默克（Michael Mock）博士介绍了人工智能未来应用中的风险和机遇。其中对“人工智能的可信性研究”展现了德国科研机构对“人工智能监管”的经验，下文就有关内容做具体介绍。

人工智能将是推动未来数字化社会的关键技术，和依赖程序员开发的常规算法的传统计算机系统不同，人工智能更多地通过接收大量的实例数据开展自主学习和自行总结规律，人们通常把这称为“机器学习”。这其中的原理或有待研究，但默克博士团队研发的“经认证的人工智能”系统却能保证人工智能系统不出错。2021年6月，研究人员发表了一份“形成可信赖的人工智能守则”文件，免费在互联网上提供下载。2021年4月，欧盟也公布了第一个全球适用的如何令人工智能可信任的法律框架文件-“在人工智能领域可信任是必须而非点缀”。欧盟数字化总司副主席Margrethe Vestager强调: 对人类基本生命安全和权利有威胁的人工智能技术，要严格禁止。而具有较高上述风险的人工智能系统在进入市场前要经过严格的违约测试。

默克博士团队制订的“形成可信赖的人工智能守则”有160页，根据下列六项原则进行系统性验证，即：

公平（Fairness）。“公平”原则在一个自动化印染厂的生产系统里并没有什么意义，但在一个选择申请者的自动系统里，“公平”原则却是具有决定性意义的。在挑选实习生时，亚马逊的智能系统表现出更倾向于选择男性申请者，而推特的智能系统则更倾向于女性白人申请者，最终导致这个智能系统被停止使用。因为，它们违反了“公平”原则。

可靠（Zuverlässigkeit）。“可靠”原则对于自动驾驶而言是最重要的原则。首先，项目团队把自动驾驶设定为专门运行场景（Operatioonal Design Domain，简称ODD）。然后，通过计算机仿真把各个虚拟因素带入到场景中，最后通过计算机仿真得到相应的人工智能处理结果，并与现实应发生的处理方式进行比对。最终的经验证的人工智能系统的处理结果应该是能应用已学习的规律或方法来处理未输入或陌生的案例情况，而且处理结果产生的误差处于可接受的范围，具有“稳固耐变性”（Robustheit）。

自主性和可控性（Autonomie und Kontrolle）。对于“自主性和可控性”原则而言，与人工智能的处理相比，人类的处理永远是处于优先地位的。有时候，人工智能可能给不出处理的决定，比如遇到大雾或者黑天，人类自己也完全看不到车前方的人和物，也没有办法做出处理的决定。在这种情况下，人工智能系统会做出不做决定的处理结果，并用警报的方式提示驾驶者所遇到的特殊状况，驾驶者将接手进行手动处理。

透明（Transparenz）。“透明”原则也是自动驾驶系统的另一个重要原则。研究者尝试将人工智能内部做出指令的过程储存于类似于飞机“黑匣子”中保存相关数据。这对于后续的问题纠错或者法律需要很重要，比如：有顾客对自动驾驶过程中某个他认为不当的人工智能指令进行法律申诉。

安全（Sicherheit）。“安全”原则是把由于失误操作、外部攻击或意外事故造成的系统风险最小化。基于对受损方案和大量测试下的保护性措施，系统可取消或中止人工智能的运行。

数据保护（Datenschutz）。“数据保护”原则则贯穿上述几个方面，不仅保护用户个人隐私，还对运行数据进行保护留存备用。

当然，这六个原则并不总是需要全部满足，而对于某些场景（比如：自动驾驶）而言，这六个原则对它都适用。默克博士团队和大众汽车公司（还包括原材料供应商、相关科技公司和研究所等）开展的自动驾驶人工智能安全的应用性研究项目获得了联邦经济和能源部4100万欧元的资助。此外，默克博士团队正在与联邦信息技术安全局以及其它伙伴一起合作，进一步研制针对人工智能系统的保护措施和方法，预计明年就能取得进展。获取更多前沿科技 研究进展 访问：https://byteclicks.com