人工智能如何有效与合乎伦理地实现联合全域指挥和控制(JADC2)

2021年12月2日，breakingdefense网站发布了对诺斯洛罗普·格鲁门公司代表的访谈录，内容包括人工智能（AI）与机器学习（ML）之间的区别，两者在联合全域指挥和控制（JADC2）中扮演的角色，在AI中建立信任的重要性，以及诺格公司在这些领域所做的工作。

受访者为诺格公司网络信息解决方案部门高级处理解决方案副总裁维恩·博伊尔，以及诺格公司人工智能负责人、咨询（AI）系统工程师兼技术研究员阿曼达·穆勒博士。

breakingdefense：我们首先要定义AI和ML。我认为ML是AI的一个子集，负责数据处理、趋势分析、警报监控。我们总是将它们称为AI和ML，就好像它们是两个独立的东西一样。它们，以及AI中除了ML之外的其它元素，将在联合全域指挥和控制（JADC2）和所有作战域中发挥作用吗？

博伊尔：AI和ML有时可以互换使用，但它们实际上不是一回事。ML是数学，AI是关于技术的集成，旨在感知、推理和决策。你可以使用ML数学作为这个过程的一部分，但它们绝对不是一回事。人们正在使用ML来处理传感器数据并评估各种数据类型。但这本身并不是人工智能。

在像JADC2这样的概念中，人工智能分为三个领域。

首先，在这个支持通信、网络和处理技术的系统中，我们可以设想一个能够控制 JADC2 基础设施的 AI 系统。它可以感知并推理跨不同平台、节点和决策者移动信息的最佳方式。它可以优化信息的移动和网络的配置，因为它将非常复杂。它能在一个充满对抗的环境下运行，在这个环境下，人类将很难做出反应并了解如何保持网络和通信链路的运行。使用AI来控制通信和网络基础设施将成为一个很广的应用领域。

第二个主要类别是关于信息本身。数字传感器产生大量信息。我们都听说过客户将其描述为军事物联网 （IoMT）。这将使得有效信息被数据淹没，并将压倒任何人。因此，AI的第二个主要应用将是尝试对这些数据进行推理，了解我们在战场上看到的内容，然后帮助决定人和机器的行动方案。

第三个主要类别是使用AI来指挥和控制物理系统。这将超越传感器数据处理，转向可以自我控制的平台，比如商业工业中的无人驾驶汽车。例如，我如何让无人机和飞机自行决定如何机动，或执行监视或电子战功能。

这些都将是AI在更广泛的JADC2任务中的重要应用。

breakingdefense：其次，数据的泛滥和数据的推理，难道不是ML吗？

博伊尔：是的，该类别中有ML。但是，除了使用ML来理解数据之外，还有机会优化数据的处理方式以及应用程序所在的位置。

例如，AI可以理解多个传感器之间的关系，这些传感器试图看到和观察战场空间中相似或相同的物体。它可以超越传感器数据的ML，用于推理和决策，以确定哪些数据最有价值，哪些数据应该输入到该算法中，以及哪些数据应该从算法中删除。

breakingdefense：寻求实施JADC2的武装部队面临的最大能力差距是什么？

博伊尔：目前最重要的差距之一是基本的连接和网络。我们希望运行来支持 JADC2 的平台不一定能够有效地连接和移动信息。这使得国防部对AI和ML的雄心壮志难以实现。对于传统的通信和网络系统，这是具有挑战性的，并且商业领域内有许多现代协议尚未完全被IoMT采用。

这既是差距，也是挑战。不过，让我们假设每个人都是有联系的，则会引出一个信息问题：不是每个人都“分享”其信息，因为它没有以标准方式描述。拥有理解和推理信息的能力，就意味着你能够理解它。这些能力也不一定都能成熟。

在多级安全性以及共享和分发不同密级信息的能力方面也存在挑战。这增加了商业领域通常不存在的复杂性。

穆勒：如果我们不允许操作人员在我们正在创建的系统中建立信任，那么它们干脆就不会被使用。对于像JADC2这样复杂的东西来说，这不是一个选择。

与我们的操作人员建立信任至关重要，这样他们才能信任系统所告知的内容。我们需要解决这个问题，因为人类永远不会完全脱离决策周期。

我们的AI系统必须这样构建，以便人类需要在JADC2架构中做出决定时可以信任它们。

breakingdefense：下一代通信（NGC）如何支持武装部队走向JADC2？

博伊尔：我们专注于刚刚讨论的通信和网络部分。我们现在在一些重要的平台上部署了许多功能，我们正在与客户合作，以利用我们已经拥有的功能，以及即将出现的新功能，以解决通信和网络方面的差距。我们有各种内部和客户资助的举措来消除问题的所有要素。

我们广泛的产品组合已经包含连接联合部队所需的使能技术，包括先进网络、AI/ML、太空、指挥和控制系统、由协作自主提供支持的自主系统，以及防范新兴威胁所需的先进弹性特征。我们为军用平台、传感器和系统提供结缔组织，以便相互通信，使其能够使用安全、开放的系统传递信息和数据，类似于我们在日常生活中使用互联网和5G的方式。

国防部表示，到2025年，它必须拥有一支支持AI的力量，因为“速度”将成为未来战斗的差异化因素。这意味着：了解战场空间的速度；在非常复杂和动态的战斗空间中确定所采取的最佳行动方案的速度；能够采取适当行动的速度。它们将共同让国防部更快地执行OODA循环（观察，定向，决定，行动）。

AI和战术优势的先进、专业化处理将提供战略信息优势。AI 和边缘计算是 JADC2 的核心支持技术。

breakingdefense：您提到了 OODA 循环和边缘计算。AI/ML 在 OODA 循环的什么地方出现，边缘处理对 JADC2 的重要性是什么？

博伊尔：这对 JADC2 至关重要。当客户使用像IoMT这样的术语时，他们从商业领域获取线索，您可以在其中连接和访问已处理的数据，以便您可以立即获得结果并了解您试图理解的内容。

但在商业领域，你是通过高速连接来连接到数据中心。然而，IoMT在战术环境下将部署在边缘;它不会被连接回数据中心。它们将在不同的时间点重新连接到数据中心，可能是在任务之前或任务之后，或者它们将有机会实现更高速的连接，但在大多数情况下，所有这些处理都必须在平台本身和通过网络完成。它必须在边缘完成。这是唯一的选择。

breakingdefense：美国并不是唯一一个专注于AI力量的国家。AI将如何影响潜在的大国冲突？

博伊尔：几十年来，美国一直保持着全球技术主导地位。例如，我们已经从空中优势中受益，但不能再将技术优势视为理所当然。

我们已经进入了一个近乎均势的威胁环境，中国和俄罗斯都在推动全球力量。作为其战略计划的一部分，中国已宣布到2030年将成为AI领域的全球领导者，其投资正在支持这一说法。

中国对先进处理、网络安全和AI等军民两用技术的投资和应用对美国的技术和认知主导地位构成了威胁。美国必须继续提高自己在这些高科技领域的能力，以保持对中国的技术领先地位。

中国正在全国各地广泛应用AI技术，以推进其到2030年实现全球技术主导地位的目标。

美国方法的基础是确保国防部对AI的使用反映了民主价值观。至关重要的是，我们必须迅速采取行动，为负责任和合乎伦理的AI使用设定全球标准，并保持领先于中国和俄罗斯共同取得的进展。

美国、我们的盟国伙伴和所有具有民主意识的国家必须共同努力，领导发展围绕AI的全球标准和人才。

breakingdefense：诺格公司如何解决AI的伦理问题，以确保您的系统值得信赖？您之前提到过信任AI的重要性，以及AI使自己值得信赖的方法之一是让操作人员知道它何时犯了错误。请解释一下。

穆勒：国防部国防创新委员会（DIB）为AI的军事化制定了五项伦理原则，确保其负责任、公平、可追溯、可靠和可治理。

负责任意味着人类对AI的开发和使用保持责任。公平的AI可通过测试、选择足够的训练集和多样化的工程团队来减少偏见。可追溯性意味着通过数据来源和版本控制确保我们系统的可审计性。可靠意味着创建对敌方攻击具有鲁棒性并在所定义的任务情形下运行的系统。

第五个原则，可治理的，涉及了你关于让操作人员知道AI何时出错的评论。可治理的AI系统允许在算法不按预期运行时进行优雅终止和人为干预。此时，人类操作员可以接管或调整输入、算法或任何需要做的事情。但人类始终保持着控制AI算法的能力。

“可解释性”是你在研究和文献中很多次看到的东西。我更喜欢”可解释性”这个术语，这意味着人类可以理解和解释AI在做什么，确定它是否正常运行，如果操作不正确，则采取行动。

诺格公司采用这些原则（我们称之为负责任的AI）将对我们创建的AI系统建立起合理的信心。合理的信心是关于开发强大、可靠和负责任的AI系统，并确保这些属性可以得到验证和确认。

美国国家安全委员会人工智能委员会（NSCAI）的最终报告强调了在国防和情报应用中以道德和负责任的方式使用AI方面正在形成的原则共识（注：NSCAI是国会在2019财年《国防授权法》中创建的临时、独立的联邦实体。它由谷歌前首席执行官埃里克·施密特和前国防部副部长罗伯特·沃克领导，并于2021年3月提交了长达756页的最终报告，它于2021年10月解散）。

正如NSCAI报告所指出的那样，如果AI系统不能按设计进行工作或不可预测，领导者就不会采用它们，作战人员就不会使用它们，国会也不会资助它们，美国人民也不会支持它们。

AI的力量在于它能够学习和适应不断变化的情况。战场是一个动态的环境，适应最快的一方将获得优势。

然而，与所有系统一样，AI容易受到攻击和失败。为了真正利用AI技术的力量，开发人员必须与国防部采用的伦理原则保持一致。

breakingdefense：诺格公司未来的AI发展会是什么样子？

穆勒：诺格公司正在采用系统工程方法来进行AI开发，并且它是吸引大学研究，商业最佳实践以及政府专业知识和监督的渠道。

例如，诺格公司与硅谷初创公司Credo AI合作，后者正在分享其治理平台和工作流程，因为我们应用全面、相关和道德的AI政策来指导我们自己的AI开发。Credo AI最近刚刚从隐身模式中走出来，但我们已经与其合作了一年多。

他们的平台让我们在开发AI时可以查看整个工作流程，并提供证据证明我们遵循了自己的政策和原则。随着新政策和原则的制定，我们可以将这些政策和原则纳入工作流程，并提供证据证明我们也遵我走了这些政策和原则。这也使我们能够对正在开发的AI的相关风险进行充分的评估，允许我们管理该风险并根据AI的操作用例确定是否可以接受。

我们还与IBM等领先的商业公司合作推进AI技术，并与卡内基梅隆大学等高校合作，开发新的负责任的AI最佳实践。卡内基梅隆大学是AI开发的真正领导者，他们在负责任的AI最佳实践方面做了很多伟大的工作。

IBM公司正在采取的另一个步骤是扩展我们的DevSecOps流程，以自动化和记录AI软件系统开发、测试、部署和监控中的最佳实践。此外，培训诺格公司的AI员工对负责任的AI至关重要，因为知道如何开发AI技术只是复杂马赛克的一部分。

诺格公司的安全DevSecOps实践和以任务为中心的员工培训，有助于确保在负责任的AI开发中适当地使用判断和关切。我们努力实现公平的算法，通过利用多元化的工程团队并使用商业最佳实践以及其他监控技术测试数据偏差，从而最大限度地减少意外偏差的可能性。