编者按：近期，DARPA完成“可靠自主性”项目第一阶段工作，为自主系统开发了多种安全保证方法并进行了测试，取得初步进展。
近年来，由于计算、建模、传感等技术进步，各行业领域开发的自主系统的复杂性显著提高。但自主系统的安全保证仍然落后，这在很大程度上是由于其依赖数据驱动的机器学习技术，而这种技术在本质上是不可预测的，并且缺乏必要的数学框架来保证其正确性。这限制了人们对“基于机器学习的网络物理系统”（LE-CPS）安全性和正确运行的信任，进而会阻碍这种系统在关键国防任务或能力中的广泛部署和应用。为解决上述挑战，DARPA于2017年启动“可靠自主性”项目，并在近日完成项目第一阶段。该项目寻求为LE-CPS在设计阶段和运行阶段的安全性和功能正确提供持续保证，目前正在开发可数学验证的方法和工具，用于不同类型的数据驱动型机器学习算法及其应用，以增强系统的自主性并确保系统安全。为实现研究目标，该项目优先考虑国防领域空中、地面和水下自主平台的挑战性问题。项目第一阶段对保证方法、工具和“机器学习使能能力”（LEC）进行了18个月的研究开发，多个研究团队将开发的技术集成到自主系统上进行演示验证。项目经理桑迪普·尼马表示，在空中、地面和水下平台上进行的三次演示验证取得重要进展，验证了开发的技术既能在设计阶段提供保证，又能在系统和环境不断变化的运行阶段提供保证。（1）加州大学伯克利分校、柯林斯航空航天公司和SGT公司研发团队与波音公司合作，验证了开发的技术能在飞机地面运行期间提高系统安全性技术 针对设计阶段的安全保证，研究团队开发了名为VerifAI的工具包，可在形式化模型和规范的驱动下对基于机器学习系统进行设计与分析，寻求通过将形式化方法应用于认知和机器学习组件来解决挑战，并在存在环境不确定性的情况下对系统行为进行建模和分析。针对运行期间的安全保证，研究团队还开发了一种安全内核方法，允许自主系统检测异常输入（如障碍物），然后确定适当、安全的响应行为。试验情况 研究人员将开发的工具集成到波音公司的评估平台，包括“铁鸟”X-Plane模拟机和一架小型试验台飞机，并针对地面运行相关的挑战性问题进行测试，包括中心线跟踪以及滑行过程中跑道上障碍物的探测与规避，这也是无人机在机场和航母甲板上运行所需的重要能力。测试期间，保证方法能检测到滑行过程中存在的障碍物，然后触发安全方法，识别并执行绕过障碍物的安全响应；还能检测到摄像机信号出现噪声或模糊，然后触发安全方法，识别并执行安全响应——让飞机停下直到安全恢复运行。此外，这些工具能检测到可能导致“机器学习使能能力”行为失常的异常情况，并允许系统在这些异常情况下保持安全运行。形式化模型和规范的使用为设计阶段和运行阶段的系统安全性提供了保证。（2）HRL实验室研究团队与美陆军作战能力发展司令部地面车辆系统中心合作，在“北极星”MRZR自主车辆上验证了保证工具技术 研究团队开发了一种工具包，可利用数学推理来分析人工智能系统，通过计算可能导致不良结果的情况来发现和预防安全故障——本质上是确定神经网络不能安全使用的情况。研究团队使用了具有安全核验证明的“机器学习使能能力”的数学模型，以及一个动态保证监控器来测量试验系统偏离数学模型的情况。试验情况 为了评估工具的效用，研究人员首先使用其开发的工具识别人工智能系统出现意外操作或异常行为的潜在场景，然后将结果输入到一个模拟系统中，以验证所识别的场景确实会导致不安全行为。在模拟评估之后，研究人员与美陆军地面车辆系统中心合作，在“北极星”MRZR上集成其工具包和“机器学习使能能力”，进行物理系统演示验证，使用开发的工具控制自主车辆通过一条计划的路径，并绕过障碍行驶。试验期间，研究人员验证了用于激光雷达的机器学习方法能够将目标点分为“地面”和“非地面”，或进行地面细分，从而使系统能够识别车辆行驶路径中需要规避的障碍。该方法能满足数学上的正确性以及相对于基线系统的显著性能提升。（3）范德比尔特大学和宾夕法尼亚大学研究团队与诺斯罗普·格鲁曼公司合作，致力于解决机器学习技术如何提高自主水下潜航器在平台控制和感知方面的任务效能技术 研究团队正在开发一种“机器学习使能能力”，使自主水下潜航器能够现场监测运行条件，进行评估，然后实时规划替代性行动方案，以安全实现任务目标。对此，范德比尔特大学研究人员开发了名为ALC的集成工具链，用于“机器学习使能能力”设计和安全保证。ALC可支持基于机器学习的网络物理系统开发，包括架构建模、数据收集、系统软件部署，以及“机器学习使能能力”训练、评估和验证。试验情况 所开发的“机器学习使能能力”和安全保证技术被集成到自主水下潜航器演示验证平台上并进行测试，目标是使用机器学习支持系统感知和控制。具体而言，挑战性问题主要是确保自主水下潜航器在检查海底基础设施时，沿着设定的路径航行，无需事先查看该区域的布局或地图。尼马表示，海底环境面临独特挑战，由于恶劣的环境条件和物理限制，任务需要更长时间，导航/传感/通信问题加剧了挑战，先进的自主技术和保证方法可极大帮助水下运行。试验中，自主水下潜航器完成测试任务所需的时间和能量大幅减少；相比以前需要详细、多步骤的指令，“机器学习使能能力”使用关于测试任务的基本指令在水下环境中安全航行，并将通常需要的多个任务合并为一个任务，减少了对人工数据分析的需要，并实现了最佳传感器分辨率。尼马表示，项目第二阶段将聚焦于技术成熟化和可扩展性，覆盖更多危险场景，增强对环境变化的稳健性，并优化对突发事件的缓解能力。转自：国防科技要闻
