陆永青院士：定制计算在未来汽车中的应用

人工智能等最新的科技正在我们的日常生活扮演愈加重要的角色，汽车行业也在不同技术的推动下酝酿着一场前所未有的变革。

在2018年蔚来资本企业家峰会上，帝国理工学院教授、英国皇家工程院院士、鲲云科技联合创始人、首席科学家陆永青提出，定制计算能够让未来汽车技术实现更快、更精准、更低能耗的系统性优化。

陆永青院士提到了已经运用在现实生活中并能在未来汽车中应用的技术，包括：

事物侦测，侦测物体、速度和距离；

时间递归神经网络，识别和预测异常；

机器学习，帮助制造汽车或更复杂物体。

在演讲中，陆永青院士结合最前沿的技术发展和实际应用，解释了定制计算在技术进化过程中发挥的重要作用。

最后，陆永青院士也展望定制计算在未来汽车领域中的应用场景，包括：

保障车和行人安全；

进行实时测试分析，优化车辆驾驶；

模拟测试场景，加速机器学习过程。

以下是陆永青院士英文演讲的全文翻译：

帝国理工学院教授、鲲云科技首席科学家、英国皇家工程院

大家好，因为我的中文并不是特别好，所以我今天用英文来演讲。在之前的一些演讲中，大家提到过定制计算，我们想要谈一下它对于未来的汽车技术意味着什么。

如何把不同技术运用到未来的汽车领域？

在过去的几年中，我们也一直在探索怎样在不同领域应用人工智能，我列了一些例子，包括我们鲲云在上海的一些合作项目。

非法倾倒识别

第一张图是有关识别垃圾车，因为它们可能和非法倾倒有关。鲲云和上海浦东城市运营中心的合作项目，能够自动识别垃圾车，确保这些垃圾车不会在错误的地方倾倒垃圾。

飞行异常监测

第二张图，大家应该知道C919，这飞机上有4万多个传感器可以检测飞机上的各种性能，实时监测分析有没有任何异常情况，确保飞机执行正确的操作。我们在跟中国商飞公司合作，研发一个系统，能够实时识别飞行过程中异常情况。

强化学习

第三张图，机器人领域。机器人怎么能够学习完成一项任务，人工智能怎么能够让这个机器人变得更加的智能和聪明，我们和英特尔在这方面有研究。至于怎么把以上这些技术运用到未来的汽车中，我先说一下这背后的操作原理。

第一个案例，我们运用到了卷积神经网络，就是多层学习网络和结构，让我们积累从物体、边缘、角落等地方侦测到的信息。第二个案例，监测数据分析用到的是神经递归网络。第三个案例，机器人学习使用的则是强化学习。Google DeepMind 也一直用强化学习帮助 AlphaGO下围棋，强化学习可以让机器人变得更加聪明。

我们如何把以上这些技术运用到未来的汽车领域呢？

对于事物侦测，我们可以直接用在汽车领域，它可以侦测路上的物品和物品的运动，比如速度或车和其他车之间的距离。

对于时间递归神经网络，我们可以用来识别驾驶系统异常的模式或外界的异常模式。每当出现一些异常的模式，计算机就会进行格外关注和识别。一些内在的异常也可以得到识别，比如机器没有正常运作，神经网络可以预测和识别这类异常的情况。

对于机器学习，相对来说比较容易理解，前一位演讲者也提到了相同的事例，我们不仅可以用一个机器人，还可以用一群机器人帮助制造车辆或者更复杂的物体。

因此，人工智能技术可以运用在未来的不同汽车场景中。

什么是定制计算, 定制计算有哪些用处？

Custom Computing（定制计算）

定制计算就是可以定制化的计算。通常实行一个计算机程序，是通过编程、软件工具，去配合固定的处理器以便执行。但是定制计算技术可以帮助我们改进这个过程：可定制化的处理器能够通过开发硬件和软件的工具，去配合一个计算机程序。要点是可定制化的处理器可以比固定的处理器更好配合和实行一个计算机程序。

我们具体可以做什么样的定制呢？有很多参数可以定制，包括算法、数据表达方法，可以是特定领域的参数，比如说识别物体，在识别物体时所处理的数据就是各种各样的图像，这些可以成为可定制参数。还有各种各样的设计工具，架构也是可以定制的。可以在编译时或者在设计时来定制，也可以在运行时来定制。

优化定制参数的目的是帮助我们做最好的权衡，来满足和达到设计需求。我们希望实现最佳的平衡，如平衡速度、资源、准确性、能力以及能源消耗等。与此同时，也会关注安全、灵活性、容错能力以及隐私等。特别是对于很重要的事物，像汽车、飞机等，容错能力、安全性显得尤为重要，一旦出现失效，可能会导致非常严重的后果。

我们也可以定制特定的系统、应用或者硬件元素，甚至可以定制特定的硬件条件。也就是说，不同的情况可能会带来不同的定制，比如是不是可以根据系统的运行时间来改变系统本身的温度？

让我们看几个事例，首先是卷积层神经网络。

Convolutional neural network architecture

（卷积层神经网络架构）

这是其中一个案例，可以通过卷积神经网络的架构看到里面有不同的元素和方块。为什么这个网络可以运作如此之快，是因为其中有多重计算在同时运行。你也可能注意到并行运作的方式是在多个层面同时进行的，每一个小的方块里面，都有许多并行的元素。

这些元素的数量和每一个元素的能力都可以定制，取决于手头的资源、需要的速度和假设等。这些元素是由这些参数决定的，我们只要调整参数就能得到最佳的组合。基于特定的需求和特定的时间得到最佳的组合，这就是我们定制的目标。

除此之外我们还有一个二值化的卷积神经网络，也是可以定制的。比如说我们要想识别手写的字体，在这个二值化的神经网络，可以达到CPU速度的314倍，但只消耗CPU能量的三分之一。和GPU相比，消耗的能量只有GPU的九分之一，速度却是GPU的19倍。我们能够以不同的方式定制卷积神经网络。而处理3D数据的卷积神经网络可以处理动作，它的运行速度达到CPU运行速度的8倍，消耗的能量仅仅是GPU的三分之一。

Reinforcement learning architecture（强化学习架构）

另一个案例是强化学习的架构，这是我一个学生开发的，它的运行速度是传统CPU的19倍、GPU的4倍。也就是说，我们知道如何加速整个过程，如何减少能量消耗，如何更快、更精准、能耗更低。这是非常重要的，特别是一些用电池驱动的系统，我们希望能耗尽可能低。

我们如何实现以上的计算架构呢？我们有一个多层的定制设计工具，在上层我们会采用对于应用的描述。你可能听过Caffe、TensorFlow等这样的描述，我们把它们编译成机器代码和配置信息，把固定的处理器和可定制化的处理器结合在一起。借此我们可以用来编程更多、更大、更优化的系统。除了实现云端计算，还可以实现边界计算，在促动器和传感器上做边界计算，从上至下的过程是非常重要的。

但在实践中，如果我们发现这个过程中生成的编程不够快、不够精确怎么办呢？这个定制设计工具有一个渠道，可以把信息从底层发送给高层，让设计者在接收到信息反馈之后，可以进一步的分析、验证，找到精度和速度最佳的组合。

我们来看一下深度学习的算法，其中很重要的一个特征就是需要很多的调整和训练，因为它会被用于不同的应用领域或场景。为了支持这样的功能，我们希望实现自动化的调整过程，这样可以自动生成硬件和软件的模块，同时自动探索设计空间。

在我们设计这个计算机的时候，可能会需要不同深度学习的功能，比如说识别物体。在应用层会用TensorFlow研发的技术结合到计算层面、算法层面，也就是深度学习网络。然后在底层，我们在硬件层面开发最优化的线路和处理器，特别是针对特定的应用、特定的网络做相应的最优安排，帮助用户实现最优设计。

 Corerain Rainman AI system（鲲云雨人AI芯片）

由鲲云公司开发的处理系统只有信用卡大小，但里面有摄像头以及以太网的界面、接口，消耗的能量仅仅是2W至5W，可以进行实时物体识别、实时语义切分，识别到底是背景、其他车辆还是行人，还有实时手势识别，识别驾驶员的指令。

Customise synthesis flow（定制合成流）

以上的处理系统，可以用定制合成流的方法优化。首先从最高层看这个设计，需要达到怎样的目标数据分析，去定义整个机器学习网络。通过进行培训以及验证、调优可以建立优化的网络。这优化的网络通过更深层的压缩，整个效率会得到提升。我们提高了效率之后，就可以把它放到应用层面，或者硬件层面。这就意味着我们可以从最高层通过不同的步骤达到最优的软件以及硬件，这经常需要满足一些前提条件的。

这是整个流程，还有一些细节，比如说最高层的用户可能并不特别熟悉具体算法，如设计师不是特别清楚人工智能。我们有针对特定领域的设计平台，让设计师即使不具备人工智能的相关知识，还可以用这样的平台设计他们的培训数据或调优数据。这样他们就可以用先进的科技做不同的应用程序，设计优化的系统，包括最底层的系统以及最高层的应用程序，用最好的方法去处理不同的应用场景。

定制计算在未来汽车中有哪些应用场景？

回到最开始的内容，我之前讲到在汽车中可以运用定制计算识别物体，识别内部以及外部的异常，还可以帮助汽车制造。我们看看其他方面怎么运用这些技术在未来汽车中。

比如设计新车：定制计算可以加速汽车设计工具，如分析物体的空气动力学软件，在这个过程中达到更高效率地设计新车。还有未来的车上会看到非常多的传感器及控制器，这些都可以通过定制计算去优化。我们可以看它们具体的感应范围或控制范围以及运行时间，这样能更好地部署定制化。

我们还有数据中心的研究，在伦敦我们跟微软合作设计下一代的数据中心，可支持定制计算的加速器。将来的汽车就相当于一个小型数据中心，会搜集传感器的数据、处理这些数据做出有效的控制，这样才能够保障汽车处于最安全、最舒适、最有效的状态。

长远而言，定制计算在未来汽车中有什么应用场景呢？我提供以下三个不同的场景。

第一，非常显而易见的就是安全

汽车和其他的交通运输工具，安全是非常重要的。特别到了自动驾驶的时候，如果被黑客攻击，黑客可能会控制你的车，把它开到你并不想去的地方，我们怎样能够在汽车上实现网络安全？怎样保障车的生产过程是安全的？我们可以把安全作为定制计算优化的目标。

第二，进行实时的测试分析

这里能够看到一个实时的语义切分，前面有行人，行人是红色，道路是紫色，背景是粉红色、黑色和蓝色，有绿色的树木。通过实时的定制计算可优化切分这些数据、分析这些数据，应用到自动驾驶上。所有的信息可以用来做初步的测试、试驾，而且可以继续做监控、模拟，后续还可以进一步分析，确保控制系统得到进一步优化。

在一辆车上优化系统之后，还可以应用到多辆车上。就像李斌董事长提到，每一辆车相当于一个传感器，可以收集不同的运行数据，了解控制的数据、发生了什么事情。多辆车上所有的信息和数据都可以收集起来进行分析，最终用来优化车辆和驾驶。这个测试分析是可以提升驾驶感受，比如针对特定的驾驶员和特定的时间，还可以运用到所有驾驶员和所有车上。可能我们现在没有办法做，因为我们还没有办法搜集所有的数据进行分析，而且这种分析将需要大量的计算能力。以上提到我们正在设计新一代的数据中心，可支持定制计算的加速器，去提高我们的计算能力，实现前述的数据分析。

第三，通过定制计算加速整个机器学习过程

你可能听说过Waymo现在做模拟测试，他们已在模拟器上跑了几十亿英里。定制计算可以优化模拟器，容许除了在实时试驾上搜集数据外，同时能够在模拟器上搜集数据，加速机器学习过程。

为什么我们需要有模拟器呢？开车的过程中我们想要避免一些危险情况。通过模拟器模拟这种场景，模拟这辆车能不能在冲下悬崖之前停住，而不是把这辆车开到悬崖上面测试，因为这会很贵和危险。我们希望通过定制计算优化模拟的方式分析各种不同场景，而不需用真实的车做这些测试。

将来这些基于定制计算的技术可以运用到怎样的应用场景，这取决于我们要怎么运用这些技术，怎么用这些技术提升大家的舒适感，提升安全感，把汽车个人化。这不仅对乘客有好处，对行人，对社会整体也有好处。这样我们才有更多的时间做其他事情，这样社会才有最大的进步。