以下为郑道勤现场演讲实录(有删减):
浩瀚宇宙下,人类所见微不足道。光不仅是生命之源,也是能量之源、信息之源,从认识光到运用光,光的应用正在千行百业逐步升维。
智能制造、具身智能,包括智能辅助驾驶,都是光学应用的典型场景。最近大家关注比较多的是智能辅助驾驶。目前其感知路线主要有两条:第一条是纯视觉路线,第二条是融合感知路线。
毫无疑问,纯视觉路线存在一些天然短板。比如,在弱光、强光、眩光、暴雨、暴雪、浓雾等恶劣环境与光照干扰下,RGB相机的成像质量与可靠性会下降;另外,它的感知局限性多,对路面上纸箱、轮胎、三角牌等异形障碍物或特殊标识识别能力有限。再次,RGB相机无法精准测距,依赖间接的估算,易受“欺骗”而产生误判,尤其在极端车速和背景相似的情况下,识别能力非常有限。
多传感器融合路线在实际应用中仍面临物理与工程层面的挑战。首先,该路线对传感器间的时空同步与标定精度要求极高,且不同模态的原始数据特性差异大,进一步加大了融合难度。
其次,融合方案的硬件与算力上的成本居高不下,激光雷达、视觉相机与毫米波雷达三类数据需经过复杂的标定、对齐、时序同步及权重分配等处理流程。此外,在感知融合决策过程中,系统难免出现误判,例如空中坠落的电线、突然收窄的路面、动物闯入车道等大量极端场景(Corner Case),都可能导致系统响应失效。这些因素共同推高了研发的边际成本,使得技术优化面临持续的压力。
另一方面,激光雷达的物理极限也很明显,它的识别能力已经接近于极限值。后面走固态、走1000线,解决不了根本性的问题。
中科摇橹船一直在探讨,为什么不可以把视觉相机、激光雷达、毫米波雷达三者实现底层统一,实现数据跨越融合,甚至不需要融合呢?
此前,我们深耕了十多年激光成像技术,持续探索技术降本的方法,想要将其应用于智能驾驶、人形机器人等领域。为此,我们提出了“基于高时间分辨的空间推扫计算光学成像”这一技术路线,通过四大核心技术壁垒——纳秒级脉冲激光照明技术、高时间分辨率皮秒级时序同步控制技术、空间推扫切片成像和三维重建技术以及单光子级高灵敏度门控成像技术,研发出一款“超级智能传感器”,以此来构建面向未来的全新一代感知路线。
概述下来,基于高时间分辨的空间计算成像技术,功能是把激光雷达的3D测距、可视化相机成像、毫米波阵列的抗干扰与穿云透雾能力,三者集合在一个传感器上,通过一条光路实现激光雷达、可视化相机、毫米波雷达阵列的功能,并在底层实现感知统一,在前端完成数据统一。
我们暂将其命名为“空间智能相机”。它作为全新一代的感知路线,具备全场景、全识别、全测量与深度重建的能力。这项技术最初价格很高,单价在100万~300万元。我们不断地降本,降到小几十万元,目前更进一步降到万元级别。再往前走,我们认为,随着规模化、集约化以及底层设计不断突破,一定可以把它的成本降到更低。
行业近期出现的,在一个传感器里把激光雷达和可视化相机进行前端融合的方案,成像采用CMOS,测距采用SPAD(单光子雪崩二极管),再通过芯片进行融合。虽然它把激光雷达和相机做了前端融合,但并没有实现真正的底层融合统一。因此,它还是需要通过算法对两个物理信号进行对齐标定,依旧无法克服雨雪雾天气的干扰。
这里,我们打个比方,把视觉、激光雷达、毫米波雷达三种信号分别定义为一步,当下的三种传感器融合方案则为三步;可视化激光Limera将两种信号前端融合但还没有跨越融合,应该是前进了一步半;而空间智能相机,则一次性把三种信号通过一种传感器获取感知,跨越融合,底层统一,应该是前进了三步,可被称为智能感知的终极方案。
试想一下,有一种传感器,通过发射扩散激光,成像即识别、识别即测量,同时还能抗干扰、抗强光眩光、穿云透雾,那我们还需要整合这么多传感器去做融合感知吗?纯视觉路线直接接入就可以用,感知融合路线去掉冗余包袱也可以用。纯视觉和感知融合的路线之争是不是就终结了?江河汇聚,殊途同归,未来只有一种路径——空间智能路线,基于高时间分辨的空间计算光学成像技术。
我们的空间智能相机,概括下来有三大优势:第一,在底层统一,超越融合;第二,能够做到全场景、全测量、全识别、全天候;第三,智能驾驶算法的开发成本会显著降低,因为这款相机它不需要做融合、对齐、判定以及权重分析,可以节省极大的人力和算力。
现在空间智能方兴未艾,且一定是大势所趋!我认为,空间计算光学将为空间智能提供硬核支撑,空间智能相机将为空间智能发展提供源源不断的空间智能切片(Clips)数据,持续、大量、实时在线生成包含语义信息、场距信息、全景深度图甚至点云数据的切片数据,同时能够抗强眩光干扰,实现全天候。
我们的奋斗目标是成为全球领先的智能感知新龙头。今天论坛的主题是“窄门”,我几年前写过一篇文章,要坚持走“窄门”。走窄门虽然一开始难,但行至深处可见满天星光;一开始走“宽门”,行者众多,很可能很快陷入红海。
谢谢大家!让我们共同迎接空间智能时代!走窄门,行远路,见满天星光!