11月1日,轻舟智航正式发布自动驾驶解决方案品牌名称“轻舟乘风”。“轻舟乘风”取自诗句:长风破浪会有时,直挂云帆济沧海。这两句诗出自唐代大诗人李白的《行路难》,表达的是一种历经坎坷,但仍然无比坚定的信念,也充分彰显了轻舟智航的价值主张:基于数据,成于感知,用最强的PNC引领城市NOA的新高度;携手生态伙伴,打造使用范围最广的自动驾驶解决方案 。
在近日举办的轻舟智航技术工坊媒体沟通会上,轻舟智航公布了其在感知、数据、预测等多方面的最新技术进展,其中,大模型OmniNet最为惊艳。OmniNet取名自omnipotent,象征「无所不能的感知融合能力」,它将作为轻舟智航的感知主模型,支持核心感知功能。
据介绍,基于「超融合」感知方案,为助力加速城市NOA前装量产,轻舟智航在行业内首次将时序多模态特征融合的大模型OmniNet部署在量产平台上,以一个神经网络即可实现视觉、激光雷达、毫米波雷达在BEV(Bird’s Eye View)空间和图像空间上输出多任务结果。相较传统方案,OmniNet在实际应用中可节省2/3的算力资源,并拥有更高的感知融合精度和模型迭代效率,而且可以低成本适配不同厂家的传感器配置,更轻量、更高效、更灵活地满足城市NOA的量产需求。
轻舟智航此次提出的OmniNet是应用于前中融合阶段、实现数据/特征融合的全任务大模型,也是首个可在量产计算平台上实现时序多模态特征融合的大模型。利用一个神经网络模型,将视觉、毫米波雷达、激光雷达等数据通过前融合和BEV空间特征融合,让本来独立的各个计算任务通过共享主干网络(backbone)和记忆网络(memory network)进行高效多任务统一计算,最终同时在图像空间和BEV空间中输出不同感知任务的结果,为下游的预测和规划控制模块提供更丰富的输出。
与传统方案相比,OmniNet感知更精准,提供丰富且准确的环境感知结果,有效提升感知的精度和准确性;车端更适配,以更高的算力资源利用率,更低的迁移成本,更好地满足车企泛化需求;迭代更高效,更适宜使用数据驱动的算法开发模式,有效解决实际道路场景面临的长尾问题。
轻舟智航联合创始人、首席技术官侯聪表示,城市NOA是辅助驾驶的天花板,但未来一定会逐步成为消费者的主流需求。实现“能用、好用、爱用”的城市NOA,正是轻舟智航对于用户及客户的价值,助力主机厂实现智能驾驶突围。