模拟人眼、拯救糊图、兼容主流AI芯片，最小事件视觉传感器问世！对话Prophesee CEO
芯东西（公众号：aichip001）
作者 | ZeR0
编辑 | 漠影
抓拍出不模糊的移动物体照片，从芯片的角度来实现，难度有多高？
▲用事件视觉技术将抓拍照片变清晰（图源：Prophesee）
从硬件来说，增加一颗传感器，足够做到。
不仅让摄影设备高效捕捉到清晰画面，模拟人眼的事件视觉传感器，还能大幅降低算力需求和功耗，并且不受光线的影响。
一家法国创企普诺飞思（Prophesee），在探索这个突破性方向的道路上，已经坚持了9年。
它是欧盟获融资最雄厚的无晶圆厂（Fabless）半导体初创公司，拥有堪称豪华的投资阵容，包括英特尔投资、博世创投、雷诺集团、小米、韦尔股份、创新工场、韦豪创芯等。
今年10月，Prophesee推出业界首款专为超低功耗边缘视觉设备集成设计的Metavision事件视觉传感器GenX320，进一步改变机器看世界的方式。
近日，Prophesee联合创始人兼CEO卢卡·维雷（Luca Verre）接受芯东西的专访，并分享说，在相关知识储备、经验积累、现有IP数量（50多项国际专利）上，Prophesee都具有显著优势。
▲Prophesee联合创始人兼CEO卢卡·维雷（图源：Prophesee）
他告诉芯东西，Prophesee目前专注于将其创造的价值最大化，暂不考虑IPO或并购，接下来其路线图将主要包括两大方向：
一是提高分辨率，在芯片内部增加更多的像素，以覆盖更多需要高分辨率的应用场景，例如汽车、安防监控、工业自动化、手机等等。
二是缩小芯片体积，以满足一些对成本效益以及芯片尺寸要求更高的应用，例如物联网设备、平板电脑、笔记本电脑或AR/VR头显等设备。
除此之外，目前计算机视觉领域正探索让传感和图像处理更接近处理器，将尽可能多的智能放在图像传感器上或接近它。
软件是Prophesee的重要资产和重点投入方向。卢卡说，这将带动市场对事件视觉传感技术的接受度和采用度提升。
一、受人类视觉机制启发，改变机器看世界的方法
人类用眼睛来看世界，机器则通过图像传感器。
传统图像传感器通常基于帧，以固定帧率一帧一帧地输出静态图像。由于人眼看物体存在视觉暂留现象，每秒显示的静态图像数量足够多时，人眼就会看成连贯的动态影像。
▲人眼视觉成像机制绘图（图源：Prophesee）
也就是说，在记录变化的影像时，图像传感器需要通过拍摄一系列图像来实现。
这带来一些难解的问题：
首先是图像场景变化越快、拍摄的图越多，数据越多，消耗的算力和能量也就越多；其次当光线条件不理想，比如曝光过度或曝光不足时，不能适应明暗突变情况，容易拍出糊图。
▲基于帧与基于事件的传感器对比（图源：Prophesee）
事件视觉传感器的不同之处在于，不会记录整个画面的静态背景信息，只记录动态信息。
▲高尔夫球手挥杆过程，其身后的天空、树木、草地等背景信息不变（图源：Prophesee）
就像人眼细胞检测到场景发生变化（即事件）时才会向大脑报告，事件视觉传感器上的像素以异步方式捕获事件数据，每个像素都嵌入了智能处理，能在检测到变化时独立激活，将事件连续地、逐像素地发送到系统。运动被捕获为连续的信息流，帧之间不会丢失任何内容。
▲事件视觉传感器每个像素独立且异构（图源：Prophesee）
通过模拟人眼视觉机制的方法，模拟处理的数据量骤减，所需的算力和能耗也显著减少，并能对场景中微小变化进行超快速反应，捕捉到亚毫秒级转瞬即逝的瞬间。
拍出糊图通常是快门速度太慢或被拍摄对象运动太快导致的。而事件视觉传感器每当检测出照明变化时，每个像素独立触发连续的事件流，不存在曝光影响，因此能有效解决摄影模糊问题。
▲传统图像传感器与事件视觉传感器机制对比（图源：Prophesee）
此前Prophesee研发的事件视觉传感器已经被应用在手机端，用于提高后置主摄的摄影质量；用在AR/VR/XR头显中，优化注视点渲染或无缝交互的高速眼动追踪、手势识别；或是在电视、PC（个人电脑）、游戏机及智能家居设备中实现低延迟、无接触的人机交互界面。
▲基于事件视觉传感器的下一代眼动追踪功能演示（图源：ZinnLabs）
在超低功耗always-on区域监控系统、家庭物联网及医疗设备中，事件视觉传感器可用于检测跌倒的摄像头，或是智能存在检测和人数统计。
Prophesee联合创始人兼CEO卢卡·维雷认为事件视觉传感器正处于快速发展阶段，索尼、小米、高通、英特尔等大型科技及芯片公司逐渐看到神经拟态事件视觉传感技术的潜力，并正与Prophesee合作，共同推动这项技术及相关生态的发展。
为了更好满足消费电子设备和嵌入式边缘视觉系统对有限能源、计算和尺寸的需求，Prophesee还在持续探索如何将传感器做得更小，使其在极具挑战性的操作和极端苛刻的照明条件下以更低的功耗提供稳定、高速的视觉感知。
二、业界最小事件视觉传感器：超低功耗，兼容主流AI芯片
今年10月，Prophesee推出其第五代Metavision传感器产品GenX320，裸片尺寸只有3x4mm，是目前业界最小且最节能的事件视觉传感器。
其像素尺寸为6.3 x 6.3μm，分辨率为320 x 320Px，且数据格式灵活，能捕捉到超快速和转瞬即逝的场景动态变化，自动适应低光强度和高光强度，在极端照明条件下也能精准捕捉事件。
美国创企Zinn Labs正在基于GenX320开发发新一代视线跟踪系统。据其创始人兼CEO凯文·波义耳（Kevin Boyle）分享，GenX320的更小封装尺寸“使得事件视觉传感器能够首次应用于空间有限的AR/VR头显设备中”。
实现这些进步，主要有3个方面的技术难点：
首先是先进的制造工艺技术，以制造足够小的芯片，以便能搭载于大众消费设备中。Prophesee与一家欧洲的代工厂合作，由代工厂提供先进的背照式（BSI）3D堆叠技术，以便把两片晶圆（上面一层收集光信息，下面一层搭载智能像素）堆叠到一个设备里，从而显著减小传感器尺寸。
除了提高制程工艺外，Prophesee缩小尺寸的策略还包括降低分辨率，减少像素数量，因为边缘智能设备并不需要很高的分辨率。
其次是在芯片内部开发超低功耗的电源管理模式，以增强其技术在超级功耗方面的优势。
Metavision传感器生成的数据平均只有传统图像传感器的1/1000~1/10，再加上基于像素独立性和片上智能电源管理模式，GenX320功耗仅为36uW，典型工作功耗为3mW，支持智能唤醒事件，同时支持深度睡眠和待机模式。
三是为了实现与主流人工智能（AI）加速器更好的集成，Prophesee在芯片内部开发了一些数字化处理功能，能够帮助其将事件视觉传感器收集到的数据与当前主流的AI加速器实现兼容。
当前主流AI加速器以处理图像信息为主，由传统图像传感器收集到大小固定、基于帧的图像，图像数据是同步且可预测的。
而事件视觉传感器收集的事件数据是异步且稀疏的，GenX320会对事件数据进行一些处理，让它更接近大小固定、时间固定的、可预测的数据流，进而使得AI加速器处理数据更轻松。
▲传统图像传感器与事件视觉传感器捕捉数据对比（图源：Prophesee）
卢卡很看好神经拟态技术在边缘设备中的应用，认为这将逐渐覆盖传感器、信息处理及计算单元，未来会有更多AI功能会集成到传感器内部。他也对不同设备上的多传感器融合也很感兴趣。
GenX320能与标准SoC轻松集成/连接，有多个集成事件数据预处理、过滤和格式化功能，可最大程度减少外部处理开销。
另外，由于事件视觉传感器具有稀疏无框事件数据以及静态场景去除功能，不会捕捉图像信息，因此GenX320能从传感器层面保护隐私。美国最大技术许可公司Xperi的CTO Petronel Bigioi认为，Prophesee的事件视觉技术将“隐私设计”原则提升至更安全的水平。
▲戴上眼镜/口罩前后下的姿势、目光检测演示（图源：Xperi）
三、软件套件即插即用，免费提供近百种算法
卢卡告诉芯东西，软件将是Prophesee重点投入的方向。
在Prophesee，工程师团队具备的技能可分为两个方面：一是芯片设计，包括模拟和数字IC设计；二是AI，包括AI和计算机视觉方面的专长。
Prophesee会与客户的工程师团队就软件、计算机视觉、AI等进行交流，根据客户需求来开发一些新的应用。这个过程中的一大挑战在于，从客户的角度来讲，其工程师团队可能更加习惯于使用传统的技术或解决方案，对于事件视觉传感器或者是对于神经拟态的生态没有那么熟悉。
为了帮助客户弥补这些技术或知识空白，Prophesee会提供与其事件传感器兼容的软件工具支持。
“当我们开发应用，特别是一些AI和机器学习方面的应用，机器的工作负载很大，包括生成数据、收集数据、标记数据等等。这时候，软件可以帮助你实现更轻松的开发。”卢卡解释说。
▲基于事件视觉传感器的手势识别选择商品演示（图源：Ultraleap）
最新推出的GenX320配套了一整套开发工具，包括装有板载芯片（COB）GenX320模块或紧凑型光学柔性模块的综合评估套件。Prophesee还提供一系列可无缝连接到各种嵌入式平台的适配器套件，从而缩短产品上市时间。
PropheseeMetavision Intelligence是当前业界最全面的免费事件视觉软件套件，在全球拥有超过10000名用户。该软件套件相当于架起了一座连接神经拟态世界和传统解决方案之间的桥梁，提供近百种算法、丰富的数据集和AI模块，几乎即插即用，还支持开源，同时提供95种算法、79个代码示例、24个教程，能够很好地帮助客户认识并理解这项技术，并实现快速部署与应用。
如果以10分为满分，卢卡认为Metavision Intelligence当前的好用程度可以打8分。
在他看来，只有当技术能够得到市场广泛认可和采用时，才更进一步赋能客户，降低他们选择使用事件视觉传感技术的成本和难度，为整个行业生态创造更多的价值。
▲传统图像传感器与事件视觉传感器捕捉车前场景数据的对比（图源：Prophesee）
四、对中国市场增长充满信心，将持续增加投入
Prophesee于2014年法国巴黎成立，其联合创始人兼CTO克里斯托弗·波什（Christoph Posch）自2000年初就开始从事神经拟态技术相关研究，至今已有20多年造诣。
其公司战略立足全球，当前拥有100多位科研人员，占总员工人数的约87%，研发主力在法国巴黎和格勒诺布尔，在中国、日本和美国均开设有办公室，不断全球各地区市场的业务。
在整个研发过程中，Prophesee需要考虑到不同地区、不同市场客户的需求，因此当地团队会与客户密切沟通，了解他们当下和未来几年的产品规划及需求，然而反馈给研发人员，从而及时调整或提前规划Prophesee新产品的路线图。
根据市场研究公司Yole的数据，神经形态传感市场在2025~2030年间将以116%的复合年增长率增长，到2030年将达50亿美元。Yole的《2021年神经拟态计算和传感报告》显示，移动、工业和新兴市场将是主要的神经拟态市场领域。
▲事件视觉传感器的一些应用领域（图源：Prophesee）
“中国一直是我们重点关注的市场。我也始终相信，任何一家具有全球视野的企业，都应该重视中国市场的战略地位。”卢卡谈道。
他告诉芯东西，Prophesee的中国团队有15人，负责推动相关生态的建设，并为本地合作伙伴与客户提供相关的技术支持。
在中国，Prophesee看到越来越多的客户对其产品和技术表示感兴趣，特别是在物联网设备以及消费电子领域，很多客户在寻找更具成本效益的传感设备或解决方案。
一个应用案例是Prophesee和中国台湾公司YunX的合作。YunX基于Prophesee事件视觉传感技术开发了一款智能摄像头，能用在检测到家中老人或者医院病患跌倒时触发警报。
在卢卡看来，中国是全球最大的半导体生产和消费市场，也是全球智能手机以及电动汽车领先的生产和消费市场，半导体领域的风投金额同样遥遥领先于世界其他地区，越来越多的资源正在进入这个市场，推动本土生态及供应链建设。
“我们对中国市场的增长充满信心。未来我们也会不断增加对中国市场的投入。”卢卡说。
结语：新兴应用需求大涨，未来发展空间广阔
据卢卡观察，过去10年，传统图像传感成像方式似乎没有出现突破性发展，更多变化在于边缘AI的兴起以及ToF、3D传感、红外传感模式的激光雷达、事件视觉传感等新兴传感方式。
近年来，自动驾驶、AR/VR、机器人、智能手机、物联网及边缘AI领域出现了越来越多的新兴应用，需要新的解决方案，这使得他对事件视觉传感技术未来巨大的发展空间很有信心。
卢卡希望Prophesee的神经拟态事件视觉技术可以启发和鼓励到更多的企业家、工程师们，共同推动并实现提高人们生活质量的愿景，譬如更安全、更智能的自动驾驶汽车，更智能的家居摄像头，或是在医疗领域帮助失明人士重见光明、提高医疗设备的诊断能力等等。