展商分享 | 高精度汽车摄像头：驶向清晰视野的未来

Senior Director Applications Engineering, GT - Research & Development of ASMPT AEi 

Director, Business Development & Product Management of ASMPT

随着辅助驾驶和自动驾驶汽车需求的不断增长，视觉技术已成为整个应用框架的基本且关键需求，助力汽车可视化外部环境并实现感知计算能力。图像清晰度和高分辨率的细节识别构成了视觉识别和计算输入数据的基础。经过多年的发展，汽车摄像头分辨率大小逐渐增加以提升其动态能力，视野范围扩大以拓展视野范围，并具备更多功能。然而，对于更高的分辨率、更广的视野范围以及更小的像素尺寸的需求，摄像头组装过程的复杂性和敏感度也面临新的难题。

车载摄像头技术已达到其当前功能的顶峰，可以为高级驾驶员辅助系统(ADAS)提供必要的性能，并推动真正自动驾驶汽车的发展。为了充分利用当今摄像头技术的潜力，我们需要采用一种新颖而全面的方法。这需要评估特定需求，并利用这些能力以合理的成本获得最佳性能。这样不但提高性能，并能确保生产线获得最大利润。在这个注重成本的行业中，我们必须在可实现的目标和经济可行之间取得平衡，让我们尽可能地兼顾双方的优势。

为了更深入地研究当前汽车摄像头所面临的制造挑战，本文将采用一款具有代表性的真实相机，该相机具有8.3百万像素的和120的水平视场角，让我们可以更清楚了解汽车摄像头生产过程的复杂性。

甲. 实现自动驾驶，首要任务是确保摄像头在可用寿命内能够准确区分行人、车辆和外部设备等。因此，图像的清晰度对车辆识别实体的性质构成了挑战。为了在整个温度范围内获得最大的可用焦深度，必须进行最佳的镜头定位。具体步骤如下：

模糊（左）和清晰图像（右）的检测结果1

1. 评估镜头和传感器组合随温度变化对光学性能的限制。包括不同视场角处的MTF限制：根据镜头制造商的规格，评估中心和外部区域的MTF。以及分析摄像头在低温（-40℃）和高温（+85℃）下的实际性能，并与组装环境温度（通常为22℃）下的性能进行比较。

2. 摄像头组装，同时分析性能与指定要求存在偏差的区域。这些区域包括中心标靶区域（Region Of Interest，ROI），其MTF值应大于0.6；以及外部ROI，其MTF值应大于0.4。为了满足要求，需要进行优化对准并评估余量。同时，需要设置组装点，以便在装配过程中允许镜头到传感器距离的变化。通过这些步骤，可以确保相机在装配完成后达到指定要求的性能。

3. 为完成分析，应验证由热膨胀系数 (Coefficient of Thermal Expansion，CTE) 引起的组件的膨胀或收缩范围及温度范围是否与余量兼容。在本例中，余量应在±5μm内。

与中心镜头传感器位置对齐，以实现整个温度范围内的最佳性能。

乙. 为了精确获取车辆周围的视觉信息，必须正确设置摄像头的指向角度。然而，如何降低指向误差，令车载摄像头尽可能减少指向调整是另一个需要面对的考验。

各种单目测距方法2

我们收到了将摄像头对准到0.1度的要求，然而该镜头规定存在0.3度的误差。为了实现车载摄像头的高精度指向，我们可以采取两种方法来减少指向误差，分别是镜头校准和传感器校准，每种方法都有不同的方式来优化误差。

• 镜头校准

  当相机安装在与图像传感器相连的外壳上时，镜头校准是最理想的选择。镜头校准的目标是实现图像平面与传感器的共面性，并将目标中心校准到图像传感器的中心。

  尽管如此，有些误差只能部分补偿，例如外壳中图像传感器平面的倾斜，可以通过调整镜头的倾斜度来进行补偿。然而，光线从目标中心到图像传感器中心可能无法完全与镜头外壳的圆柱体校准，从而导致视轴误差。一般情况下，通过在主机壳上使用基准进行相机安装是没有问题。同时，与镜头光轴与镜筒未校准相关的误差可以通过允许镜头外壳倾斜来纠正这个问题，从而消除偏差。

• 传感器校准

  当摄像头安装在镜筒上时，传感器校准是最佳选择。传感器校准的目标与镜头校准相同，即实现共面性和图像中心对准。

  然而，镜头光轴与镜筒之间的倾斜误差不能完全补偿，例如示例相机的镜头规定最大误差为0.3度，即光轴与镜筒的错位。传感器相机外壳中传感器平面的平整误差将通过主动对准过程进行补偿。透过这方法，摄像头仍然能被对准，使得图像传感器的中心与目标的中心对齐。

以上两种方法都可以在一定程度上减少指向误差，从而实现车载摄像头的高精度指向。

丙. 在汽车制造中，生产成本对技术的可采用性至关重要。因此，怎样优化摄像头的校准时间以最大化设备吞吐量和经济效益，是另一个需要考虑的关键因素。

为了应对这个挑战，我们需要改进相机对准的方法。通过消除相机组件数据聚焦扫描期间的停止运动，我们可以大大缩短对准时间。同时，通过光学平台与图像捕获的运动协调，实现单次对准能力进一步提高效率。精确的时间和位置协调是关键，以确保每个捕获的帧与传感器上的特定物理距离相对应。全局快门相机 （Global shutter）更易于实现这一目标，而滚动快门相机（Rolling shutter）需要更仔细地了解每个帧的物理位置。另外需要注意的是，图像中心到图像传感器的光学轴线可能与镜头的光学轴线不完全重合，这就需要进行调整和纠正。通过优化对准流程，相对于传统的停止运动主动对准方法，我们已经实现了50%甚至更大程度的时间缩短效果，从而显着提高设备的吞吐量，并带来更好的经济效益。

丁. 为了确保最佳的产量，我们必须在出厂前对摄像头进行品质认证。在摄像头组装完成后，需要快速对其进行对焦评估，从而全面了解整条生产线的性能、过程控制情况以及趋势预测分析，同时还需要了解摄像头在时间和温度变化下的稳定性，以避免生产线故障的发生。

有见及此，我们可以采用主动对准过程，透过镜头和传感器之间的扫描，获得镜头到传感器组合的最佳位置，并得到关于组件最佳间距的高精确度信息。

通常，后期生产测试是在固定距离上进行的，主要用于判断相机性能是否合格，但无法揭示每个ROI的MTF偏差是由于胶缩变化、镜头组件在热应力下的移位、图像传感器在其基底上的畸变，还是由基底本身在热应力下的移动所导致的。为了补充初始主动对准扫描焦点空间的分辨率和分析水平，可以通过对每个ROI的目标距离进行范围扫描，甚至包括超过无限远的距离。这种分析可以提供镜头和图像传感器之间物理关系的完整图像，甚至可以揭示镜头组件是否在热循环中发生了移位问题。

在这方面，使用电动目标或平衡光管投射图像提供了强大的分析工具，可用于确定以下实际性能：镜头与传感器之间的位置距离、镜头图像与传感器平面的共面性变化、每个ROI的最佳光学性能变化等。例如，若某个ROI的 MTF在最终固化前峰值为 0.55，最终固化后的峰值为 0.45，无论目标距离是多少这都可以表明镜头组件发生了移位。所以通过扫描目标的分析，能够为主动对准过程提供定量反馈，准确指出退化的根本原因。

戊. 为了确保在汽车行业中获得最准确的空间信息以进行计算和采取正确的行动，我们还需要解决图像失真这个严重问题。为了在最短的时间内以完全准确的方式进行内部参数校准 (Intrinsic Parameter Calibration , IPC)，以降低成本，需要采取适当的方法。这有助于提高摄像头的精度和性能，从而更好地支持驾驶辅助和自动驾驶技术的发展。

图片来源：OpenCV

原始图像（上）及失真图像（下）的示意图。图片来源：Udacity

图像线性化是相机性能的关键部分，用于物体识别和避障，以及图像合并呈现更完整的画面。采用参考相机映射方法可以缩短获得可验证内在参数集所需的时间。该方法通过直接比较待校准相机与已校准相同类型的参考相机所看到的目标图像，而无需移动目标，从而消除了校准过程中移动目标的需要。通过对观测到的目标位置的直接比较，可以计算出参数，评估相机之间畸变场的差异，包括中心畸变（Center Of Distortion，COD）、主点（Principal Point，PP）和模型系数。这种IPC校准方法的速度比主动对准过程的一倍。

随着自动驾驶技术的发展和消费者对安全性能的不断提高要求，摄像头技术将成为汽车行业中越来越重要的因素。因此，实现高精度、高性能的摄像头技术将成为推动汽车行业发展的关键因素之一。在厂商角度而言，提供成本效益的价格、可盈利的利润率和卓越性能的真正世界一流的相机产品，必须基于全面的商业方法，从整体上管理过程和技术组件的细节。采用带有移动目标分析的有效测试，可以全面掌控摄像头产品的过程、材料和机器，能确保其产品具备高质量和卓越性能，为实现安全驾驶和未来汽车技术的愿景作出贡献。

如有兴趣可在ASMPT网站留意最新消息：semi.asmpt.com

注释：

[1] O. Kupyn, V. Budzan, M. Mykhailych, D. Mishkin and J. Matas, "DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks," in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, 2018 pp. 8183-8192.

doi: 10.1109/CVPR.2018.00854

[2] Li, B., Zhang, X., & Sato, M. (2014). Pitch angle estimation using a Vehicle-Mounted monocular camera for range measurement. 2014 12th International Conferenceon Signal Processing (ICSP), 1161-1168.