单芯片全景拼接方案，感知无盲区

全景拼接方案可以解决在智慧视觉领域中面对横向路段或广阔场景时单摄像头视场角有限的问题。通过使用多个摄像头并进行全景拼接，可以实现对整个画面的观看，消除盲区。相比于使用多个屏幕或不断切换画面的方式，该方案可以为用户提供更方便的使用体验。同时，与使用鱼眼镜头的情况相比，该方案可以避免画面的夸张变形问题，保持画面的真实性。为旌科技海山系列旗舰产品VS839，通过单芯片实现全景拼接，使其具备感知无盲区的能力，在实际应用中可以满足大多数场景需求。

为旌科技发布的为旌海山®旗舰产品VS839，内置全景拼接算法(Any View Stitching，简称AVS)，可支持2路或4路sensor拼接，其中，2路拼接支持每路3840*2160@30fps输入，拼接后4320x3840@30fps输出；4路拼接支持每路2688*1520@30fps输入，拼接后6080x2688@30fps输出。（下图示例有图像压缩损失）

4路输入画面

拼接后图像

为旌全景拼接方案能够实现多路视频数据采集、曝光均衡和多帧同步，解决视频拼接重影和错位现象，将多角度采集的视频数据呈现为一体化画面，视场角超过180°，有效解决信息盲区问题，并保证目标对象数据采集的连续性

采用为旌海山®VS839支持全景拼接的芯片，可以实现水平方向视角最大支持360°，达到大场景全景感知无盲区的效果。

为旌全景拼接方案包含图像标定和图像拼接两部分。

AVS可对多路输入图像按照指定模式进行拼接输出。但要保证拼接效果达到最优，拼接前对镜头内参、外参进行标定是最为重要的一步。方案主要针对LSC、AWB、CCM和拼接标定等方面进行阐述。

• LSC(Lens Shade Correction)：由于镜头的光学特性，传感器影像区域的边缘接收到的光强度比中心区域小，导致图像中心明亮，四角偏暗的现象，也称为镜头暗角。在拼接场景下，重叠区域通常位于图像的边缘，而暗角则相反，这导致相邻两个图像在重叠区域的亮度有一定差异。通过进行LSC处理，可以使拼接处获得更加自然的图像效果。

• AWB(Automatic White Balance)：在不同色温的光源下，会对采集的图像中物体的真实颜色产生影响。例如，在高色温光源下，白色物体可能会偏蓝色，在低色温光源下，白色物体可能会偏红色。为了使采集物体的颜色更接近于理想光源下的颜色，并且更符合人眼的视觉感知，会对图像进行自动白平衡处理。

• CCM(Color Correction Matrix)：采集的物体颜色除了受到光源的影响外，还会受到镜头、滤光片、传感器的光谱响应等因素的影响。因此，为了使采集到的物体颜色信息更接近于人眼期望的值，需要对图像进行色彩校正。

• 拼接标定：在完成LSC、AWB、CCM等处理之后，进行拼接标定。以4路图像拼接为例，1号标定板位于sensor1与sensor2的重叠区，2号标定板位于sensor2与sensor3的重叠区，3号标定板位于sensor3与sensor4的重叠区(一般重叠区占图像比例在10%左右)。在搭建好上述环境后，将4路sensor拍摄的图像与待拼接的机器参数一同输入拼接工具，即可得到拼接机器的标定查找表。在重叠区域融合时，将使用该查找表，以确保拼接处无重影，过渡自然。过以上的图像标定步骤，可以提高拼接效果的质量，使拼接图像更加自然、无缝连接。

AVS方案的第二步是图像拼接，内部处理流程由几何变换(Transform)、相邻重叠区融合(Blend)、亮度矫正(Gain correction)三个部分组成。

• 几何变换：AVS 按照展开时的投影模式来分可以分成三种投影模式，分别为等距柱面投影、柱面投影、直线投影。为旌科技全景拼接方案支持上述三种投影方式，满足不同应用场景需求。另外在几何变换中完成姿态角(Yaw、Pitch、Roll)与投影中心点调节，可以对图像进行畸变校正，使得拼接图像无错位歪斜。

• 重叠区融合：经过上述变换并且畸变校正之后，根据标定时的查找表，由硬件对重叠区域进行融合，在目标拼接距离附近，重叠区域融合之后无重影、无错位，图像清晰流畅。

• 亮度调节：亮度增益控制分为两部分，首先会在为旌瑶光®ISP中调节AE(自动曝光)，完成各路图像亮度调节，保证各路图像亮度一致。之后，拼接后的图像亮度会由ISP再进一步调节，以满足不同场景及客户对图像亮度的需求。