图像的基本知识和框架｜盖世大学堂智能座舱系列知识讲解

随着高清显示需求的提升，特别是在短距离观看时，如手机屏幕，分辨率需求从2K、4K甚至达到8K。在图像传输过程中，利用人眼对亮度信息比色彩信息更为敏感的特性，实现有效的压缩技术，保持亮度信息的同时，根据压缩比调整色度信息。车载摄像头的传输技术则注重于速度和质量，通常不进行压缩，采用串行信号传输以提高数据传输效率，以应对大量图像数据的挑战。本文全面覆盖了图像从采集到显示的全过程及所面临的挑战和技术创新。

一、人眼视觉特性与图像基础

（一）人眼结构与视觉能力

人眼的结构类似于摄像机，角膜、晶状体等共同组成具备镜头功能的组合，将物体成像投影到视网膜上。人眼像素分辨率较高，能清晰看清视场区域对应的分辨率为2169X1213，算上周边模糊区域，整体分辨率可达6000X4000。人眼对亮度信息敏感度高于色度信息，在漆黑环境中，一支蜡烛的光也能让人看清周围，且在照度、背景亮度不适或视觉目标运动速度加快时，人眼分辨率会降低。人眼对彩色细节的分辨率比对亮度细节的分辨率差，对饱和度高的颜色敏感度较弱，色调不同时，对色调方向上的色差敏感度也不同，低光照条件下色彩还原度较差，一般认为人眼视觉流畅的帧数为24fps。

（二）人眼视觉与图像色彩

人眼只能捕捉到波长在400nm-700nm范围内的电磁波，即可见光。自然界中，任何一种颜色都可由红（R）、绿（G）、蓝（B）三种颜色按一定比例混合得到，这是彩色电视的理论基础。由于人眼对红、绿、蓝三种颜色光线最为敏感，且由它们配制的色彩范围最广，所以将其选为基色。物体呈现不同颜色，是因为对不同颜色光的反射和吸收情况不同，如红色苹果反射红光，白纸均匀反射所有颜色的光。此外，颜色还存在色温差异，在装修中常见的冷白、暖白灯光就是色温的体现。

（三）RGB与YUV色彩空间

在图像领域，RGB是常用的色彩表示方式，但在传输过程中，常将其转换为YUV色彩空间。Y代表亮度信息，U（B-Y）和V（R-Y）代表色差信号。这种转换可解决彩色电视与黑白电视系统的兼用问题，且人眼对亮度变化更敏感，对亮度信号和色度信号可用不同带宽传输，以节省传输带宽和功率。在图像压缩时，常根据人眼对亮度和色度的敏感度差异，对色差信号进行不同程度的压缩，如常见的YUV4:2:2、YUV4:1:1等格式，通过减少色差信号的采样量化位数来降低数据率。

二、图像分辨率、帧率与码率

（一）像素与分辨率

像素是构成影像的最小单元，是图像分辨率的尺寸单位。例如，一幅分辨率为1920X1080的图像，横向有1920个像素，纵向有1080个像素点，总像素点数量为2088960个。图像分辨率决定了图像的清晰度和细节程度，监控摄像头的像素代表其所能拍摄到的图像的分辨率，常见像素有200万、400万、800万等。屏幕的显示分辨率指屏幕所能显示的最高像素数量，加载高于屏幕分辨率的图片或影像时，屏幕无法完整显示。

（二）帧率

帧率是指视频中每秒刷新或显示的图片数量。人眼超过24帧/秒的动态画面就难以分辨出卡顿，因此拍摄视频时，手机帧率一般不能低于24帧/秒，否则画面会出现卡顿现象。游戏手机为追求更流畅的画面，帧率可高达120帧，但高帧率对GPU算力要求较高，在GPU算力不足时，为保证游戏运行，手机可能会降低帧率。摄像头的帧率现在大多在60帧以上，以保证拍摄画面的流畅性。

（三）码率

码率指在一定时间内传输的数据量，单位时间内传输的码率越高，视频效果越好，但文件体积也越大。例如，对于YUV444格式的1080P视频，一帧图像数据量较大，若不进行压缩，以30帧/秒的帧率传输，所需带宽远超家庭常用带宽，根本无法在网络上传播。因此，视频在传输前必须进行压缩处理，不同分辨率的视频，其码率也有所不同，如1080P视频，蓝光视频码率可达20Mb/s，一般下载视频码率多为10Mb/s，IPCamera/无人机码率在2-8Mb/s，很多视频网站码率甚至低于5M/s。在保证视频观看效果的同时，需选择合适的码率，以平衡视频质量和文件体积。

三、图像压缩与编码

（一）图像压缩的原理与目的

图像压缩的理论基础是信息论，其目的是减少图像数据中的冗余信息，在允许一定失真的前提下，降低数据量，便于图像的存储和传输。图像信息存在时域、空域和视觉冗余，如相邻帧图像和每帧图像内部的数据信息具有高度相关性，人眼对亮度变化的敏感度高于对色度变化的敏感度等。根据这些特性，可从时域、空域和视觉冗余等方面去除冗余信息，如对图像亮度变化信息采用较高采样量化位数，对色度变化信息采用较少采样量化位数，从而达到减少数字视频信号总数据率的目的。

（二）视频编码标准的发展

自1992年起，陆续制定了多种视频编码标准。早期的MPEG-1标准广泛应用于VCD制作，MPEG-4标准用于交互式和移动多媒体通信。之后，ITU-TVCEG专家组联合MPEG专家组推出了H.262/MPEG-2、H.264/MPEG-4Part10/AVC、H.265/HEVC和H.266/VVC等多代视频编码标准，逐渐成为全球视频压缩应用的主流标准。2015年，亚马逊、思科等科技巨头创立开放媒体联盟（AOM），推出全新、开源、免版税的视频编码技术。我国的AVS3于2022年投入应用，未来我国传统视频编码标准将形成以H.265为主，AV1、AVS为辅的协同发展格局。不同的视频编码标准在压缩效率、实时性等方面存在差异，适用于不同的应用场景，如直播、点播、互动直播等对编码标准的要求各不相同。

（三）压缩格式与视频格式的区别

压缩格式与视频格式是不同的概念。视频格式是指视频在播放时所采用的格式，如MP4、AVI等，它决定了视频在哪些播放器或网页上能够播放。而压缩格式是指在图像传输或存储过程中，对图像数据进行压缩的方式，如H.264、H.265等。不同的压缩格式具有不同的压缩比和压缩效率，在传输和存储图像时，需根据实际需求选择合适的压缩格式，以平衡图像质量和数据量。

四、图像显示与传输

（一）图像在不同设备上的显示

图像在不同设备上显示时，可能需要进行分辨率适配。例如，720P的屏幕能播放1080P的视频，是因为电脑或播放器会自动将1080P视频的像素进行删减，使其适配720P屏幕的分辨率，只是画质无法达到1080P的效果。当图像在播放器中显示时，有竖屏显示和全屏显示等不同处理机制，会根据显示需求对图像进行相应的放大或裁剪操作。在电脑通过HDMI投影到电视的场景中，电视会通过EDID（扩展显示标识数据）将自身分辨率信息传递给电脑，电脑根据该信息对要传输的图像分辨率进行动态调整，以实现最佳显示效果。

（二）视频传输系统

常见的视频传输系统有多种，如DVB系统，其应用系统涵盖广播卫星（DVBS）、地面数字电视（DVBT）、有线电视（DVBC）等。不同传输方式采用不同的调制方式，如DVBC采用QAM调制，DVBS采用QPSK调制，DVBT采用COFDM调制。在酒店场景中，可将电视流TS流转为IP流，通过wifi发射出去，用户连接热点即可观看录制好的节目或实时电视节目，但会存在一定延迟，且需解决音视频同步问题。在偏远地区，由于拉网线成本较高，卫星电视更具优势；而在人群密集地区，有线电视应用更为广泛。

（三）图像传输接口

图像传输接口多种多样，如模拟接口中的色差端子（Component色差视频端子-Y、Pb、Pr），它将视频信号分离为3个基本部分进行传输，还原信号质量优于CVBS和S端子，且需要独立的2条音频线负责左右声道。VGA（VideoGraphicArray）接口，即视频图形阵列，也叫D-Sub接口，是15针的梯形插头，传输模拟信号，其工作原理是将显存内的数字图像信号在RAMDAC里经过模拟调制成模拟高频信号，再输出到显示设备成像。随着技术发展，这些传统接口在电脑等设备上的应用逐渐减少，HDMI等数字接口应用更为广泛。

五、智能视频与监控系统

（一）智能视频的概念与应用

智能视频是指在图像采集后、传输编码前进行分析的技术，常见的如AIcamera（人工智能摄像头）。它可应用于机场、监控等场景，通过调用GPU资源，采用先进的图像算法，如目标检测、图像分割、特征提取、边缘处理等，实现对目标的识别和分析，如识别人员身份、判断小孩是否在哭、检测异物闯入等。此外，AI摄像头还具备动态功耗管理功能，在无异常情况时可进入静默状态，当检测到红外物体等触发条件时再唤醒工作，以降低功耗。

（二）视频监控系统架构

视频监控系统的基本网络架构有多种形式。传统方式由网络摄像机、电源和网线组成，在综合布线时需同时布置电源线和网线，电源也可就近取220V交流电。POE供电方式则节省了一条电源线，网络摄像机只需一根网线作为传输信号的介质，采用非屏蔽超五类双绞线，传输距离可达100米。远距离传输方案通过网络摄像机将图像传输到流媒体服务器，用户可通过手机、平板、PC等工具查看实时图像，码流大小会影响上传和存储成本。

（三）车载摄像头传输

车载摄像头传输主要有两种方式，一种类似于手机摄像头通过FPC排线与主机连接，如DVR的摄像头信号传输；另一种是通过SerDes芯片进行传输。由于车载摄像头采集的图像在传输前通常未进行压缩，为保证图像质量和传输速度，需将并行信号转为串行信号进行传输。SerDes芯片可实现这一功能，但它本身不具备压缩能力，因此对传输带宽要求较高。目前车载摄像头像素大多在200万左右，虽有800万像素的产品，但受带宽限制，应用较少。此外，车载摄像头图像传输到云端的功能，因法规要求涉及安全问题，部分已被关闭。