在我国“芯片之战”进入白热化阶段时，小米闷声放大招，在新品发布会上推出自研芯片——ISP芯片。在众人心潮“澎湃”的同时，ic电子交易网知道肯定有不少人发出疑问：ISP芯片是什么？

01

ISP芯片

      关于拍照，我们平常听的最多，是手机相机用了什么传感器（比如索尼IMX586），用了什么镜片（比如iPhone的蓝宝石玻璃）。

      但我们往往忽略了背后默默工作的这位功臣：ISP。

      ISP，即“Image Signal Processor”（图像信号处理器）的缩写，是用来对前端图像传感器输出信号进行处理的单元。通俗来理解就是，ISP 所要做到的就是将“数字眼睛”的视力水平提高到“人类眼睛”的水平，让人眼看到数字图像时的效果尽可能接近人眼看到实景时的效果。

      一个ISP其实是一个SoC核心，内部包含CPU、SUP IP、IF 等单元，可以运行各种算法程序，实时处理图像信号。ISP的控制结构由ISP逻辑和运行在上面的Firmware两个部分组成，逻辑单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息进行重新计算，反馈控制Lens、Sensor和ISP逻辑，以达到自动调节图像质量的目的。

（图源：CSDN《ISP图像信号处理算法概述》）

      根据专业人士的介绍，ISP的具体处理流程是这样：Lens 将光信号投射到sensor 的感光区域后，sensor经过光电转换，将Bayer 格式的原始图像送给ISP，ISP经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这一过程中，ISP通过运行在其上的Firmware固件对ISP逻辑，从而对Lens 和sensor进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，Firmware的运转靠视频采集单元的中断驱动。PQ Tools工具通过网口或者串口完成对ISP 的在线图像质量调节。

（图源：CSDN《ISP图像信号处理算法概述》）

      用我们拍照时常说到，就是图片的锐化、降噪、优化色彩等都是在ISP中处理完成的，而且ISP还肩负着实现相位、激光、反差等混合对焦运算以及提供对多摄像头支持等重任，是手机拍照中必不可少的关键一环。

      最终我们看到，ISP芯片就像一个光的美颜师一样，使得我们在按下快门的一刹那获得如此多的画质调节和改善，也能在拍摄前主动地选择各种拍摄场景模式，进行各种拍摄参数的微调，让每个人都能成为影像大师。

02

成为移动终端图像处理核心：ISP的产业跃迁

      ISP的出现是和人类对拍摄图像的高质量要求密切相关的。

      NASA对月球进行勘探时，发现模拟相机在月球上拍摄的照片十分微弱不清，无法反映真实情况。此后美国发展出的CCD图像传感器解决了这一问题，为了确保CCD拍摄的图像能够清晰和真实地显示，就需要对CCD采集的图像进行处理，这样ISP图像信号处理器得以诞生。

      随着数码相机和摄像机的广泛应用，ISP技术也得到了快速发展。在推进高清视频、图像产品的过程中，ISP技术的创新发挥了巨大作用，ISP也从高清摄像机的辅助技术逐步演变为关键核心技术。一些高清监控硬件厂商为进一步提升画质，开始将CCD传感器替换为CMOS图像传感器，这样就将ISP内置到CMOS中，在节约空间的同时也降低了功耗。

      因此，这一创新使得高清摄像机市场实现了从模拟到数字信号的升级。一般来说，不同的ISP匹配不同厂商的CMOS图像传感器，大部分内置ISP功能的视频芯片对CMOS芯片的支持都比较完善，可以直接对接各主要厂商的主要产品，使得摄像机体积更小、产品形态更多，不仅推动在高清摄像机上高清SoC芯片的研发，也让CMOS和ISP的组合在移动智能设备中广泛普及。

      现在，每一款配备摄像头的移动设备都搭载了ISP芯片。不过对于很多国内智能手机厂商而言，他们通常会宣传自己的产品采用了索尼的CMOS图像传感器，甚至给出这一感光元件的具体型号，还给出一个多镜头阵列的分解图。但是消费者在拿到手之后， 电子元器件采购网 用它拍摄出来的照片并不能如预期的那么好，其中一个很大的原因就是ISP，就在于这些厂商虽然拿到了高品质的光学和感光元件，但是ISP没有能够跟上。

      这也是为什么在现代芯片技术已经能够把ISP整合进手机处理器里，小米依然费尽心思额外做一枚。现在，主要的智能移动设备的芯片厂商、IP提供商以及智能手机制造商都在推出自己的ISP芯片，但是ISP仍然存在着较大的技术壁垒。

      首先，ISP中大量模块的算法是相互影响的，其众多算法需要诸多的调校工作在其中，这需要大量而长期的经验积累。

      其次，作为商用的ISP，需要众多的新功能模块，比如X-talk串扰，VSM等模块的加入，这也增加了ISP的技术壁垒。

      另外，ISP的技术需要长期积累，需求少、学习周期长，人才匮乏。因此ISP人才团队组建也是一个考验公司投入力度、技术积累的刚性条件。

      这让领先的ISP技术更容易被那些有先发优势、多年积累的芯片大厂和老牌制造商，比如苹果、高通、三星、联发科等大厂所掌握。

      但越来越多的手机芯片厂商开始自研ISP和算法，华为海思就是从麒麟950开始集成自研的950芯片，使得华为P9开始跻身主打摄影拍照手机的第一阵营。

      作为全球移动CPU芯片核心IP提供商的ARM也在2018年推出了首款ISP芯片，最初是面向汽车设备的移动影像处理，随后又推出了两款针对移动终端和物联网设备的ISP芯片全新ARM Mali-C52和Mali-C32。ARM的ISP在处理每一像素时会有超过25个步骤的处理，其中包括高动态范围(HDR)、降噪以及色彩管理的三个关键步骤对图像输出质量起到了决定性的影响。

      我们注意到，在对这些ISP产品的梳理中，图像信号处理和AI视觉处理正在协同发展，既要“可看”又要“看懂”的图像处理，成为未来视觉设备发展的关键。

03

新机遇：视觉处理器与ISP芯片的共生共成

      人工智能技术作为全新的技术变革要素进入到成像产业领域，使得图像的处理和计算迎来更多的挑战，现在除了ISP芯片之外，还需要加入具有AI能力的视觉处理器（VP）芯片。

      现在，ISP芯片处在低速稳定的增长阶段，而VP芯片则呈现爆发式增长。

      根据Yole的一份市场统计，VP芯片从2018年至2024年期间的复合年增长率（CAGR）高达18%，预计2024年将达到145亿美元规模。同时，ISP芯片保持低速稳定增长态势，2018年至2024年期间的复合年增长率仅为3%，预计2024年将达到42亿美元规模。

      现在，我们携带的移动智能设备和IoT设备中，对于图像的处理和计算，不仅仅要实现“查看”的功能，看要实现“分析”的功能，因此，图像硬件厂商越来越多的要在硬件系统中加入支持人工智能算法特别是深度学习的软件集成，从而让图像硬件系统超越“拍摄图像”的限制，能够实现“分析图像”的能力。

      对于我们消费者而言，最主要的感受就是智能手机的人脸识别以及现在一些手机摄像中具有的AI美颜以及拍照识物的功能。而在众多智能视觉领域，VP+ISP的融合已经掀起了一场全新的智能化变革，未来可以适用于安防监控、AIoT 及智能汽车等领域的视频、图像处理工作，满足不同场景的数据处理需求。

      因此，视觉处理器的爆发式发展，与ISP产业的发展是并行不悖的，因为想要实现智能视觉，就必须考虑选择适合的前端图像处理方案。如果前端图像处理的输出非常糟糕时，那视觉处理系统的结果也会非常糟糕。

      智能视觉系统必须要有可靠的输入才能产生可靠的结果，这正是无法离开一颗强大的ISP的根本原因。

• 芯片
• 是什么
• ISP
• 类型