普渡大学从人眼视网膜获取灵感 提升计算机视觉效率

盖世汽车讯 据外媒报道，虽然传统硅结构已经帮助计算机视觉发展了很长一段时间，不过，美国普渡大学（Purdue University）正从自然界中获取灵感，以研发另一种替代方案，而且该灵感的基础就是人造视网膜。与人类的视觉系统一样，该设备旨在感知变化，原则上比自动驾驶汽车和自动化机器人等应用中使用的、对计算要求较高的数字化摄像头系统更高效。

计算机视觉设备，它模拟了视网膜细胞如何感知光线（图片来源：普渡大学）

普渡大学科学学院化学系Richard and Judith Wien教授Jianguo Mei表示：“计算机视觉系统使用大量的能量，限制了其得到广泛应用。我们的长期目标是采用仿生技术，以较少的数据处理来解决动态成像挑战。通过模仿人类视网膜对光线的感知，我们的系统可以减少数据量，尽管在将软硬件集成起来使其应用于现实上还有很长的路要走。”

Mei教授及其团队从视网膜细胞的光感知中获得灵感。就像在自然界中一样，光会在研究人员打造的原型设备中触发电化学反应。反复暴露在光线下后，反应会稳定地慢慢增强，当光线退散后，反应也会缓慢地消散，从而创建让设备接收到光信息的有效记忆。此种记忆可用于减少理解场景必须处理的数据量，此种方法比传统的计算机视觉更节能、计算效率更高、容错性更强。

该团队将该设备称为“有机电化学光子突触”（organic electrochemical photonic synapse），并表示其更接近人类视觉系统的工作方式，在成为人机界面设备的基础方面拥有更大的潜力。该设计还可能对神经形态计算应用程序有用，此类应用程序的原理与人脑架构类似。

Mei教授实验室研究生Ke Chen表示：“在正常的计算机视觉系统中，你创建了一个信号，然后你需要将数据从内存中传输到处理程序，然后再回传到内存中，这需要耗费大量的时间和能量。而我们的设备集成了光感知、光电信号转换、现场存储和数据处理的全部功能。”

目前，机器人或自动驾驶设备依赖于熟知的数字化摄像头作为计算机视觉的基础。在摄像头内部，称为图素（photosite）的晶体硅在光敏感区域吸收光子并释放电子，将光转换成电信号，而且此类电信号可以用日益复杂的计算机图像识别程序进行处理。一个普通智能手机的摄像头会采用超1000万个图素，每个仅几微米（百万分之一米）平方，以远高于人眼所能实现的分辨率捕捉头像。

但是所有此类数据对于许多使用计算机视觉的任务而言并不是必要的，只是不论场景是否发生变化，都必须分析所有可用的光线信息。相比之下，Mei教授的解决方案与人类视觉一样，分辨率相对较低，但很适合用于感知运动。人眼的分辨率在15微米左右。该款原型设备在10平方厘米的芯片上安装了1.8万个晶体管，分辨率为几百微米。Mei教授表示，通过让分辨率达到10微米，该技术还能得到改进。

Mei教授表示：“我们的眼睛和大脑的分辨率没有硅计算那么高，但是我们处理数据的方式让人眼在处理数据方面比目前大多数的成像系统更好。计算机视觉系统需要处理大量数据，因为数字化摄像头不会区分静态和动态数据，只会捕捉一切数据。”

Mei教授及其团队没有直接将光转换为电信号，而是首先将光转换成一种称为离子的带电原子流，此种机制与视网膜细胞将光传输到大脑的机制类似。他们在电解液凝胶中嵌入一小块光敏聚合物来实现这一点。光打在聚合物方块的一个点上，会吸引凝胶中的正电荷离子到这个点上（并排斥负电荷离子），造成凝胶中的电荷不平衡。

反复暴露在光线下会增加凝胶中的电荷不平衡，该特征可用于区分静态场景和变化场景中的动态光线。当光线被移走时，离子在带电状态下会保持一段很短的时间，被认为是光线的临时记忆，然后再逐渐恢复到不带电的状态。

电荷点充当晶体管上的栅极，在有光线的情况下，允许小电流在源极和漏极之间流动。和传统的光电探测器很像，电流表示光的强度和波长，并被传递给计算机进行图像识别。但是，虽然电流的输出是相同，但其实将光转换成电化学信号，以产生运动感知和记忆能力的中间步骤。

Mei教授的电化学晶体管是一种信息的光电器件，试图将光感知与记忆能力集成在一起，不过该设备的性能优越，因为随着反复将其暴露在光线之下，电荷不平衡状态会平稳而稳定地增加，并且衰减速度比竞品设计要慢。未来，该团队计划研发由柔性材料制成的迭代产品，还可能生产一个可穿戴，甚至可生物兼容的版本。