官方网站-首页
打(dǎ)造(zào)“千(qiān)里(lǐ)眼(yǎn)”的(de)非(fēi)结(jié)构(gòu)光(guāng)场(chǎng)智(zhì)能(néng)成(chéng)像(xiàng)技(jì)术(shù)
对(duì)于(yú)很(hěn)多(duō)摄(shè)影(yǐng)圈(quān)资(zī)深(shēn)人(rén)士(shì)来(lái)说(shuō)，Lytro这(zhè)个(gè)名字(zì)既(jì)如(rú)雷(léi)贯(guàn)耳(ěr)，又(yòu)显(xiǎn)得(de)分(fēn)外(wài)陌(mò)生(shēng)。这(zhè)曾(céng)是(shì)一(yī)家(jiā)生(shēng)产(chǎn)新(xīn)型(xíng)光(guāng)场(chǎng)成(chéng)像(xiàng)设(shè)备(bèi)的(de)初(chū)创(chuàng)企(qǐ)业(yè)，从(cóng)2006年(nián)成(chéng)立(lì)伊(yī)始(shǐ)，Lytro凭(píng)借(jiè)其(qí)惊(jīng)艳(yàn)的(de)产(chǎn)品(pǐn)和(hé)多(duō)项(xiàng)专(zhuān)利(lì)，一(yī)时(shí)间(jiān)成(chéng)为(wèi)资(zī)本(běn)市(shì)场(chǎng)炙(zhì)手(shǒu)可(kě)热(rè)的(de)宠(chǒng)儿(ér)。但(dàn)如(rú)今(jīn)，除(chú)了(le)部(bù)分(fēn)摄(shè)影(yǐng)爱(ài)好(hǎo)者(zhě)手(shǒu)中(zhōng)的(de)珍(zhēn)藏(cáng)品(pǐn)，我(wǒ)们(men)已(yǐ)经(jīng)难(nán)觅(mì)Lytro的(de)踪(zōng)迹(jī)了(le)。
由(yóu)清(qīng)华(huá)大(dà)学(xué)、凌(líng)云(yún)光(guāng)技(jì)术股份有限公司等多家单位共同完成的科研项目“非结构光场智能成像关键技术与装备”荣获2021年度北京市科学技术奖技术发明一等奖。该项科研成果将光场成像技术的发展推向了一个全新的高度。那么光场成像是否会在新技术的加持下焕发新生呢?
光场：既要“看得清”,又要“看得全”
说起“光场成像”,就要从那个生僻的物理概念——“光场”说起。在物理学领域里，“场”是一个被广泛应用的概念，我们耳熟能详的有“电场”“磁场”“引力场”等。对于这一抽象的物理学术语，我们可以简单地理解为物理量在时间和空间中的分布状态。从物理学的视角看去，光可不只是诗人在黑暗中寻找的圣物，而是可以用严谨的数学模型表达的物理概念。
早在200多年前，电磁学之父法拉第就在他的一篇演讲中提出，光应该像磁场一样，被理解为一个“场”,这算是光场理论的起源。此后，麦克斯韦提出了将电、磁、光统归为电磁场现场的麦克斯韦方程组，为光场理论的发展打下了重要基础。1936年，物理学家亚历山大·格尔顺(AlexanderGershun)在他的论文中正式提出了“光场”这一概念，并首次对光场进行建模。不过一直到20世纪末，人类才在光场理论上取得了实质性突破，1991年麻省理工学院教授爱德华·阿德尔森(E.H.Adelson)
等学者，提出了全光函数，为光场理论建立了一套清晰的数学模型。阿德尔森用一个7维函数，将光线在空间中的分布简洁明了地表达出来。在阿德尔森的理论中，全光函数将物体所发出或反射的光解析成7个维度的信息：光的空间位置(用空间坐标系x,y,z表达),光线入射角度(用球坐标系的角度值θ,Φ表达),波长(用λ表达)和时间(用t表达)。全光函数的提出，将人类看得见却摸不着的光，完整地拆解开来呈现在人类面前。既然光线本身包含了这些维度的信息，那么如果我们在空间内遍布数量众多的观察光线的位置，那么由此记录下这个空间内光线的动态分布状态，就可以被理解为“光场”。
全光函数的提出推动了“光场理论”的发展与完善，也(yě)为(wèi)科(kē)学(xué)家(jiā)指(zhǐ)明(míng)了(le)研(yán)究(jiū)方(fāng)向(xiàng)——光(guāng)场(chǎng)成像技术。我们知道，传统的数码相机是由光学镜头、影像传感器和影像处理器三大核心部件组成的，自然界三维场景发出、反射或散射的光线，被单镜头捕捉并聚焦，经由影像传感器转换为数字信号，最后交给影像处理器变成二维图像。清华大学方璐教授介绍道：“毕竟光是一个高维的信号，普通成像设备无法将光场内这些高维信号全部、高速并实时地转换成一个电子信号。”传统成像设备只能记录光场中的光亮信息，对光的方向等信息束手无策，导致深度信息的丢失，且能获取的总信息量受到影像处理器像素数量的限制。因此，“‘看得清’和‘看得全’这对矛盾一直困扰着人们。举个大家日常拍照上的例子，广角镜头可以把照片拍得很宽很大，分辨率却不甚精确。而长焦镜头可以拍得很远很清晰，却只能覆盖一片很小的区域。”方璐说。
光场成像的前世今生
近年来，光场采集感知重建理论及技术的进步为我们指出了另外一条思路：如果我们将全光函数中所有的参数都捕捉到，成像效果不就能做到既看得全也看得清吗?答案是肯定的。不过，全光函数包含了光线多达7个维度的信息，显然还是过于复杂了，而且并不是所有维度的信息在拍摄时都用得着。于是安德尔森的后继者们将该函数做了简化，波长λ被简化为记录红、绿、蓝三原色，时间t被简化为记录不同帧，这样函数就被简化为只包含位置(x,y,z)与光线入射角度(0,Φ)5个维度信息。此后又被进一步降到了4维：即通过记录一条光线穿过两个平行平面的坐标(分别用u,v和x,y两个坐标系表示),就能得到光线的位置与方向信息。如果将这个双平面模型套用在普通成像系统的结构上，那么其中u-v平面就是主镜头中心所在平面，x-y平面是影像传感器所在平面，这样通过采集光线穿过两个平面时所产生的4个维度信息，理论上就能兼顾到“看得全、看得清”的效果。问题在(zài)于(yú)，要(yào)借(jiè)助(zhù)什(shén)么(me)样(yàng)高(gāo)科(kē)技(jì)的(de)神(shén)器(qì)才(cái)完(wán)成(chéng)这(zhè)样的采集工作呢?“要兼顾既看得全又看得清，就意味着依靠单个镜头和单个影像传感器(qì)的(de)系(xì)统(tǒng)根(gēn)本(běn)无(wú)能(néng)为(wèi)力(lì)。这(zhè)时(shí)人(rén)们(men)就(jiù)想(xiǎng)到(dào)：能(néng)否(fǒu)把(bǎ)多(duō)个(gè)相(xiāng)机(jī)放(fàng)在(zài)一(yī)起(qǐ)形(xíng)成(chéng)阵(zhèn)列(liè)，通(tōng)过(guò)‘量变(biàn)引(yǐn)起(qǐ)质(zhì)变(biàn)’的(de)思(sī)路来(lái)实(shí)现(xiàn)?”方(fāng)璐(lù)介(jiè)绍(shào)道(dào)。初(chū)代(dài)光(guāng)场(chǎng)成(chéng)像(xiàng)技(jì)术(shù)的(de)解(jiě)决(jué)方(fāng)案(àn)是(shì)在(zài)影(yǐng)像(xiàng)传(chuán)感(gǎn)器(qì)前(qián)，用(yòng)数(shù)量(liàng)众(zhòng)多(duō)的(de)单(dān)镜(jìng)头(tóu)组(zǔ)成(chéng)阵(zhèn)列(liè)，形(xíng)成(chéng)类(lèi)似(shì)于(yú)昆(kūn)虫(chóng)复(fù)眼(yǎn)的(de)结(jié)构(gòu)，对(duì)u-v和(hé)x-y平(píng)面(miàn)的(de)信(xìn)息(xi)进(jìn)行(xíng)采集，然(rán)后(hòu)通(tōng)过(guò)数(shù)字(zì)调(diào)焦(jiāo)的(de)形(xíng)式(shì)进(jìn)行(xíng)图(tú)像(xiàng)还(hái)原(yuán)。这(zhè)样(yàng)就(jiù)形(xíng)成(chéng)了(le)“先(xiān)拍(pāi)照(zhào)，后(hòu)对(duì)焦(jiāo)”的(de)特(tè)点(diǎn)，省(shěng)去(qù)了(le)传(chuán)统(tǒng)成(chéng)像(xiàng)设(shè)备(bèi)同(tóng)时(shí)对(duì)焦(jiāo)和(hé)拍(pāi)照(zhào)导(dǎo)致(zhì)拍(pāi)摄(shè)不(bù)清(qīng)晰(xī)的(de)麻(má)烦(fán)。
2006年(nián)，美(měi)国(guó)斯(sī)坦(tǎn)福(fú)大(dà)学(xué)的(de)马(mǎ)克(kè)·勒(lēi)沃(wò)伊(yī)(MarcLevoy)团(tuán)队(duì)根(gēn)据(jù)这(zhè)一(yī)思(sī)路研(yán)制(zhì)出(chū)了(le)阵(zhèn)列(liè)式(shì)光(guāng)场(chǎng)成(chéng)像(xiàng)系(xì)统(tǒng)，这(zhè)个(gè)身(shēn)形(xíng)巨(jù)大(dà)的(de)装(zhuāng)置(zhì)通(tōng)过(guò)不(bù)同(tóng)位(wèi)置(zhì)的(de)相(xiāng)机(jī)同(tóng)时(shí)曝(pù)光(guāng)进(jìn)行(xíng)光(guāng)场(chǎng)信(xìn)息(xi)采集，从(cóng)而(ér)迈(mài)出(chū)了(le)光(guāng)场(chǎng)成(chéng)像(xiàng)技(jì)术(shù)落(luò)地(de)的(de)第(dì)一(yī)步(bù)。2012年(nián)，美(měi)国(guó)杜(dù)克(kè)大(dà)学(xué)的(de)戴(dài)维(wéi)·布(bù)雷(léi)迪(dí)(DavidBrady)团(tuán)队(duì)在(zài)顶(dǐng)级(jí)学(xué)术(shù)期(qī)刊(kān)《自(zì)然(rán)》上(shàng)发(fā)表(biǎo)了(le)世(shì)界(jiè)上(shàng)首(shǒu)款(kuǎn)亿(yì)像(xiàng)素(sù)级阵列式光场成像系统，像素分辨率达到当年数码相机的30多倍，能捕捉到几倍于人眼感知能力的细节。但体积和重量的限制导致这些阵列成像设备只能止步于实验室。此外，在这种技术里，“每个相机采用同样的尺度，并且位置和姿态固定，只有一种拍摄模式，依赖事先标定的参数进行重建，系统的鲁棒性和扩展性都受限。”方璐介绍道，“如果有相机在成像过程中受到扰动，整个阵列系统的工作都会受到影响，需要进行重新标定。”
欲穷千里目，智能技术来相助
方璐带领团队另辟蹊径，提出了非结构光场阵列感知技术。不同于之前，非结构光场阵列感知技术的特征是“层内非结构”和“层间异构”:层内非结构突破了结构固化的制约，使得阵列系统具有场景自适应成像的能力；层间异构克服了尺度单一的瓶颈，使得阵列系统的感知尺度和维(wéi)度(dù)可(kě)扩(kuò)展(zhǎn)。非(fēi)结(jié)构(gòu)光(guāng)场阵列感知技术不再依赖复(fù)杂(zá)的(de)硬(yìng)件(jiàn)设(shè)计(jì)和(hé)烦琐的系统标定，而是借助人工智能，通过阵列结构自适应感知、跨尺度映射融合等技术，直接利用多尺度图像内容进行计算重建(jiàn)，同(tóng)样(yàng)的(de)硬(yìng)件(jiàn)资(zī)源(yuán)条(tiáo)件(jiàn)下(xià)，大(dà)幅(fú)提(tí)升(shēng)了(le)系(xì)统(tǒng)的(de)成(chéng)像(xiàng)效率与鲁棒性。这一系列环环相扣的技术创新，大大降低了光场阵列系统的复杂程度，节约了硬件带来的高昂成本，让计算摄像和人工智能技术有了更多施展空间，突破了传统光学成像的瓶颈。
当然，这种全新的技术，是让几十个不一样的成像设备整合在一起工作，这背后算法部分的技术难度是可想而知的。“毕竟软件和算法的成本与迭代周期是远小于硬件系统的，我们把硬件制作的难度降低，让更多的工作留给算法(fǎ)去做，让智能成像成为可能，这种‘非结构光场感知’新范式使得光场成像真正实现了‘鲁棒性’。”方璐介绍道。
在人工智能技术的加持下，除了鲁棒性，非结构光场智能感知技术同时实现了另一大优势，即可扩展性：这种非结构光场阵列系统可以灵活地调整阵列的数量和组合方式，以适应不同的应用场景需求。对此，方璐指出：“要知道，鲁棒性和可扩展性这两大优势，对于技术的应用意义重大。在这两项优势加持下，这一新技术才有可能应用到未来多个不同领域中。”从工业检测到公共安全，再到智慧城市，光场成像在B端(duān)的(de)应(yīng)用(yòng)前景十分广阔。方璐认为，目前的非结构光场成像技术，并不是给摄影爱好者去品鉴的，而是供智能无人系统进行识别分析之用的。那么在这种应用场景下，追求高分辨率就并不是唯一的目标。她进一步指出：“对此，我们也在研究‘感算一体’的成像技术，将计算移到前端，在成像的同时就计算出目标物体的特征和位置，这就省去了传统光场成像对图片压缩和解压，以及后续的目标特征提取与识别等烦琐步骤，这节约的资源与功耗是巨大的。”
非结构光场智能成像技术所面临的另外一个问题就是数据。因为现阶段人工智能算法开发迭代对于数据集的依赖是非常大的。方璐对此说道：“但目前国际上常用的视觉数据集大多是少场景、少对象、关系简单，可能就只有一只猫、一条狗、一辆车这样的信息。这就难以呈现复杂真实的场景，难以支撑面向大场景多对象复杂对象的新一代人工智能理论和算法的研(yán)究(jiū)。”在(zài)这(zhè)样(yàng)的(de)数(shù)据(jù)集里进行训练的人工(gōng)智(zhì)能(néng)算(suàn)法(fǎ)，一(yī)旦(dàn)放(fàng)在(zài)类(lèi)似(shì)“万(wàn)人(rén)跑(pǎo)马(mǎ)拉(lā)松(sōng)”这(zhè)样(yàng)的(de)壮(zhuàng)观(guān)场(chǎng)景(jǐng)中(zhōng)，可(kě)能(néng)就(jiù)力(lì)不(bù)从(cóng)心(xīn)了(le)。因(yīn)此(cǐ)，方(fāng)璐(lù)带(dài)领(lǐng)团(tuán)队(duì)构(gòu)建(jiàn)了(le)PANDA数(shù)据(jù)平(píng)台(tái)(全称(chēng)GigaPixel-levelHuman-centricVideoDataset),具(jù)有(yǒu)大(dà)场(chǎng)景(jǐng)(平(píng)方(fāng)千(qiān)米(mǐ)级(jí)别(bié)范(fàn)围(wéi))、高(gāo)分(fēn)辨(biàn)(十(shí)亿(yì)像(xiàng)素(sù)级(jí)，支(zhī)持(chí)百(bǎi)米(mǐ)对(duì)象(xiàng)识(shi)别(bié))、多(duō)对(duì)象(xiàng)复(fù)杂(zá)关系(xì)(万(wàn)级(jí)对(duì)象(xiàng)，尺(chǐ)度(dù)变(biàn)化(huà)超(chāo)百(bǎi)倍(bèi)，遮(zhē)挡(dǎng)关系(xì)复(fù)杂(zá)，交(jiāo)互(hù)行(xíng)为(wèi)丰(fēng)富(fù))的(de)特(tè)点(diǎn)，填(tián)补(bǔ)了(le)大(dà)场(chǎng)景(jǐng)下(xià)高(gāo)密(mì)度(dù)群(qún)体(tǐ)对(duì)象(xiàng)数(shù)据(jù)平(píng)台(tái)的(de)空(kōng)白(bái)，为(wèi)探(tàn)索(suǒ)人(rén)工(gōng)智(zhì)能(néng)新(xīn)理(lǐ)论(lùn)和(hé)新(xīn)方(fāng)法(fǎ)提(tí)供(gōng)了(le)不(bù)可(kě)或(huò)缺(quē)的(de)数(shù)据(jù)基(jī)础(chǔ)。
立(lì)足(zú)于人工智能技术，非结构光场智能成像技术为未来的光场成像技术指明了一条全新的赛道。谈到该技术的应用前景，方璐充满信心：“首先，我们会将技术从现在的宏观场景向微观场景普及，在未来会进一步向天文远观场景扩展，这背后的研发思路是一脉相承的。其次，人工智能算法还有待于进一步突破和推进：未来的成像目标是将性能做到极致，实现光速感知计算，这对于人工智能算法的要求是越来越高的。”