官方网站-首页

【导(dǎo)语(yǔ)】来(lái)自(zì)北(běi)大(dà)王(wáng)选(xuǎn)计(jì)算(suàn)机(jī)研(yán)究(jiū)所(suǒ)的(de)贾(jiǎ)川(chuān)民(mín)研(yán)究(jiū)员(yuán)指(zhǐ)出(chū)，视(shì)觉(jué)信(xìn)息(xi)占(zhàn)人(rén)类(lèi)接(jiē)收(shōu)信(xìn)息(xi)八(bā)成(chéng)以(yǐ)上(shàng)，海(hǎi)量(liàng)视(shì)觉(jué)数(shù)据(jù)传(chuán)递(dì)面(miàn)临(lín)数(shù)据(jù)量大的挑战，数据压缩技术由此成为关键。智能化数据压缩技术目标远大，多模态数据智能压缩技术能实现超高效率、高保真且富含语义的压缩，解决存储传输瓶颈，为人工智能信息处理提供“基石”数据，还能按网络情况调整视频质量，其应用场景广泛，未来有望实现语义无损压缩、人机协作创作。

大家好，我是贾川民，来自北京大学王选计算机研究所，目前是研究员和博士生导师。我主要的研究内容是多媒体信息处理，还有智能媒体计算以及一些系统性的研究工作。

视觉信息传递面临哪些主要挑战，为什么需要数据压缩技术？

我们人类是一个多维度感官动物，这其中最重要的一个感官的方式，就是视觉的信息，视觉信息占据了人类全部接受信息的80%以上，视觉信息从一个地方传递给千家万户，实现所谓“一图胜千言”，就成了过去一百年中科学家们一直努力的焦点。传递这些海量的视觉数据时面临的首要挑战就是数据量太大。因此，数据(jù)压(yā)缩(suō)技术应运而生。它是广播电视、网络视听等应用的基石。

举个例子，我们国家每隔一段时间就要为天宫一号空间补充物资，如果这些要运输的物资不进行打包整理，那么运输用的飞船很容易就被各种物品塞满。因此我们在新闻中经常看到，飞船运输的物品都是经过非常精美的打包、整合以及封装，形成了一个个外观统一的空间站“快递箱”。这其实就和数据压缩技术的思路不谋而(ér)合(hé)。需(xū)要(yào)压(yā)缩(suō)的(de)数(shù)据(jù)都(dōu)是(shì)杂(zá)乱(luàn)无(wú)章(zhāng)的(de)，我(wǒ)们(men)通(tōng)过(guò)数(shù)据(jù)处(chù)理(lǐ)方(fāng)法(fǎ)对(duì)它(tā)们(men)进(jìn)行(xíng)打(dǎ)包(bāo)、整(zhěng)合(hé)，就(jiù)像(xiàng)空(kōng)间(jiān)站(zhàn)用(yòng)的(de)跑(pǎo)步(bù)机(jī)是(shì)可(kě)折(zhé)叠(dié)的(de)，说(shuō)明物品所占用的空间(jiān)是(shì)可(kě)以(yǐ)压(yā)缩的，视频数据也是这样，我们可以通过算法，对海量的视频数据所占用的存储空间进行折叠、翻转等操作，从而减少它们所消耗的存储空间。

物资打包之后，经由飞船运输到空间站。同理，压缩后的视频数据包也能被网络传输给千家万户的各类终端。因此我们经常在新闻中看到，空间站的航天员在使用的时候，会一个一个的拆快递箱。类似的，用户也会把压缩过的视频数据包进行拆封，专业属于叫做解码。这样就实现了视频数据的压缩-传输-呈现。

而智能化的数据压缩技术还有更远大的目标，我们希望让单幅图像蕴含和传递远超每一个像素本身的信息量，甚至能“衍生”出更丰富的内容。

如何实现从“一图胜千言”到“一图生千言”

那什么如何实现这个目标呢？这就需要“多模态数据智能压缩”技术了(le)，它(tā)不(bù)仅(jǐn)仅(jǐn)是(shì)缩(suō)小(xiǎo)文件(jiàn)体(tǐ)积(jī)（传(chuán)统(tǒng)压(yā)缩(suō)），而(ér)是(shì)利(lì)用(yòng)人(rén)工(gōng)智(zhì)能(néng)的(de)模(mó)型(xíng)来(lái)理解我们所需要传递的视频(pín)或(huò)者(zhě)视(shì)觉(jué)的(de)内(nèi)容(róng)，结(jié)合(hé)文字(zì)、文本(běn)、语(yǔ)音(yīn)等(děng)其(qí)他(tā)模(mó)态(tài)信(xìn)息(xi)，实(shí)现(xiàn)超(chāo)高(gāo)效(xiào)率(lǜ)、高(gāo)保(bǎo)真(zhēn)、且(qiě)富(fù)含(hán)语(yǔ)义的压缩表示。我们在打包传输的时候，是把这些多模态的信息进行了传递。而在用户侧，通过功能强大的人工智能模型，把这些高度抽象的数据还原成栩栩如生的画面，带来身临其境的体验。

这样，就能解决海量视觉数据（图片/视频）存储、传输的瓶颈；还能够为我们常见的人工智能信息处理提供高效、富含语义的“基石”数据，通过多模态数据智能压缩技术，就实现了对原始视频、图像等内容的编辑和处理，同时，还可以根据用户的网络情况调整视频质量，网络条件不好时，提(tí)供(gōng)相(xiāng)对(duì)低清晰度内容，反之，传递高清晰度的内容。

多模态主句智能压缩技术如何实现其美好愿景

主要是把一个一个像素单元经过矩阵计算变成高度复杂的特征信(xìn)息(xi)，在(zài)数(shù)学(xué)上(shàng)，它(tā)们(men)就(jiù)是(shì)一组向量，我们可以把它叫做特征向量；在关联不同模态数据，比如文本、语音、视频的特征信息时，利用跨模态对齐技术，在向量表示空间对这几类信息进行折叠、翻转等操作，去除不同模态之间在向量空间当中相似的内容，保留它们之间不太相似的内容。这样就可以实现跨模态数据的一个高度语义化的表示。

它的应用场景包括以下几部分，在带宽受限下传输高质量视频，比如海量视觉数据存储，大幅降低数据中心存储成本；高效智能分析，压缩后的特征数据直接用于快速人工智能、内容理解、安防，以及内容创作以及编辑等。输入压缩特征或提示，自动生成描述视频和图象内容的数据，甚至是生成图像和视频本身。

在未来，可以通过这样的方式，实现接近人类理解的语义无损压缩、人机协作创作。比如在视频会议中不再需要摄像头、只通过传递语音就实现高质量的人物和场景的三维重现。

本文为·创作培育计划扶持作品

作者：人民日报

审核：贾宁 大连东软信息学院 教授

出品：中国科协科普部

监制：中国科学技术出版社有限公司、北京中科星河文化传媒有限公司

来源: 创作培育计划