【导语】随着人工智能技术的迅猛发展,Transformer架构的内在局限性日益凸显,促使我们思考何种新架构能带来根本性创新。在首届明珠湖会议上,上海人工智能实验室主任、首席科学家周伯文教授深入探讨了人工智能的未来趋势与关键技术节点,提出了“三化”趋势:智能技术体系化、智能形态多元化、智能能力高阶化。面对当前人工智能领域存在的质量效率平衡、算力分配挑战、软硬件协同难题以及评测体系与现实脱节等问题,周教授提出了十大关键问题,旨在引导行业探索更高效、安全、实用的AI发展路径。从平衡智能发展的质量与效率,到探索软硬件协同的创新路径;从配置应用、迭代与创新算力,到构建真正自主进化的智能体,这些问题触及了AI未来发展的核心。此外,他还强调了从“工具的革命”到“革命的工具”的(de)转(zhuǎn)变(biàn),以(yǐ)及(jí)针(zhēn)对(duì)Transformer架(jià)构(gòu)不(bù)足(zú),探(tàn)索(suǒ)新(xīn)一(yī)代(dài)AI架(jià)构(gòu)的(de)重(zhòng)要(yào)性(xìng)。本(běn)文将(jiāng)围(wéi)绕(rào)这(zhè)些(xiē)关键问(wèn)题(tí),深(shēn)入(rù)探(tàn)讨(tǎo)人(rén)工(gōng)智(zhì)能(néng)的(de)未(wèi)来(lái)发(fā)展(zhǎn)方(fāng)向(xiàng)与(yǔ)挑(tiāo)战(zhàn)。
Transformer架(jià)构(gòu)的(de)内(nèi)在(zài)局(jú)限(xiàn)性(xìng)逐(zhú)渐(jiàn)显(xiǎn)现(xiàn),什(shén)么(me)样(yàng)的(de)架(jià)构(gòu)能(néng)够(gòu)带(dài)来(lái)根(gēn)本(běn)性(xìng)创(chuàng)新(xīn)?追(zhuī)求(qiú)能(néng)够(gòu)带(dài)来(lái)科(kē)学(xué)范(fàn)式(shì)转(zhuǎn)变(biàn)的(de)“革(gé)命(mìng)性(xìng)工(gōng)具(jù)”,现(xiàn)在(zài)的(de)语(yǔ)言(yán)模(mó)型(xíng)够(gòu)用(yòng)吗(ma)?模(mó)型(xíng)任(rèn)务(wu)与(yǔ)真(zhēn)实(shí)世(shì)界(jiè)的(de)效(xiào)用(yòng)存(cún)在(zài)脱(tuō)节(jié),如(rú)何(hé)打(dǎ)破(pò)评(píng)测(cè)体(tǐ)系(xì)“高(gāo)分(fēn)低(dī)能(néng)”?创(chuàng)新(xīn)算(suàn)力(lì)严(yán)重(zhòng)不(bù)足(zú)对(duì)颠(diān)覆(fù)性(xìng)想(xiǎng)法(fǎ)的(de)产(chǎn)生(shēng)与(yǔ)发(fā)展(zhǎn)形成潜在挑战,如何避免研究走向同质化困境?上海人工智能实验室主任、首席科学家,清华大学惠妍讲席教授周伯文,日前在首届明珠湖会议上总结人工智能未来3-5年的发展趋势,以及人工智能未来十大关键技术节点。
他将人工智能的趋势总结为“三化”:
一是智能技术体系化。人工智能是先发展应用、后补充理论的典型学科,现在需要更体系化地追究智能的本质,完善体系。
二是智能形态多元化。人工智能一定要产生不同的形态,和实体经济、社会发展、人民生活紧密结合,随着人工智能技术的迭代,智能形态必然多元化。究其核心原因,其一是场景丰富度的要求,其二是技术不完备,人工智能未来四五年中还会处于技术待完备阶段,这时候需要妥协,在应用中考虑新的形态,要思考人工智能产业的形态呈现出的是过程还是终局、是手段还是目的。
三是智能能力高阶化。行业往前发展的核心动力是智能能力必须不断高阶化演进。今天的人工智能已经令人惊叹,但这仅仅是开始。高阶化离不开技术体系化,离不开要素的突破,离不开对形态的理解。否则,基于中阶过程探讨人工智能的高阶化,就有可能走上错误的道路。
针对人工智能未来关键技术节点的判断,周伯文总结提出十个问题。

如何平衡智能发展的质量与效率?当前评估模型往往关注总体智能,即参数规模、训练数据量和排行榜排名,而忽略了单位智能,这一指标涵盖数据成本、计算成本和存储成本,类似于经济学中的人均GDP概念。在模型评估中,若能实现单位智能最大化,那么总体智能将会显著提升。DeepSeek模型的工程创新使模型更为简洁,这种简洁本身就是智能的高级表现。

如何平衡“数据合成”和“算法训练”两大任务的算力分配? 深度强化学习不仅是学习手段,同时也是一条能够产出高价值数据的高效路径。在运行过程中,它一方面会消耗一定的算力资源,另一方面却能生成具备高精度、高(gāo)密(mì)度特性的复杂推理数据。这些合成数据可以反哺预训练环节,从而显著提升模型性能。因此,在理想状态下可以追求效率飞轮:通过Deep RL消耗的算力与其产生的高质量数据所节省的训练成本达成平衡。当这个临界点到来,AI或将能以极低成本自我提升,实现“自己训练自己”。

软件向硬件适配,还是硬件向软件兼容?软硬协同的路径国内外存在差异,国际厂商如英伟达选择“软件兼容硬件”,通过深耕CUDA生态,使其软件能够高度适配自家硬件;而国内目前(qián)更(gèng)多是“硬件兼容软件”,例如芯片厂商调整算子以适配软件需求。但硬件研发周期通常比软件长得多,这就导致“硬件兼容软件”路径在逻辑上遭遇挑战。学术界应探索更高效的软硬协同创新路径,既要实(shí)现(xiàn)软(ruǎn)硬(yìng)件(jiàn)在(zài)性(xìng)能(néng)上(shàng)的(de)优(yōu)化(huà),也(yě)要(yào)紧(jǐn)密(mì)贴(tiē)合(hé)产(chǎn)业(yè)实(shí)际(jì)需(xū)求(qiú)。

针(zhēn)对(duì)应(yīng)用(yòng)、迭(dié)代(dài)和(hé)颠(diān)覆(fù)性(xìng)的(de)技(jì)术(shù),算(suàn)力(lì)应(yīng)如(rú)何(hé)配(pèi)置(zhì)?从(cóng)算(suàn)力(lì)运(yùn)用(yòng)的(de)维(wéi)度(dù)来(lái)看(kàn),可(kě)分(fēn)为(wèi)三(sān)类(lèi):一(yī)是(shì)应(yīng)用(yòng)算(suàn)力(lì),此(cǐ)类(lèi)算(suàn)力(lì)聚(jù)焦(jiāo)已(yǐ)明(míng)确(què)的(de)场(chǎng)景(jǐng)应(yīng)用(yòng),通(tōng)过(guò)加(jiā)大(dà)算(suàn)力(lì)投(tóu)入(rù),全力(lì)推(tuī)动(dòng)科(kē)研(yán)成(chéng)果(guǒ)实(shí)现(xiàn)产(chǎn)业(yè)落(luò)地(de),将(jiāng)理(lǐ)论(lùn)转(zhuǎn)化(huà)为(wèi)实(shí)际(jì)生(shēng)产(chǎn)力(lì),促(cù)进(jìn)产(chǎn)业(yè)的(de)发(fā)展(zhǎn)与(yǔ)升(shēng)级(jí)。二(èr)是(shì)迭(dié)代(dài)算(suàn)力(lì),此(cǐ)类(lèi)算(suàn)力(lì)助(zhù)力(lì)研(yán)究(jiū)工(gōng)作(zuò)持(chí)续(xù)推(tuī)进(jìn)与(yǔ)模(mó)型(xíng)迭(dié)代(dài)优(yōu)化(huà),例(lì)如(rú)依(yī)据(jù)Scaling Law投(tóu)入(rù)算(suàn)力(lì)开(kāi)展(zhǎn)模(mó)型(xíng)训(xun)练(liàn)等(děng)相(xiāng)关工(gōng)作(zuò)。三(sān)是(shì)创(chuàng)新(xīn)算(suàn)力(lì),其(qí)核(hé)心(xīn)作(zuò)用(yòng)在(zài)于(yú)对(duì)非(fēi)主流(liú)想(xiǎng)法(fǎ)进(jìn)行(xíng)验(yàn)证(zhèng),积(jī)极(jí)探(tàn)索(suǒ)更(gèng)多(duō)尚(shàng)未(wèi)被(bèi)充(chōng)分(fēn)发(fā)掘(jué)的(de)新(xīn)技(jì)术(shù),拓(tà)展(zhǎn)多(duō)样(yàng)化(huà)的(de)新(xīn)解(jiě)决(jué)方(fāng)案(àn)。当(dāng)前(qián),应(yīng)用(yòng)算(suàn)力(lì)和(hé)迭(dié)代(dài)算(suàn)力相对充足,而创新算力严重不足,这对于颠覆性想法的产生与发展形成潜在挑战。要想避免研究走向同质化困境,实现创新算力供给至关重要。这种供给应当鼓励差异化思考,并为非主流技术路线提供支持。

Agent是目的还是过程?如何构建真正自主进化的智能体?从Agent发展情况看,它依赖于基础模型,同时还需要通过与环境和用户的互动不断学习和自我改进。当前大多数自我改进系统都陷入了“僵化学习”的困境 。人类智能的一个核心特征便是其永无止境的学习(xí)能(néng)力(lì)——不(bù)断(duàn)吸(xī)收(shōu)新(xīn)知(zhī)识(shi)、适(shì)应(yīng)环(huán)境(jìng)变(biàn)化(huà),并(bìng)对(duì)过(guò)往(wǎng)经(jīng)验(yàn)进(jìn)行(xíng)深(shēn)刻(kè)总(zǒng)结(jié)、迁(qiān)移(yí)与(yǔ)升(shēng)华(huá)。智(zhì)能(néng)体(tǐ)系(xì)统(tǒng)是(shì)否(fǒu)也(yě)有(yǒu)可(kě)能(néng)具(jù)备(bèi)类(lèi)似(shì)的(de)真(zhēn)正(zhèng)持(chí)续(xù)学(xué)习(xí)的(de)能(néng)力(lì),甚(shén)至(zhì)在(zài)此基础上实现某种形式的“自主进化”?

超级大脑与本体的关系是什么? 如何突破“莫拉维克悖论”,实现类人的具身进化和环境自适应?在具身智能的研究范畴里,如何精准定义“大脑”与“本体”之间的关系已成为核心且亟待攻克的关键问题。人类作为“智能体”,在本体能力维度,诸如力量、速度等方面相较于众多动物存在明显劣势。但人类凭借独特的工具创造能力、环境交互与学习能力,成功突破自身生理局限,达成诸多超越想象的成就。因此,未来的具身智能研究应当深入探究大脑与本体间的最优关系,并据此制定资源投入的最佳策略。既避免“超级大脑-弱本体”的陷阱,也避免“高级本体-简单决策”的陷阱,从而推动具身智能技术取得实质性、突破性进展。

如何从Make AI Safe到Make Safe AI?人工智能正以前所未有的速度发展,当前面临的核心挑战是,如何从被动的“弥补AI安全漏洞”(Make AI Safe)转向主动的“构建本质安全的AI”(Make Safe AI)?近期,形式化AI取得较多进展,华裔数学家陶哲轩的“Lean+AI=数学证明智能化”概念,以及创业公司Ndea的程序合成(program synthesis)技术,都体现了通过数学严谨性确保系统行为可验证。形式化AI有巨大潜力,但也存在一定问题:会否由于限制太强,使系统灵活度下降,从而出现为了完成任务而“绕过安全检查”,最终导致病变?自动形式化、形式化验证是确保AI 100%安全的路径吗?还有哪些可行的技术方案,比如Causal AI(因果人工智能)、Explainable AI(可解释人工智能)等?真正的AI安全需要的不是完美的规范,而是具备自我修正能力的动态安全机制。

从静态到动态? 训练、评测、解决问题一体化?面向AGI的评测应如何建设?“AI上半场”聚焦开发新的训练方法和模型架构,但模型任务与真实世界的“效用”存在脱节,暴露出当下评测体系“高分低能”问题。因此“AI下半场”将聚焦现实世界的任务定义与评估体系重构。新评测体系要从能力导向(构建评测问题)到任务导向 (独立/辅助人类解决现实世界中的高价值问题)迁移,评测和解决问题可能会变成一体化,即在训练中评测、在评测中训练,在“干中学”在“学中干”。

如何从“工具的革命”到“革命的工具”?AI for Science要真正发挥革命性作用,必须理解科学研究的本质:研究者、研究工具、研究对象三者的交互关系。目前的AI for Science主要关注研究工具层面的单点效率提升(“工具的革命”),而我们需要追求的是能够带来科学范式转变的“革命性工具”,并实现科研各环节全链条水平提(tí)升(shēng)。下(xià)一(yī)代(dài)For Science的(de)AI,如(rú)何(hé)从(cóng)“工(gōng)具(jù)的(de)革(gé)命(mìng)”变(biàn)成(chéng)“革(gé)命(mìng)的(de)工具”应该是我们这一代人的使命。如果要成为“革命的工具”,现在的语言模型是否够用?若没有多模态的智能涌现,或许很难实现革命性的AI for Science工具。当前的多模态模型仍然建立在预测下一个token的基础上,缺乏对图表、分子模型、公式和实验观察的深度理解能力。打造能够推动科学突破的AI系统,需要在多模态统一表征方面取得突破。

针对Transformer的不足,什么架构能够带来根本性创新?Transformer架构自2017年问世以来,引领了AI领域的一场革命。从GPT系列到Claude,从DALL-E到Gemini,几乎所有令人印象深刻的大型语言模型和多模态模型都建立在这一架构之上。但随着我们对AI能力的期望不断提高,Transformer的一些内在局限性逐渐显现,包括计算效率不高、上下文理解有限、推理能力存在瓶颈、难以模拟动态系统等。正如爱因斯坦所言:“我们不能用制造问题时的思维方式来解决问题”。可能需要全新的架构思路突破这些局限。展望未来,除了Transformer自身架构的持续迭代,未来多元架构如何共存、互补和协作?针对决策智能、世界智能、生物智能等领域需要探索可能引领下一代的AI架构。
官方网站-首页