官方网站-首页官方网站-首页

logo - 科技
Nature重磅:改写AI气象预测,可在台式电脑上运行,速度快千倍
2025-04-04 10:30:37

图片

在全球变暖、自然极端天气频发的当下,准确的气象预测对于人类生命健康与社会发展至关重要

例如,在农业方面,为播种、灌溉和收割等农事活动提供参考,减少自然灾害对农作物的影响,提(tí)高(gāo)产(chǎn)量(liàng)和(hé)经(jīng)济(jì)效(xiào)益(yì);在(zài)航(háng)空(kōng)领(lǐng)域,帮(bāng)助(zhù)航(háng)空(kōng)公(gōng)司(sī)合(hé)理(lǐ)规(guī)划(huà)航(háng)班(bān),避(bì)免(miǎn)因(yīn)恶(è)劣(liè)天(tiān)气(qì)导(dǎo)致(zhì)的(de)延(yán)误(wù)和(hé)事(shì)故(gù);在(zài)公(gōng)共(gòng)安(ān)全领(lǐng)域,为(wèi)应(yīng)急(jí)管(guǎn)理(lǐ)部(bù)门(mén)的(de)工(gōng)作(zuò)提(tí)供(gōng)参(cān)考(kǎo),减(jiǎn)少(shǎo)人(rén)员(yuán)伤(shāng)亡(wáng)和(hé)财(cái)产(chǎn)损(sǔn)失(shī)……

从(cóng)科(kē)学(xué)研(yán)究(jiū)的(de)角(jiǎo)度(dù)来(lái)看(kàn),气(qì)象(xiàng)预(yù)测(cè)能(néng)够(gòu)帮(bāng)助(zhù)科(kē)学(xué)家(jiā)更(gèng)好地理解大气的物理过程和气候变化的趋势。分析气候系统的复杂性,探索极端天气事件的成因,以及评估人类活动对气候的影响。

然而,现有的人工智能(AI)气象预测领域面临诸多挑战。传统数值天气预测(NWP)系统依赖复杂流程和超级计算机,难以快速改进,且改进成本高昂。AI 模型虽具潜力,但多依赖 NWP 初始状态,性能受限,且在数据处理上面临数据缺失和融合难题,影响其预测性能和实际应用。

谷歌 GenCast、GraphCast、NeuralGCM 等 AI 气象预测技术取得了显著进展,但它们在数据依赖性、预测时效和分辨率、模型复杂性和计算成本以及实际应用的局限性等方面仍存在一些缺点。

作为新一代 AI 气象预测系统,由来自剑桥大学和艾伦图灵研究所的研究团队开发的 Aardvark Weather 有望带来气象预测的范式转变。

Aardvark Weather 是首个可用在台式电脑训练和运行的单一 AI 模型取代天气预报流程所(suǒ)有(yǒu)步(bù)骤(zhòu)的(de)系(xì)统(tǒng),速(sù)度(dù)快(kuài)数(shù)千(qiān)倍(bèi),可(kě)处(chù)理(lǐ)来(lái)自(zì)卫(wèi)星(xīng)、气(qì)象(xiàng)站(zhàn)和(hé)气(qì)象(xiàng)气(qì)球(qiú)的(de)多(duō)模(mó)态(tài)复(fù)杂(zá)数(shù)据(jù),生(shēng)成(chéng) 10 天(tiān)全球(qiú)预(yù)报(bào)。

相(xiāng)关研(yán)究(jiū)论(lùn)文以(yǐ)“End-to-end data-driven weather prediction”为(wèi)题(tí),已(yǐ)发(fā)表(biǎo)在(zài)权(quán)威(wēi)科(kē)学(xué)期(qī)刊(kān) Nature 上(shàng)。

图(tú)片(piàn)

论(lùn)文链(liàn)接(jiē):

https://www.nature.com/articles/s41586-025-08897-0

研(yán)究(jiū)团(tuán)队(duì)表(biǎo)示(shì),这(zhè)将(jiāng)为(wèi)缺(quē)乏(fá)超(chāo)级(jí)计(jì)算(suàn)机(jī)、复(fù)杂(zá)基(jī)础(chǔ)设(shè)施(shī)和(hé)专(zhuān)业(yè)知(zhī)识(shi)的(de)发(fā)展(zhǎn)中(zhōng)国(guó)家(jiā)带(dài)来(lái)真(zhēn)正(zhèng)的(de)价(jià)值(zhí),以(yǐ)及(jí)在(zài)任(rèn)何(hé)地(de)方(fāng)发(fā)挥(huī)作(zuò)用(yòng),提(tí)高(gāo)效(xiào)率(lǜ)和(hé)准(zhǔn)确(què)性(xìng),甚(shén)至(zhì)减(jiǎn)少(shǎo)天(tiān)气(qì)预(yù)报(bào)的(de)大(dà)量(liàng)碳(tàn)足(zú)迹(jī)。

AI气(qì)象(xiàng)预(yù)测(cè):更(gèng)便(biàn)宜(yi)、更(gèng)准(zhǔn)确(què)、更(gèng)高(gāo)效(xiào)

传(chuán)统(tǒng)的(de)数(shù)值(zhí)天(tiān)气(qì)预(yù)报(bào)(NWP)需(xū) 3 步(bù),包(bāo)括(kuò):收(shōu)集信(xìn)息(xi)估(gū)计(jì)大(dà)气(qì)当(dāng)前(qián)状(zhuàng)态(tài)、用(yòng)复(fù)杂(zá)计(jì)算(suàn)模(mó)型(xíng)产(chǎn)生(shēng)预(yù)报(bào)、处(chù)理(lǐ)预(yù)报(bào)确(què)保(bǎo)其(qí)在(zài)特(tè)定(dìng)位(wèi)置(zhì)可(kě)用(yòng)。

过(guò)去(qù)两(liǎng)年(nián),AI 虽(suī)用(yòng)于(yú)流(liú)程(chéng)第(dì)二(èr)步(bù),使(shǐ)其(qí)速(sù)度(dù)更(gèng)快(kuài)、更(gèng)准(zhǔn)确(què),但(dàn)第(dì)一(yī)步(bù)尚(shàng)未(wèi)取(qǔ)得(de)更(gèng)大(dà)进(jìn)展(zhǎn),仍(réng)需(xū)消(xiāo)耗(hào)大(dà)量(liàng)资(zī)源(yuán)。NWP 依(yī)赖(lài)数(shù)据(jù)同(tóng)化(huà)、流(liú)体(tǐ)力(lì)学(xué)方(fāng)程(chéng)求(qiú)解(jiě)、后(hòu)处(chù)理(lǐ)等(děng)多(duō)个(gè)步(bù)骤(zhòu),需(xū)超(chāo)级(jí)计(jì)算(suàn)机(jī)支(zhī)持(chí),这(zhè)使(shǐ)得(de)其(qí)运(yùn)行(xíng)成(chéng)本(běn)高(gāo)昂(áng),且(qiě)难(nán)以(yǐ)快(kuài)速(sù)迭(dié)代(dài)和(hé)改(gǎi)进(jìn)。生(shēng)成(chéng)全球(qiú)预(yù)报(bào)需(xū)约(yuē)1000节(jié)点(diǎn)小(xiǎo)时(shí),且(qiě)依(yī)赖(lài)高(gāo)分(fēn)辨(biàn)率(lǜ)模(mó)型(xíng)。

在(zài)这(zhè)项(xiàng)研(yán)究(jiū)中(zhōng),Aardvark Weather 通(tōng)过(guò)其(qí)端(duān)到(dào)端(duān)的(de)数(shù)据(jù)驱(qū)动(dòng)方(fāng)法(fǎ),显(xiǎn)著(zhe)降(jiàng)低(dī)了(le)气(qì)象(xiàng)预(yù)测(cè)的(de)计(jì)算(suàn)成(chéng)本(běn)。它(tā)还(hái)能(néng)够(gòu)在(zài)几(jǐ)秒(miǎo)钟(zhōng)内(nèi)生(shēng)成(chéng)全球(qiú)天(tiān)气(qì)预(yù)报(bào),相(xiāng)较(jiào)于(yú)传(chuán)统(tǒng)方(fāng)法(fǎ)需(xū)要(yào)数(shù)小(xiǎo)时(shí)甚(shén)至(zhì)数(shù)天(tiān)的(de)计(jì)算(suàn)时(shí)间(jiān),极(jí)大(dà)地(de)提(tí)高(gāo)了(le)预(yù)测(cè)效(xiào)率(lǜ)。

此(cǐ)外(wài),Aardvark Weather 在(zài)多(duō)个(gè)气(qì)象(xiàng)变(biàn)量(liàng)和(hé)预(yù)测(cè)时(shí)效(xiào)上(shàng)展(zhǎn)现(xiàn)出(chū)与(yǔ)传(chuán)统(tǒng) NWP 系(xì)统(tǒng)相(xiāng)当(dāng)甚(shén)至(zhì)更(gèng)优(yōu)的(de)准(zhǔn)确(què)性(xìng),尤(yóu)其是在处理小范围极端天气事件时表现出色。这种高效、经济且准确的特性,使其成为未来气象预测领域的一个重要发展方向。

具体而言,Aardvark 的速度更快。它是首个完全数据驱动的端到端天气预报系统,比传统 NWP 更快、成本更低,其生成速度比现有系统快几个数量级,并且不依赖 NWP 预报产品。

在 4 个 NVIDIA A100 GPU 上,Aardvark 由观测数据生成完整预报大约只需要(yào)一(yī)秒(miǎo)钟(zhōng)。相(xiāng)比(bǐ)之(zhī)下(xià),高(gāo)分(fēn)辨(biàn)率(lǜ)预(yù)报(bào)(HRES)仅(jǐn)执(zhí)行(xíng)数(shù)据(jù)同(tóng)化(huà)和(hé)预(yù)报(bào)就(jiù)需(xū)要(yào)大(dà)约(yuē) 1000 个节点小时,这还未考虑下游本地模型和处理。

而且,Aardvark 是端到端的。Aardvark 学习端到端模型提供了额外的功能,即能够优化系统,以在任意感兴趣的变量或区域上实现性能最大化。与传统 NWP 系统相比,机器学习系统不仅速度更快、计算成本更低,而且改进和维护起来也容易得多。

该系统的简单性,不仅使其更容易被已经运行 NWP 的用户部署和维护,还为发展中国家的一些地区提供了运行定制 NWP 的潜力,这些地区的机构通常缺乏运行传统系(xì)统(tǒng)的(de)资(zī)源(yuán)和(hé)专(zhuān)业(yè)知(zhī)识(shi)。

此(cǐ)外(wài),端(duān)到(dào)端(duān)预(yù)测(cè)还(hái)展(zhǎn)示(shì)了(le)能(néng)够(gòu)针(zhēn)对(duì)特(tè)定(dìng)区(qū)域和(hé)变(biàn)量(liàng)优(yōu)化(huà)定(dìng)制(zhì)模(mó)型(xíng)以(yǐ)最(zuì)大(dà)化(huà)预(yù)测(cè)能(néng)力(lì)的(de)潜(qián)力(lì),这(zhè)引(yǐn)起(qǐ)了(le)农业、可再生能源、保险和金融等多个领域终端(duān)用(yòng)户(hù)的(de)极(jí)大(dà)兴(xìng)趣(qù)。

那(nà)么,Aardvark Weather 是如何做到这些的呢?

Aardvark Weather 是一个深度学习模型,能够从多种观测数据源中摄取信息,并生成全球网格化预测和本地站点预测,三个主要模块组成:编码器(encoder)、处理器(processor)和解码器(decoder)。它在训练阶段利用高质量的再分析数据,而在部署阶段完全独立于传统 NWP 产品。

图片

图|三个模块各自的功能

首先,编码器模块整合多种来源的观测数据,包括网内和网外观测数据,并生成网格化初始状态。网内观测数据是规则网格上的数据模态,而网外模态则是一组经纬度位置上的数据。

为此,他们利用了深度学习在处理离网数据和缺失数据方面的(de)最(zuì)新(xīn)进(jìn)展(zhǎn)。这(zhè)一(yī)过(guò)程(chéng)采用(yòng)非(fēi)递(dì)归(guī)方(fāng)法(fǎ)进(jìn)行(xíng)状(zhuàng)态(tài)估计,以避免传统数据同化系统中的复杂性。

对于编码器模块,他们通过掩码通道区分缺失数据与真实观测数据,使用 SetConv 层处理非网(wǎng)格(gé)化(huà)数(shù)据(jù),并(bìng)利用 ViT 提取特征,最终输出 24 个大气变量的初始估计值,训练过程中采用 VLW-RMSE 损失函数,并通过 AdamW 优化器进行优化。

其次,处理器模块以编码器估算出的初始大气状态作为输入,会在 24 小时内生成网格预报。通过自回归方式生成未来 24 小时的天气预测。对于更长的预测时间,处理器模块会将其自身的预测作为输入,逐步推算未来的天气状态。

该模块由 10 个独立的 ViT 串联构成,每个 ViT 负责预测未来 1 天的气象状态残差(residual,即当前预测与真实状态的差异),并通过叠加残差逐步生成 1 至 10 天的全球网格化预报。

例如,第一天的 ViT 以初始状态为输入预测第 1 天(tiān)残(cán)差(chà),第(dì)二(èr)天(tiān)的(de) ViT 则(zé)以(yǐ)第(dì) 1 天修正后的状态为输入,依此类推(tuī)。

最(zuì)后,解码器模块收到处理器模块输出的网格化预测数据,任务特定的解码器模块将网格化数据转换为具体的本地气象预测。

该模块采用 U-Net 为主架构,对全球预报数据进行空间特征提取,捕捉局部气象细节,随后通过 SetConv 层将(jiāng)网(wǎng)格数据插值到任意目标站点坐标,并结合多层感知机(MLP)融入地形辅助信息(如海拔、坡度)。

迈向新一代端到端气象预测系统

虽然 AI 气象预测工具正在快速发展,但这仍然是一项实验技术,需(xū)要(yào)在(zài)一(yī)段(duàn)时间内进行严格的评估。要想在实际中部署 Aardvark Weather 这样的端到端数据驱动模型,必须考虑当前模型的局限性。

与所有当前的 AI-NWP 系统一样,Aardvark Weather 尚未以 IFS 的分辨率运行。需要进一步研究以提高网格分辨率,并通过扩散等方式生成预报集合。

此(cǐ)外(wài),Aardvark Weather 在观测数据的使用上也存在一些局限性(xìng)。增(zēng)加(jiā)更(gèng)多(duō)的(de)观(guān)测(cè)方(fāng)式(shì)很(hěn)可(kě)能(néng)会(huì)提(tí)高(gāo)预(yù)报(bào)能(néng)力(lì)。同(tóng)时(shí),还(hái)需(xū)要(yào)考(kǎo)虑(lǜ)如(rú)何(hé)将(jiāng)那(nà)些(xiē)尚(shàng)未(wèi)有(yǒu)训练数据的新仪器的数据有效地整合到系统中。例如,可以通过对模拟数据进行训练来实现。

对于气象预测工具来说,飓风和洪水等极端天气尤其重要。不幸的是,这类罕见事件在训练数据中较少出现,这意味着人工智能系统在这些现象上可能会遇到更多困难。

另一个需要考虑的问题是应对观测数据漂移以及数据随时间的其他变化,比如气候变化,这可能会降低基于过去数据训练的模型的准确性。这可以通过定期使用最近几个月的数据对所有模块进行微调,从而适应仪器特性的变化。

对此,研究团队表示,他们将在未来的工作中通过扩展 Aardvark Weather 以支持更多其他预报变量,无论是在其网格化预报中,还是通过其解码器模块,都可以进一步增加其功能。例如,Aardvark Weather 可以支持多种解码器模块,以提供不同类型的终端用户预报,如飓风、洪水、严重对流、火灾和其他极端天气预警。

另一个令人兴奋的方向是,利用端到端系统进行更长时间的预报,来生成季节性预报产品

此外,增加更多的观测模式将允许对地球系统的其他组成部分进行建模。例如,用于空气质量预报的大气化学和用于海洋预报的海洋参数。

他们设想,Aardvark Weather 将成为新一代端到端气象预测系统中第一个能够应对这些多样化任务的系统

作者:锦鲤