官方网站-首页

【导语】2024年7月25日，由杰弗里·辛顿、姚期智、本吉奥、斯图尔特·罗素等20余位顶尖AI行业专家与学者共同签署的《AI安全国际对话上海共识》正式公布。该共识强调，国际社会应确立具体、可操作、受全球认可的红线，以确保人工智能系统在任何情况下均不失控。此次共识是在“AI安全国际对话”系列会议背景下达成的，旨在应对人工智能系统迅速接近并可能超越人类智能水平所带来的潜在风险。参与签署的专家呼吁，全球需跨国界合作，共同确立并恪守AI行为红线，推动“基于设计的安全”研究，以主动应对AI安全挑战。

“国际社会应确立具体、可操作、受全球认可的红线，确保人工智能系统在任何情况下均不得逾越。”7月25日， 由杰弗里·辛顿（Geoffrey Hinton）、姚期智、本吉奥（Yoshua Bengio）、斯图尔特·罗素（Stuart Russell）等20余位行业专家、学者共同签署的AI安全国际对话上海共识（以下简称“上海共识”）正式对外公开。

参与签署的部分中外科学家 来源：IDAIS官网

此次对话是“AI安全国际对话”（International Dialogues on AI Safety - IDAIS）系列的一部分”。作为本次共识发起方之一，图灵奖得主、上海期智研究院的院长姚期智当日表示，“我越来越相信，人类终将找到解决方案。”

联名签署现场

2024年3月，辛顿、姚期智、罗素、本吉奥等专家曾共同签署“北京共识”，主张限制AI系统复制、欺骗、武器开发等行为，尤(yóu)其(qí)呼(hū)吁(xū)行(xíng)业(yè)为(wèi)AI的(de)研(yán)发(fā)和(hé)应(yīng)用(yòng)戴(dài)上(shàng)“紧(jǐn)箍(gū)咒(zhòu)”，避(bì)免(miǎn)相(xiāng)关技(jì)术(shù)被(bèi)滥(làn)用(yòng)，推(tuī)动(dòng)全球(qiú)治(zhì)理(lǐ)机(jī)构(gòu)构(gòu)建(jiàn)。姚(yáo)期(qī)智(zhì)透(tòu)露(lù)，18个(gè)月(yuè)前(qián)举(jǔ)办(bàn)第(dì)一(yī)次(cì)安(ān)全共(gòng)识(shi)会(huì)议(yì)时(shí)，AGI强(qiáng)大(dà)的(de)破(pò)坏(huài)力(lì)就(jiù)已(yǐ)经(jīng)显(xiǎn)现(xiàn)，人(rén)类(lèi)甚(shén)至(zhì)难(nán)以(yǐ)阐(chǎn)明(míng)其(qí)失(shī)控(kòng)机(jī)制，不过随着相关会议的推进，已经看到若干有关基于“设计的安全”（Safe by design）提案，这意味着实际上人类可以找到确保AI安全的可行路径。

此次“上海共识”指出，当前人类正处于一个关键转折点：人工智能系统正迅速接近并可能超越人类智能水平。这些未来的系统可能在操作者毫不知情的情况下，执行并非操作者所期望或预测的行动。这可能导致失控，即一个或多个通用人工智能系统脱离任何人的控制，从而带来灾难性甚至(zhì)是(shì)生(shēng)存(cún)层(céng)面(miàn)的(de)风(fēng)险(xiǎn)。当(dāng)前(qián)，对(duì)于(yú)能(néng)够(gòu)在(zài)更(gèng)高(gāo)级(jí)的(de)通(tōng)用(yòng)人(rén)工(gōng)智(zhì)能(néng)超(chāo)越(yuè)人(rén)类(lèi)智(zhì)能(néng)水(shuǐ)平(píng)后(hòu)，仍(réng)可(kě)靠(kào)地(de)确(què)保(bǎo)其(qí)对(duì)齐(qí)，并(bìng)保(bǎo)持(chí)人(rén)类(lèi)的(de)有(yǒu)效(xiào)控(kòng)制(zhì)尚(shàng)无(wú)可(kě)行(xíng)方(fāng)法(fǎ)。

多(duō)位(wèi)与(yǔ)会(huì)专(zhuān)家(jiā)在(zài)参(cān)与(yǔ)讨(tǎo)论(lùn)时(shí)也(yě)提(tí)及(jí)，当(dāng)前(qián)构(gòu)建(jiàn)真(zhēn)正(zhèng)有(yǒu)约(yuē)束(shù)力(lì)且(qiě)值(zhí)得(de)信(xìn)赖(lài)的(de)国(guó)际(jì)AI安(ān)全框(kuāng)架(jià)难(nán)度(dù)高(gāo)、风(fēng)险(xiǎn)大(dà)。

上(shàng)海(hǎi)人(rén)工(gōng)智(zhì)能(néng)实(shí)验(yàn)室(shì)主任(rèn)周(zhōu)伯(bó)文教(jiào)授(shòu)指(zhǐ)出(chū)，目(mù)前(qián)Make AI Safe（使(shǐ)得(de)AI安(ān)全）最(zuì)大(dà)的(de)问(wèn)题(tí)在(zài)于(yú)它(tā)是(shì)事(shì)后(hòu)价(jià)值(zhí)对(duì)齐(qí)、修(xiū)补(bǔ)的(de)、被(bèi)动(dòng)回(huí)应(yīng)的(de)，通(tōng)常(cháng)是(shì)防(fáng)御(yù)成(chéng)本(běn)过(guò)高(gāo)而(ér)攻(gōng)击(jī)成(chéng)本(běn)过(guò)低(dī)。而(ér)Make Safe AI（构(gòu)建(jiàn)安(ān)全的(de)AI）是(shì)主动(dòng)的(de)、在(zài)线(xiàn)共(gòng)同(tóng)演(yǎn)进(jìn)的(de)，同(tóng)时(shí)防(fáng)御(yù)成(chéng)本(běn)低(dī)，能(néng)够(gòu)在(zài)各(gè)级(jí)风(fēng)险(xiǎn)上(shàng)都(dōu)保(bǎo)持(chí)应(yīng)变(biàn)能(néng)力(lì)。

周(zhōu)伯(bó)文认(rèn)为(wèi)，在(zài)一(yī)定(dìng)程(chéng)度(dù)上(shàng)，训(xun)练(liàn)一(yī)个(gè)模(mó)型(xíng)变(biàn)得(de)友(you)善(shàn)和(hé)训练一个模型变得聪明可能是两条不同的技术路径。但当性能发展到某个程度，这两种能力可能很难分开处理——就像经典牛顿定律可以有效解释静止或慢速物体的运动，但是一旦逼近光速，这套理论就失效了。所以他认为，下一代模型的“善”与“智”未必能完全独立、分开发展，而是相互影响、共同进化的。

参与签署的专家之一，担任约翰·霍普金斯大学人工智能对齐与治理方向杰出教授吉莉恩·哈德菲尔 （Gillian Hadfield）在接受包括澎湃科技在内的媒体采访时指出，必须通过设立AI“红线”来推动Make AI Safe（使得AI安全），全世界需要跨国界合作。此外，要建立相应的AI安全合规系统。

为防范与纠正此类行为的技术路径与治理机制，“上海共识”提出应对策略，并呼吁采取三项关键行动：要求前沿人工智能开发者提供安全保障、通过加强国际协调，共同确立并恪守可验证的全球性行为红线、投资基于设计的安全人工智能研究。

其中，对于开发者来说，“上海共识”要求开发者在模型部署前应先进行全面的内部检查和第三方评估，提交高可信的安全案例，以及开展深入的模拟攻防与红队测试。若模型达到了关键能力阈值（比如检测模型是否具备帮助没有专业知识的非法分子制造生化武器的能力），开发者应向政府（在适当时亦可向公众）说明潜在风险。

此外，呼吁国际社会需要合作划出人工智能开发不可以逾越的红线（即“高压线”），这些红线应聚焦于人工智能系统的行为表现，其划定需同时考量系统执行特定行为的能力及其采取该行为的倾向性。为落实这些红线，各国应建立一个具备技术能力、具有国际包容性的协调机构，汇聚各(gè)国(guó)人(rén)工(gōng)智(zhì)能(néng)安全主管机构，以共享(xiǎng)风(fēng)险(xiǎn)相(xiāng)关信(xìn)息(xi)，并(bìng)推(tuī)动(dòng)评(píng)估(gū)规(guī)程(chéng)与(yǔ)验(yàn)证(zhèng)方(fāng)法(fǎ)的(de)标(biāo)准(zhǔn)化(huà)。

“上(shàng)海(hǎi)共(gòng)识(shi)”指(zhǐ)出(chū)，短(duǎn)期(qī)内(nèi)亟(jí)须(xū)建(jiàn)立(lì)可(kě)扩(kuò)展(zhǎn)的(de)监(jiān)管(guǎn)机(jī)制(zhì)以(yǐ)应(yīng)对(duì)人(rén)工(gōng)智能的欺骗问题、提升模型对“越狱”等攻击手段的抵御(yù)能(néng)力(lì)、强(qiáng)化(huà)信息安保投入等，而长期则需要一个“基于设计的安全”的架构，而非问题出现后才被动应对。