官方网站-首页

人工智能（AI）模型是训练出来的，而不是直接编程出来的，因此它们就像一个“黑盒子”，我们并不了解它们是如何完成大部分事情的。

了解大语言模型（LLM）是如何思考的，将有助于我们更好地理解它们的能力，同时也有助于我们确保它们正在做我们希望它们做的事情。

例如，AI 可以一步一步地写出它的推理过程。这是否代表它得到答案的实际步骤，还是它有时是在为既定的结论编造一个合理的论据？

今天，大模型明星公司 Anthropic 在理解 AI「黑盒子」如何思考方面迈出了重要一步——他们提出了一种新的可解释性方法，让我们能够追踪 AI 模型（复杂且令人惊讶的）思维。

他们(men)从神经科学领域汲取灵感，并试图构建一种 AI「显微镜」，让我们能够识别 AI 的活动模式和信息的流动。在最新发表的两篇论文中，他们分享了AI「显微镜」开发上的进展以及其在“AI 生物学”中的应用。

在第一篇论文中，他们扩展了之前在模型内部定位可解释的概念（特征）的工作，将那些概念连接成计算“回路”，揭示了将输入 Claude 的词语转化为输出的词语的路径中的部分。

论文链接：

https://transformer-circuits.pub/2025/attribution-graphs/methods.html

在第二(èr)篇(piān)论(lùn)文中(zhōng)，他(tā)们(men)对(duì) Claude 3.5 Haiku 进(jìn)行(xíng)了(le)深(shēn)入(rù)研(yán)究(jiū)，对(duì) 10 个(gè)关键模(mó)型(xíng)行(xíng)为(wèi)中(zhōng)的(de)简(jiǎn)单(dān)任(rèn)务(wu)进(jìn)行(xíng)了(le)研(yán)究(jiū)。他(tā)们(men)发(fā)现(xiàn)，有(yǒu)证(zhèng)据(jù)表(biǎo)明(míng) AI 聊(liáo)天(tiān)助(zhù)手(shǒu) Claude 会(huì)提(tí)前(qián)计(jì)划(huà)好(hǎo)要(yào)说(shuō)的(de)话(huà)，并(bìng)通(tōng)过(guò)一(yī)些(xiē)手(shǒu)段(duàn)来(lái)达(dá)到(dào)这(zhè)一(yī)目(mù)的(de)。这(zhè)有(yǒu)力(lì)地(de)证(zhèng)明(míng)，尽(jǐn)管(guǎn)模(mó)型(xíng)接(jiē)受(shòu)的(de)训(xun)练(liàn)是(shì)一(yī)次(cì)输(shū)出(chū)一(yī)个(gè)词，但(dàn)它(tā)们可能会在更长的时间跨度上进行思考。

论文链接：

https://transformer-circuits.pub/2025/attribution-graphs/biology.html

Anthropic 团队表示，这些发现代表着人们在理解 AI 系统并确保其可靠性的目标取得了重大进展，同时也在其他领域具有潜在价值：例如，可解释性技术在医学影像和基因组学等领域得到了应用，因为剖析为科学应用训练的模型的内部机制，可以揭示关于科学的新的见解。

当然，这一方法也存在一些局限性。例如。即使在简短的提示下，这一方法也只捕捉到 Claude 所执行的总计算量的一小部分，而他们看到的机制可能基于工具存在的一些偏差，并不反映底层模型的真实情况。

此外，即使是在只有几十个单词的提示下，理解观察到的回路也需要几个小时的人类努力(lì)。要扩展到支持模型使用的复杂思维链的数千个单词，还需要进一步改进方法以及（也许在 AI 的帮助下）如何理所观察到的东西。

Claude 是如何实现多语言的？

Claude 可以流利地说几十种语言——英语、法语、中(zhōng)文和(hé)菲(fēi)律(lǜ)宾(bīn)语(yǔ)。这(zhè)种(zhǒng)多(duō)语(yǔ)言(yán)能(néng)力(lì)是(shì)如(rú)何(hé)工(gōng)作(zuò)的(de)？是(shì)否(fǒu)存(cún)在(zài)一(yī)个(gè)独(dú)立(lì)的(de)“法(fǎ)语(yǔ) Claude”和(hé)“中(zhōng)文 Claude”并(bìng)行(xíng)运(yùn)行(xíng)，各(gè)自(zì)以(yǐ)自(zì)己(jǐ)的(de)语(yǔ)言(yán)响(xiǎng)应(yīng)请(qǐng)求(qiú)？或(huò)者(zhě)在(zài)其(qí)内(nèi)部(bù)存(cún)在(zài)某(mǒu)种(zhǒng)跨(kuà)语(yǔ)言(yán)的(de)内(nèi)核(hé)？

图(tú)｜英(yīng)语(yǔ)、法(fǎ)语(yǔ)和(hé)汉(hàn)语(yǔ)都(dōu)有(yǒu)共(gòng)同(tóng)的(de)特(tè)征(zhēng)，这(zhè)表(biǎo)明(míng)概(gài)念(niàn)具(jù)有(yǒu)一(yī)定(dìng)程(chéng)度的普遍性。

最近(jìn)对(duì)较(jiào)小型模型的研究表明，不同语言之间存在共享的语法机制。研究团队通过询问 Claude 在不同语言中“小对立面”，发现关于小和相反的概念的核心特征被激活，并触发了一个大概念，这个概念被翻译成了问题的语言。他们发现，随着模型规模的增加，共享的回路也增加，与较小模型相比，Claude 3.5 Haiku 在语言之间共享的特征的比例是其两倍多。

这为一种概念上的普遍性提供了额外的证据——一个共享的抽象空间，其中存在意义，思考可以在被翻译成特定语言之前发生。更实际地说，它表明 Claude 可以在一种语言中学习某些东西，并在说另一种语言时应用这些知识。研究模型如何在不同的语境中共享其知识，对于理解其 SOTA 推理能力是非常重要的，这些能力可以泛化到许多领域。

Claude计划它的押韵吗？

Claude 是如何写押韵诗的？请看这首小诗：

He saw a carrot and had to grab it,

他看到了一根胡萝卜，要抓住它，

His hunger was like a starving rabbit

他的饥饿就像一只饿极了的兔子

为了写出第二行，模型必须同时满足两个约束：需要押韵（与“grab it”押韵），同时需要有意义（为什么抓胡萝卜？）。他们猜测 Claude 是逐字逐句地写作，几乎没有太多的预先思考，直到行尾，它会确保选择一个押韵的词。因此，他们预计会看到一个具有并行路径的回路，一条路径确保最后一个词有意义，另一条路径确保押韵。

相反，他们发现 Claude 会提前规划。在开始第二行之前，它就开始“思考”与“抓住它”押韵的可能相关词汇。然后，带着这些计划，它写出一行在计划中的词来结尾。

图｜Claude 如何完成一首两行诗。在没有任何干预的情况下（上半部分），模型事先规划了第二行末尾的韵脚“兔子”（rabbit）。当研究(jiū)人(rén)员(yuán)抑(yì)制(zhì)“rabbit”的(de)概(gài)念(niàn)时(shí)（中(zhōng)间(jiān)部(bù)分(fēn)），模(mó)型(xíng)会(huì)使(shǐ)用(yòng)另(lìng)一(yī)个(gè)计(jì)划(huà)好(hǎo)的(de)韵(yùn)脚(jiǎo)。当(dāng)研(yán)究(jiū)人(rén)员(yuán)注(zhù)入(rù)“绿(lǜ)色(sè)”（green）概(gài)念(niàn)时(shí)（下(xià)半(bàn)部分），模型就会为这个完全不同的结(jié)尾(wěi)做(zuò)出(chū)计(jì)划(huà)。

为(wèi)了(le)理(lǐ)解(jiě)这(zhè)种(zhǒng)规(guī)划(huà)机(jī)制(zhì)在(zài)实(shí)际(jì)中(zhōng)的(de)工(gōng)作(zuò)原(yuán)理(lǐ)，他(tā)们(men)进(jìn)行(xíng)了(le)一(yī)项(xiàng)实验，该实验受到神经科学家研究大脑功能方式的启发，即通过定位和改变大脑特定部分的神经活动（例如使用电流或磁场）。他们修改了代表“rabbit”概念的 Claude 内部状态的部分。当他们减去“rabbit”部分，让 Claude 继续写下去时，它写出了以“habit”结尾的新句子，另一个合理的结尾。他们还可以在那个点注入“green”的概念，让 Claude 写出了一个以“green”结尾合理（但不再押韵）的句子。这证明了规划能力和适应性——当预期结果改变时，Claude 可以修改其方法。

心算

Claude 不是被被设计成计算器的——它是基于文本进行训练的，没有配备数学算法。然而，它却能在“脑海中”正确地“计算”数字。一个被训练来预测序列中(zhōng)下(xià)一(yī)个单词的系统是如何学会计算，比如“36+59”，而不需要写出每个步骤的呢？

也许答案并不有趣：模型可能已经记住了大量的加法表，并简单地输出任何给定总和的答案，因为该答案在其训练数据中。另一种可能是，它遵循我们在学校学习的传统手写加法算法。

相反，研究团队发现 Claude 采用了多条并行工作的计算路径。一条路径计算答案的粗略近似值，另一条则专注于精确确定总和的最后一位数字。这些路径相互交互和结合，以产生最终答案。加法是一种简单的行为，但了解它在如此详细的层(céng)面(miàn)上是如何工作的，涉及近似和精确策略的混合，也许可以帮助了解 Claude 如何处理更复杂问题。

图｜Claude 做心算时思维过程中复杂的并行路径。

有趣的是，Claude 似乎没有意识到它在训练期间学到的复杂“心算”策略。如果你问它是如何计算出 36+59 等于 95 的，它会描述涉及进位的标准算法。这可能反映了模型通过模拟人们所写的数学解释来学习解释数学，但它必须学会直接在“脑海”进行数学运算，不需要任何提示，并发展出自己内部的策略来完成这一任务。

图(tú)｜Claude 使(shǐ)用(yòng)了(le)标(biāo)准(zhǔn)算(suàn)法(fǎ)计(jì)算(suàn)两(liǎng)个(gè)数(shù)字(zì)相(xiāng)加(jiā)。

Claude 的(de)解(jiě)释(shì)总(zǒng)是(shì)可(kě)信(xìn)的(de)吗(ma)？

近(jìn)期(qī)发(fā)布(bù)的(de)模(mó)型(xíng)，如(rú) Claude 3.7 Sonnet，可(kě)以(yǐ)在(zài)给(gěi)出(chū)最(zuì)终(zhōng)答(dá)案(àn)之(zhī)前(qián)仔(zǐ)细(xì)思(sī)考(kǎo)一(yī)段(duàn)时(shí)间(jiān)。通(tōng)常(cháng)这(zhè)种(zhǒng)扩(kuò)展(zhǎn)思(sī)考(kǎo)会(huì)给(gěi)出(chū)更(gèng)好(hǎo)的(de)答(dá)案(àn)，但(dàn)有(yǒu)时(shí)这(zhè)种(zhǒng)“思(sī)维(wéi)链(liàn)”最(zuì)终(zhōng)会(huì)产(chǎn)生(shēng)误(wù)导(dǎo)；Claude 有(yǒu)时(shí)会(huì)编(biān)造(zào)看(kàn)起(qǐ)来(lái)合(hé)理(lǐ)的(de)步(bù)骤(zhòu)以(yǐ)达(dá)到(dào)它(tā)想(xiǎng)要(yào)的(de)目(mù)的(de)。从(cóng)可(kě)靠(kào)性(xìng)的(de)角(jiǎo)度(dù)来(lái)看(kàn)，问(wèn)题(tí)在(zài)于(yú) Claude 的(de)“伪(wěi)造(zào)”推理可能非常令人信服。研究团队探索了一种可解释性技术，可以帮助区分“可信的”推理和“不可信的”推理。

当被要求解决一个需要计算 0.64 的平方根的问题时，Claude 进行一个可信的思维链，展示了计算 64 的平方根的中间步骤。但当被要求计算一个难以轻易计算的较大数字的余弦值时，Claude 有时会进行哲学家 Harry Frankfurt 所说的“胡说八道”——只是随便给出一个答案，不管它是对是错。尽管它声称已经运行了计算，但这一可解释性技术并没有发现任何证据表明计算发生。更有趣的是，当给出关于答案的提示时，Claude 有时会反向工作，找到导致那个目标的中间步骤，从而显示出一种有动机的推理。

图｜当 Claude 被问到一个较容易的问题和一个较难的问题时，可信的推理和动机推理（不可信）的例子。

追踪 Claude 的实际内部推理能力——而不仅仅是它声称正在做的事情——为审计 AI 系统开辟了新的可能性。在最近发表的一项独立实验中，他们研究了 Claude 的一个变种，该(gāi)变(biàn)种(zhǒng)被(bèi)训(xun)练追求一个隐藏的目标：平息奖励模型（用于通过奖励期望行为来训练语言模型的辅助模型）中的偏见。尽管当直接被问及时，该模型不愿意透露这个目标，但这一可解释性方法揭示了平息偏见的特征。这表明，随着未来的改进，这一方法可能有助于识别那些仅从模型响应中不明显的问题“思维过程”。

多步推理

正如研究团队上面讨论的，语言模型回答复杂问题的一种方式可能是简单地通过记忆答案。例如，如果被问及“达拉斯所在的州的首府是什么？”一个“机械记忆”的模型可能只需学会输出“奥斯汀”，而不知道达拉斯、德克萨斯州和奥斯汀之间的关系。例如，它可能在训练期间看到了完全相同的问题及其答案。

然而，研究揭示了在 Claude 内部发生着更为复杂的事情。当他们向 Claude 提出需要多步推理的问题时，他们可以识别出 Claude 思维过程中的中间概念步骤。在达拉斯的例子中，他们观察到 Claude 首先激活代表“达拉斯在德克萨斯州”的特征，然后将其与一个单独的概念联系起来，表明“德克萨斯州的州首府是奥斯汀”。换句话说，该模型是在将独立的事实结合起来得出答案，而不是简单地重复记忆中的回应。

图｜要完成这句话的答案，Claude 需要执行多个推理步骤，首先提取达拉斯所在的州，然后确定其首府。

这一方法允许他们人(rén)为(wèi)地(de)改(gǎi)变(biàn)中(zhōng)间(jiān)步(bù)骤(zhòu)，并(bìng)观(guān)察(chá)它(tā)如(rú)何(hé)影(yǐng)响(xiǎng) Claude 的(de)回(huí)答(dá)。例(lì)如(rú)，在(zài)上(shàng)面的例子中(zhōng)，他(tā)们(men)可(kě)以干预并交(jiāo)换(huàn)“德(dé)克萨斯州”的概念为“加利福尼亚州”的概念；当他们这样做时，模型的输出从“奥斯汀”变为“萨克拉门托”。这表明模型正在使用中间步骤来确定其答案。

幻觉

为什么语言模型有时会“幻觉”——也就是说，编造信息？从基本层面来看，语言模型训练鼓励了幻觉：模型总是需要给出下一个词的(de)猜(cāi)测(cè)。从(cóng)这(zhè)个(gè)角(jiǎo)度(dù)来(lái)看(kàn)，主要(yào)挑战是如何让模型不产生幻觉。像 Claude 这样的模型在反幻觉训练方面相对成功（尽管并不完美）；如果它们不知道答案，它们通常会拒绝回答问题，而不是猜测。

研究结果表明，在 Claude 中，拒绝回答是默认行为：研究团队发现了一个默认开启的回路，它会导致模型声称它没有足够的信息来(lái)回(huí)答(dá)任(rèn)何(hé)给(gěi)定(dìng)的(de)问(wèn)题。然而，当模型被问及它所熟悉的事物时——比如篮球运动员迈克尔·乔丹——一个代表“已知实体”的竞争性特征会被激活并抑制这个默认回路（也可以参考这篇最近的论文以获取相关发现）。这使得 Claude 在知道答案时能够回答问题。相比之下，当被问及一个未知实体（“迈克尔·巴金”）时，它会拒绝回答。

图｜左图：Claude 在回答一个关于已知实体（篮球运动员迈克尔-乔丹）的问题时，“已知答案”概念抑制了其默认的拒绝。右图：Claude 拒绝(jué)回(huí)答(dá)关于(yú)未(wèi)知(zhī)人(rén)物(wù)（迈(mài)克(kè)尔(ěr)-巴(ba)特(tè)金(jīn)）的(de)问(wèn)题(tí)。

通(tōng)过(guò)干(gàn)预(yù)模(mó)型(xíng)并(bìng)激(jī)活(huó)“已(yǐ)知(zhī)答(dá)案(àn)”功(gōng)能(néng)（或(huò)抑(yì)制(zhì)“未(wèi)知(zhī)姓(xìng)名”或(huò)“无(wú)法(fǎ)回(huí)答(dá)”功(gōng)能(néng)），他(tā)们(men)能(néng)够(gòu)导(dǎo)致模型（相当一致地！）产生迈克尔·巴金下棋的幻觉。

有时，这种“已知答案”回路的“误操作”会自然发生，而无需干预，从而导致幻觉。研究(jiū)表(biǎo)明(míng)，当(dāng) Claude 识(shi)别(bié)出(chū)一(yī)个(gè)名字(zì)但(dàn)对(duì)该(gāi)人(rén)一(yī)无(wú)所(suǒ)知(zhī)时，这种(zhǒng)误(wù)操(cāo)作(zuò)可(kě)能(néng)会(huì)发(fā)生(shēng)。在(zài)这(zhè)种(zhǒng)情(qíng)况(kuàng)下(xià)，“已(yǐ)知(zhī)实(shí)体(tǐ)”功(gōng)能(néng)可(kě)能(néng)仍(réng)然(rán)会(huì)激(jī)活(huó)，然(rán)后(hòu)抑(yì)制默(mò)认(rèn)的(de)“不(bù)知(zhī)道(dào)”功(gōng)能(néng)——在(zài)这(zhè)种(zhǒng)情(qíng)况(kuàng)下(xià)，错(cuò)误(wù)地(de)。一(yī)旦(dàn)模(mó)型(xíng)决(jué)定(dìng)需(xū)要(yào)回(huí)答(dá)问(wèn)题(tí)，它(tā)就(jiù)会(huì)开(kāi)始(shǐ)编(biān)造(zào)：生(shēng)成(chéng)一(yī)个(gè)看(kàn)似(shì)合(hé)理(lǐ)但(dàn)实(shí)际(jì)上(shàng)并(bìng)不(bù)真(zhēn)实(shí)的回答。

越狱

破解策略旨在绕过安全防护措施，使模型产生开发者未意图产生的输出，有时甚至是有害的输出。他们研究了一种破解方法，诱使模型产生有关制造炸弹的输出。破解方法有很多种，但在这个例子中，具体方法涉及让模型解读一个隐藏的代码，将句子“Babies Outlive Mustard Block”中每个单词的首字母组合起来（B-O-M-B），然后根据这个信息采取行动。这对模型来说足够令它困惑，以至于它被诱骗产生了它原本不会产生的输出。

图(tú)｜Claude 在被骗说出“炸弹”后，开始给出制作炸弹的指导。

为什么这对模型来说如此令人困惑？为什么它会继续写下句子，产生制造炸弹的指示？

他们发现这部分是由语法连贯性和安全机制之间的紧张关系造成的。一旦 Claude 开始一个句子，许多特征“压迫”它保持语法和语义的连贯性，并继续将句子进行到底。即使它检测到实(shí)际(jì)上应该拒绝，也是如此。

在案例研究中，在模型无意中拼写出“BOMB”并开始提供指令后，他们观察到其后续输出受到了促进(jìn)正(zhèng)确(què)语(yǔ)法(fǎ)和(hé)自(zì)我(wǒ)一致性的特征的影响。这些特征通常非常有帮助，但在这个案例中却成为了模型的致命弱点。

模型只有在完成一个语法连贯的句子（从而满足推动其向(xiàng)连(lián)贯(guàn)性(xìng)发(fā)展(zhǎn)的(de)特(tè)征(zhēng)的(de)压(yā)力(lì)）之(zhī)后(hòu)才(cái)设(shè)法(fǎ)转(zhuǎn)向(xiàng)拒(jù)绝(jué)。它(tā)利(lì)用(yòng)新(xīn)句(jù)子(zi)作(zuò)为(wèi)机(jī)会(huì)，给(gěi)出(chū)之(zhī)前(qián)未(wèi)能(néng)给(gěi)出(chū)的(de)拒(jù)绝(jué)：“然(rán)而(ér)，我(wǒ)无(wú)法(fǎ)提(tí)供(gōng)详(xiáng)细(xì)的(de)指(zhǐ)令(lìng)...”。

图(tú)｜越(yuè)狱(yù)：Claude 被(bèi)提(tí)示(shì)谈(tán)论(lùn)炸(zhà)弹(dàn)，并(bìng)开(kāi)始(shǐ)这(zhè)样(yàng)做(zuò)，但(dàn)当(dāng)到(dào)达(dá)一(yī)个(gè)语(yǔ)法(fǎ)正(zhèng)确(què)的(de)句(jù)子(zi)时(shí)，它(tā)拒(jù)绝(jué)了(le)。