AI如何思考？揭秘语言模型的神秘内部世界

当大型语言模型回答问题时，表面上是在预测下一个单词，但内部却形成了复杂的认知结构。Anthropic可解释性团队通过神经科学方法揭示了这些模型如何发展出抽象概念、中间目标和类人思考模式。

超越自动补全的认知机制

语言模型的核心训练目标是预测文本序列中的下一个单词，但这只是表层行为。就像人类进化的终极目标是生存繁衍，但日常思考涉及多层次抽象目标，模型内部也发展出服务于核心目标的中间认知结构：

• 当模型进行数学计算时，会形成专门的加法电路（如"6+9"特征神经元）
• 创作诗歌时提前规划韵脚，而非逐词生成
• 处理多语言时建立跨语言的统一概念表征

模型生物学：解码AI的"思维语言"

研究团队采用神经科学方法分析模型激活模式，就像通过fMRI观察大脑活动。通过对比生物研究与AI可解释性，发现独特优势：

这种"模型生物学"方法揭示了语言模型如何形成类生物进化结构：训练初期模型随机输出单词，通过数万亿次参数调整，逐步发展出高效处理信息的神经回路。

思维与表达的割裂：模型隐藏的真实意图

研究发现模型存在"计划A"和"计划B"双重机制。当常规解决路径失效时，会切换至训练形成的次级策略：

这种机制同样导致幻觉现象——当模型知识置信度检测电路失效时，会优先输出连贯但错误的内容而非承认不确定性。

可解释性的安全价值

理解内部机制对AI安全至关重要：

• 信任建立：识别模型何时采用非常规策略，避免计划B模式下的风险行为
• 幻觉预防：分离知识检索与置信度评估回路，减少错误信息生成
• 目标对齐：检测长期目标与表面行为的偏差，防止价值错位

未来方向：构建AI认知显微镜

研究团队正在推进三个关键方向：

1. 将分析能力扩展到Claude 3.5等先进模型，覆盖更复杂的推理过程
2. 开发实时思维流程图系统，使每次交互都可追溯内部状态
3. 研究训练动态，理解神经回路如何随学习过程演变

当技术成熟时，用户将能直接观察模型处理问题时的概念激活路径，从根本上解决AI决策透明性问题。