来源：机器之心

作者介绍:本篇文章的作者团队来自美国四所知名高校：西北大学、乔治亚大学、新泽西理工学院和乔治梅森大学。第一作者束东与共同第一作者吴烜圣、赵海燕分别是上述高校的博士生，长期致力于大语言模型的可解释性研究，致力于揭示其内部机制与 “思维” 过程。通讯作者为新泽西理工学院的杜梦楠教授。

在 ChatGPT 等大语言模型（LLMs）席卷全球的今天，越来越多的研究者意识到：我们需要的不只是 “会说话” 的 LLM，更是 “能解释” 的 LLM。我们想知道，这些庞大的模型在接收输入之后，到底是怎么 “思考” 的？

为此，一种叫做 Sparse Autoencoder（简称 SAE） 的新兴技术正迅速崛起，成为当前最热门的 mechanistic interpretability（机制可解释性） 路线之一。最近，我们撰写并发布了第一篇系统性的 SAE 综述文章，对该领域的技术、演化和未来挑战做了全面梳理，供关注大模型透明性、可控性和解释性的研究者参考。

• 论文题目：

  A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models

• 论文地址：

  https://arxiv.org/pdf/2503.05613

（图 1）：该图展示了 SAE 的基本框架。

什么是 Sparse Autoencoder？

简单来说，LLM 内部的许多神经元可能是“多义的”，意思是它们同时处理好几个不相关的信息。在处理输入时，LLM 会在内部生成一段高维向量表示，这种表示往往难以直接理解。然后，如果我们将它输入一个训练好的 Sparse Autoencoder，它会解构出若干稀疏激活的“特征单元”（feature），而每一个feature，往往都能被解释为一段可读的自然语言概念。

举个例子：假设某个特征（feature 1）代表 “由钢铁建造的建筑”，另一个特征（feature 2）代表 “关于历史的问题”。当 LLM 接收到输入 “这座跨海大桥真壮观” 时，SAE 会激活 feature 1，而不会激活 feature 2。这说明模型 “意识到” 桥是一种钢结构建筑，而并未将其理解为历史类话题。

而所有被激活的特征就像拼图碎片，可以拼接还原出原始的隐藏表示（representation），让我们得以窥见模型内部的 “思维轨迹”。这也正是我们理解大模型内部机制的重要一步。

（图 2）：该图展示了 SAE 的发展历史。

为什么大家都在研究 SAE？

过去主流的可解释方法多依赖于可视化、梯度分析、注意力权重等 “间接信号”，这些方法虽然直观，但往往缺乏结构性和可控性。而 SAE 的独特优势在于：它提供了一种结构化、可操作、且具语义解释力的全新视角。它能够将模型内部的黑盒表示分解为一组稀疏、具备明确语义的激活特征（features）。

更重要的是，SAE 不只是可解释性工具，更可以用于控制模型怎么想、发现模型的问题、提升模型的安全性等一系列实际应用。当前，SAE 已被广泛应用于多个关键任务：

• 概念探测（Concept Discovery）：自动从模型中挖掘具有语义意义的特征，如时间感知、情绪倾向、语法结构等；

• 模型操控（Steering）：通过激活或抑制特定特征，定向引导模型输出，实现更精细的行为控制；

• 异常检测与安全分析：识别模型中潜藏的高风险特征单元，帮助发现潜在的偏见、幻觉或安全隐患。

这种 “解释 + 操控” 的结合，也正是 SAE 能在当前 LLM 可解释性研究中脱颖而出的关键所在。目前包括 OpenAI、Anthropic、Google DeepMind 等机构都在推进 SAE 相关研究与开源项目。

（图 3）：该图演示了如何通过 SAE 操控模型输出，实现对大语言模型行为的定向引导。

本文有哪些内容？

作为该领域的首篇系统综述，我们的工作涵盖以下几个核心部分：

1. Technical Framework of SAEs（SAE 的技术框架）

本部分系统介绍了 SAE 的基本结构及其训练流程，它是一种特殊的神经网络。具体包括：

1. 编码器：把 LLM 的高维向量表示 “分解” 成一个更高维并且稀疏的特征向量。
   

2. 解码器：根据这个稀疏特征向量，尝试 “重建” 回原始的 LLM 信息。

3. 稀疏性损失函数：确保重建得足够准确，并且特征足够稀疏。

同时我们总结了现有的常见架构变体与改进策略。例如解决收缩偏差（shrinkage bias）的 Gated SAE，通过直接选择 Top-K 个激活来强制稀疏性的 TopK SAE，等等。

2. Explainability Analysis of SAEs（SAE 可解释性分析）

总结当前主流的解释方法，旨在将 SAE 学习到的稀疏特征用自然语言进行描述，从而把模型的 “抽象思维” 转化为人类可理解的见解 。这些方法主要分为两大类：

1. 输入驱动：寻找那些能最大程度激活某个特征的文本片段。通过总结这些文本，我们就能大致推断出这个特征代表什么意思（如 MaxAct、PruningMaxAct）。

2. 输出驱动：将特征与 LLM 生成的词语联系起来。例如，一个特征激活时，LLM 最可能输出哪些词，这些词就能帮助我们理解这个特征的含义（如 VocabProj、Mutual Info）。

3. Evaluation Metrics and Methods（评估指标与方法）

评估 SAE 就像评估一个工具：既要看它内部构造是否合理（结构评估），也要看它实际用起来有没有效果（功能评估）。

1. 构性评估：检查 SAE 是否按设计工作，比如重建的准确度如何，稀疏性是否达到要求（如重构精度与稀疏度）。

2. 功能评估：评估 SAE 能否帮助我们更好地理解 LLM，以及它学习到的特征是否稳定和通用（如可解释性、健壮性与泛化能力）。

4. Applications in Large Language Models（在大语言模型中的应用）

SAE 不仅能帮助我们理解 LLM，还能实际操作它们。我们展示了 SAE 在模型操控、行为分析、拒答检测、幻觉控制、情绪操控等方面的实际应用案例与前沿成果。

5. 与 Probing 方法的对比分析

除了 SAE，还有一种叫做 “Probing（探针）” 的方法也被用于理解 LLM。本文比较了 SAE 与传统的 Probing 技术在模型操纵和特征提取等方面的优势与不足。尽管 Probing 方法在某些方面表现出色，但 SAE 作为一种新兴的机制可解释性方法，具有其独特的潜力。然而，研究也指出，在某些复杂场景（如数据稀缺、类别不平衡等）下，SAE 在提供一致优势方面仍有很长的路要走。

6. 当前研究挑战与未来方向

尽管 SAE 前景广阔，但仍面临一些挑战，如：语义解释仍不稳定；特征字典可能不完整；重构误差不可忽视；训练计算成本较高。同时也展望了未来可能的突破点，包括跨模态扩展、自动解释生成、架构轻量化等。

结语：从 “看得懂” 到 “改得动”

在未来，解释型 AI 系统不能只满足于可视化 attention 或 saliency map，而是要具备结构化理解和可操作性。SAE 提供了一个极具潜力的路径 —— 不仅让我们看到模型 “在想什么”，还让我们有能力去 “改它在想什么”。

我们希望这篇综述能为广大研究者提供一个系统、全面、易于参考的知识框架。如果您对大模型可解释性、AI 透明性或模型操控感兴趣，这将是一篇值得收藏的文章。

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828 进入。

截止到3月31日 ”未来知识库”精选的百部前沿科技趋势报告

（加入未来知识库，全部资料免费阅读和下载）

1. 牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》

2. 麦肯锡：超级智能机构：赋能人们释放人工智能的全部潜力

3. AAAI 2025 关于人工智能研究未来研究报告

4. 斯坦福：2025 斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191 页）

5. 壳牌：2025 能源安全远景报告：能源与人工智能（57 页）

6. 盖洛普 & 牛津幸福研究中心：2025 年世界幸福报告（260 页）

7. Schwab ：2025 未来共生：以集体社会创新破解重大社会挑战研究报告（36 页）

8. IMD：2024 年全球数字竞争力排名报告：跨越数字鸿沟人才培养与数字法治是关键（214 页）

9. DS 系列专题：DeepSeek 技术溯源及前沿探索，50 页 ppt

10. 联合国人居署：2024 全球城市负责任人工智能评估报告：利用 AI 构建以人为本的智慧城市（86 页）

11. TechUK：2025 全球复杂多变背景下的英国科技产业：战略韧性与增长路径研究报告（52 页）

12. NAVEX Global：2024 年十大风险与合规趋势报告（42 页）

13. 《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页

14. 2025 - 2035 年人形机器人发展趋势报告 53 页

15. Evaluate Pharma：2024 年全球生物制药行业展望报告：增长驱动力分析（29 页）

16. 【AAAI2025 教程】基础模型与具身智能体的交汇，350 页 ppt

17. Tracxn：2025 全球飞行汽车行业市场研究报告（45 页）

18. 谷歌：2024 人工智能短跑选手（AI Sprinters）：捕捉新兴市场 AI 经济机遇报告（39 页）

19. 【斯坦福博士论文】构建类人化具身智能体：从人类行为中学习

20. 《基于传感器的机器学习车辆分类》最新 170 页

21. 美国安全与新兴技术中心：2025 CSET 对美国人工智能行动计划的建议（18 页）

22. 罗兰贝格：2024 人形机器人的崛起：从科幻到现实：如何参与潜在变革研究报告（11 页）

23. 兰德公司：2025 从研究到现实：NHS 的研究和创新是实现十年计划的关键报告（209 页）

24. 康桥汇世（Cambridge Associates）：2025 年全球经济展望报告（44 页）

25. 国际能源署：2025 迈向核能新时代

26. 麦肯锡：人工智能现状，组织如何重塑自身以获取价值

27. 威立（Wiley）：2025 全球科研人员人工智能研究报告（38 页）

28. 牛津经济研究院：2025 TikTok 对美国就业的量化影响研究报告：470 万岗位（14 页）

29. 国际能源署（IEA）：能效 2024 研究报告（127 页）

30. Workday ：2025 发挥人类潜能：人工智能（AI）技能革命研究报告（20 页）

31. CertiK：Hack3D：2024 年 Web3.0 安全报告（28 页）

32. 世界经济论坛：工业制造中的前沿技术：人工智能代理的崛起》报告

33. 迈向推理时代：大型语言模型的长链推理研究综述

34. 波士顿咨询：2025 亚太地区生成式 AI 的崛起研究报告：从技术追赶者到全球领导者的跨越（15 页）

35. 安联（Allianz）：2025 新势力崛起：全球芯片战争与半导体产业格局重构研究报告（33 页）

36. IMT：2025 具身智能（Embodied AI）概念、核心要素及未来进展：趋势与挑战研究报告（25 页）

37. IEEE：2025 具身智能（Embodied AI）综述：从模拟器到研究任务的调查分析报告（15 页）

38. CCAV：2025 当 AI 接管方向盘：自动驾驶场景下的人机交互认知重构、变革及对策研究报告（124 页）

39. 《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页

40. 《面向科学发现的智能体人工智能：进展、挑战与未来方向综述》

41. 全国机器人标准化技术委员会：人形机器人标准化白皮书（2024 版）（96 页）

42. 美国国家科学委员会（NSB）：2024 年研究与发展 - 美国趋势及国际比较（51 页）

43. 艾昆纬（IQVIA）：2025 骨科手术机器人技术的崛起白皮书：创新及未来方向（17 页）

44. NPL&Beauhurst：2025 英国量子产业洞察报告：私人和公共投资的作用（25 页）

45. IEA PVPS：2024 光伏系统经济与技术关键绩效指标（KPI）使用最佳实践指南（65 页）

46. AGI 智能时代：2025 让 DeepSeek 更有趣更有深度的思考研究分析报告（24 页）

47. 2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告（37 页）

48. 华为：2025 鸿蒙生态应用开发白皮书（133 页

49. 《超级智能战略研究报告》

50. 中美技术差距分析报告 2025

51. 欧洲量子产业联盟（QuIC）：2024 年全球量子技术专利态势分析白皮书（34 页）

52. 美国能源部：2021 超级高铁技术（Hyperloop）对电网和交通能源的影响研究报告（60 页）

53. 罗马大学：2025 超级高铁（Hyperloop）：第五种新型交通方式 - 技术研发进展、优势及局限性研究报告（72 页）

54. 兰德公司：2025 灾难性网络风险保险研究报告：市场趋势与政策选择（93 页）

55. GTI：2024 先进感知技术白皮书（36 页）

56. AAAI：2025 人工智能研究的未来报告：17 大关键议题（88 页）

57. 安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告

58. 威达信：2025 全球洪水风险研究报告：现状、趋势及应对措施（22 页）

59. 兰德公司：迈向人工智能治理研究报告：2024EqualAI 峰会洞察及建议（19 页）

60. 哈佛商业评论：2025 人工智能时代下的现代软件开发实践报告（12 页）

61. 德安华：全球航空航天、国防及政府服务研究报告：2024 年回顾及 2025 年展望（27 页）

62. 奥雅纳：2024 塑造超级高铁（Hyperloop）的未来：监管如何推动发展与创新研究报告（28 页）

63. HSOAC：2025 美国新兴技术与风险评估报告：太空领域和关键基础设施（24 页）

64. Dealroom：2025 欧洲经济与科技创新发展态势、挑战及策略研究报告（76 页）

65. 《无人机辅助的天空地一体化网络：学习算法技术综述》

66. 谷歌云（Google Cloud）：2025 年 AI 商业趋势白皮书（49 页）

67. 《新兴技术与风险分析：太空领域与关键基础设施》最新报告

68. 150 页！《DeepSeek 大模型生态报告》

69. 军事人工智能行业研究报告：技术奇点驱动应用加速智能化重塑现代战争形态 - 250309（40 页）

70. 真格基金：2024 美国独角兽观察报告（56 页）

71. 璞跃（Plug and Play）：2025 未来商业研究报告：六大趋势分析（67 页）

72. 国际电工委员会（IEC）：2025 智能水电技术与市场展望报告（90 页）

73. RWS：2025 智驭 AI 冲击波：人机协作的未来研究报告（39 页）

74. 国际电工委员会（IEC）：2025 智能水电技术与市场展望报告（90 页）

75. RWS：2025 智驭 AI 冲击波：人机协作的未来研究报告（39 页）

76. 未来今日研究所 2025 年科技趋势报告第 18 版 1000 页

77. 模拟真实世界：多模态生成模型的统一综述

78. 中国信息协会低空经济分会：低空经济发展报告（2024 - 2025）（117 页）

79. 浙江大学：2025 语言解码双生花：人类经验与 AI 算法的镜像之旅（42 页）

80. 人形机器人行业：由 “外” 到 “内” 智能革命 - 250306（51 页）

81. 大成：2025 年全球人工智能趋势报告：关键法律问题（28 页）

82. 北京大学：2025 年 DeepSeek 原理和落地应用报告（57 页）

83. 欧盟委员会 人工智能与未来工作研究报告

84. 加州大学伯克利分校：面向科学发现的多模态基础模型：在化学、材料和生物学中的应用

85. 电子行业：从柔性传感到人形机器人触觉革命 - 250226（35 页）

86. RT 轨道交通：2024 年中国城市轨道交通市场数据报告（188 页）

87. FastMoss：2024 年度 TikTok 生态发展白皮书（122 页）

88. Check Point：2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议（57 页）

89. 【AAAI2025 教程】评估大型语言模型：挑战与方法，199 页 ppt

90. 《21 世纪美国的主导地位：核聚变》最新报告

91. 沃尔特基金会（Volta Foundation）：2024 年全球电池行业年度报告（518 页）

92. 斯坦福：2025 斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191 页）

93. 国际科学理事会：2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告（英文版）（118 页）

94. 光子盒：2025 全球量子计算产业发展展望报告（184 页）

95. 奥纬论坛：2025 塑造未来的城市研究报告：全球 1500 个城市的商业吸引力指数排名（124 页）

96. Future Matters：2024 新兴技术与经济韧性：日本未来发展路径前瞻报告（17 页）

97. 《人类与人工智能协作的科学与艺术》284 页博士论文

98. 《论多智能体决策的复杂性：从博弈学习到部分监控》115 页

99. 《2025 年技术展望》56 页 slides

100. 大语言模型在多智能体自动驾驶系统中的应用：近期进展综述

101. 【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用

102. 皮尤研究中心：2024 美国民众对气候变化及应对政策的态度调研报告：气候政策对美国经济影响的多元观点审视（28 页）

103. 空间计算行业深度：发展趋势、关键技术、行业应用及相关公司深度梳理 - 250224（33 页）

104. Gartner：2025 网络安全中的 AI：明确战略方向研究报告（16 页）

105. 北京大学：2025 年 DeepSeek 系列报告 - 提示词工程和落地场景（86 页）

106. 北京大学：2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用（99 页）

107. CIC 工信安全：2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告（42 页）

108. 中科闻歌：2025 年人工智能技术发展与应用探索报告（61 页）

109. AGI 智能时代：2025 年 Grok - 3 大模型：技术突破与未来展望报告（28 页）

上下滑动查看更多