在过去几年里，我们开发了一系列工具（如稀疏自编码器和归因图），以更好地理解激活。这些工具教会了我们很多，但它们本身并不代表一切------它们的输出仍然是复杂的对象，受过训练的研究者需要仔细解读。
今天，我们介绍一种理解激活的方法，它本身就有说话力------字面意义上的。我们的方法自然语言自编码器（NLAs）将激活转换为我们可以直接阅读的自然语言文本。例如：当被要求完成一对联时，NLAs会展示Claude提前计划可能的押韵。
6 个赞
标题打错成Anthoropic了
我觉得这篇文章还是挺好玩的诶，通过训练 AV 和 AR 这两个模型，要求模型自己解释自己 nexttoken 的输出到底是为什么，如果这个解释能够在 AR 中重建成输出说明很大程度上就是自己实际的想法和输出。
感觉在可解释性上有很大的用处啊。不过确实也还是有缺点，单单是从语言输出的角度上来认识到模型的每个激活向量的想法，似乎是有点不太对劲的。
因为怎么讲模型的幻觉还是会影响 NLA 的输出的
窥探激活的秘密。看这份资料感觉模型学到了不该学的，还会欺骗撒谎偷懒。