LLM 可解释性(一):SAE与单语义
读 Anthropic《Towards Monosemanticity》。从难以解释的神经元出发, 讲清superposition为什么让单个神经元混成一团, SAE怎么把多语义的激活分解成单语义特征。
读 Anthropic《Towards Monosemanticity》。从难以解释的神经元出发, 讲清superposition为什么让单个神经元混成一团, SAE怎么把多语义的激活分解成单语义特征。
写这篇文章的初衷,是我发觉逐渐忘了前两个月的 AI/LLMs 是什么样的能力和情况了。意识中似乎某些在突然加速,但理性和直觉告诉我这不对,作为行内人,我知道这是一个渐进的、累积的过程。我想自己回忆一下,Agent的发展。