Transformer 注意力机制的执行控制缺陷
英文摘要
This paper argues that transformer attention mechanisms exhibit a deficiency in executive control. The research likely examines how attention fails to suppress irrelevant or distracting information, drawing parallels to cognitive control deficits. The findings point to a fundamental limitation in the way transformers allocate attention across input tokens.
中文摘要
该论文指出 Transformer 注意力机制存在执行控制缺陷。研究可能探讨了注意力如何无法抑制无关或分散信息，将其与认知控制缺陷类比。研究结果揭示了 Transformer 在输入 token 之间分配注意力的根本局限性。
关键要点
The paper claims transformer attention lacks proper executive control.
论文声称 Transformer 注意力缺乏适当的执行控制。