Hacker News· westurner·· 5 小时前AI 评分31
Attention Is Not What You Need:基于 Grassmann 流的无注意力架构研究
Attention Is Not What You Need (2025)
AI 导读
arXiv 论文重新审视自注意力是否为序列建模所必需,提出基于 Grassmann 流的无注意力架构 Causal Grassmann 层,用 Plucker 坐标将局部 token 对编码为 Grassmann 流形上的二维子空间,并通过门控混合融合回隐藏状态。
来源:Hacker News · arxiv.org