### 摘要
传统的自注意力机制具有二次复杂度，这限制了它们在长序列上的可扩展性。我们引入了 FFTNet，这是一种自适应频谱滤波框架，它利用快速傅里叶变换（FFT）在\(O(n log n)\)时间内实现全局令牌混合。通过将输入转换到频域，FFTNet 利用 Parseval 定理保证的正交性和能量守恒来有效地捕捉长距离依赖关系。一个可学习的频谱滤波器和 modReLU 激活函数动态地强调显著的频率分量，为传统的自注意力机制提供了一种严格且自适应的替代方案。在长距离竞技场（Long Range Arena）和 ImageNet 基准测试上的实验验证了我们的理论见解，并展示了优于固定傅里叶变换和标准注意力模型的性能。
### 引言
传统的自注意力机制通过显式的成对计算来捕捉全局交互，这导致了二次计算复杂度，对于长序列任务（如语言建模和长文本理解）来说，这种复杂度可能是过高的。相比之下，我们的工作引入了一种自适应频谱滤波框架，它利用快速傅里叶变换（FFT），以一种数学上优雅且可扩展的方法来执行全局令牌混合。
我们的方法首先将输入序列转换到频域，在频域中正交的频率分量自然地编码了长距离依赖关系。这不仅将计算复杂度降低到\(O(n log n)\)，而且还如 Parseval 定理所保证的那样，保留了原始信号的能量。这样的转换有助于实现高效的全局交互，而无需进行详尽的成对比较。
我们框架的一个核心创新是集成了一个可学习的频谱滤波器。这个自适应组件根据全局上下文向量对傅里叶系数进行调制，使模型能够动态地强调对于捕捉复杂模式至关重要的显著频带。此外，对滤波后的信号的实部和虚部应用非线性激活函数增强了模型的表达能力，使其能够表示超出线性变换范围的高阶交互。
从本质上讲，我们的自适应频谱
