结果显示，无需任何训练的滑动窗口注意力在11组通用知识和推理实验中9组取得最佳平均性能，在部分长上下文推理任务中，滑动窗口注意力准确率达到线性注意力方案的2到10倍。 实验结果显示，滑动窗口注意力只需要在推理…...
